自动提取概览

支持：

Google SecOps SIEM

本文档简要介绍了如何自动注入数据，以增强注入、处理和分析数据的能力。

Google Security Operations 使用预构建的解析器通过统一数据模型 (UDM) 架构提取日志数据并对其进行结构化处理。由于存在以下限制，管理和维护这些解析器可能具有挑战性：数据提取不完整、需要管理的解析器数量不断增加，以及随着日志格式的发展需要频繁更新。

为了应对这些挑战，您可以使用自动提取功能。此功能会自动从提取到 Google SecOps 的 JSON 格式和 XML 格式的日志中提取键值对。它还支持包含 JSON 消息的 Syslog 格式的日志。提取的数据存储在名为 extracted 的 UDM 映射类型字段中。然后，您可以在 UDM 搜索查询、原生信息中心和 YARA-L 规则中使用此数据。

最佳实践是，使用已提取字段的 UDM 搜索必须在其查询中包含 metadata.log_type，以提高搜索查询性能。

自动提取的优势在于减少了对解析器的依赖，确保即使解析器不存在或无法解析日志，数据仍然可用。

解析原始日志并从中提取数据

解析：Google SecOps 会尝试使用特定于日志类型的解析器（如果有）解析日志。如果没有特定的解析器，或者解析失败，Google SecOps 会使用通用解析器提取基本信息，例如提取时间戳、日志类型和元数据标签。
数据提取：默认情况下，自动提取功能处于停用状态。您可以选择启用此功能，并选择要从日志中提取的特定字段（数据点）。
事件扩充：Google SecOps 会将解析的数据与任何自定义格式的字段相结合，以创建扩充的事件，从而提供更多上下文和详细信息。
下游数据传输：然后，这些扩充的事件会被发送到其他系统，以进行进一步的分析和处理。

使用提取器

借助提取器，您可以从所有受支持的日志来源中提取字段，并且提取器旨在优化日志管理。通过使用提取器，您可以减小事件大小，提高解析效率，并更好地控制数据提取。这对于管理新日志类型或缩短处理时间尤其有用。

您可以使用 SIEM 设置 菜单或执行原始日志搜索来创建提取器。

创建提取器

使用以下任一方法前往提取其他字段 窗格：
- 依次点击 SIEM 设置 > 解析器，然后执行以下操作：
  1. 在显示的解析器 表格中，找到解析器（日志源），然后依次点击菜单 > 扩展解析器 > 提取其他字段 。
- 使用原始日志扫描并执行以下操作：
  1. 从日志来源 菜单中选择所需的日志来源（解析器）。
  2. 从原始日志结果中，选择一个日志源以打开 事件数据 窗格。
  3. 在事件数据 窗格中，依次点击管理解析器 > 扩展解析器 > 提取其他字段 。
- 使用 UDM 搜索并执行以下操作：
  1. 在 UDM 搜索结果的事件标签页中，选择一个日志源以查看事件查看器 窗格。
  2. 在原始日志 标签页中，依次点击管理解析器 > 扩展解析器 > 提取其他字段 。
在提取其他字段 窗格的选择提取器 标签页中，选择所需的原始日志字段。默认情况下，您最多可以选择 100 个字段。如果没有其他字段可供提取，系统会显示警告通知。

点击引用原始日志 标签页，以查看原始日志数据并预览 UDM 输出。
点击保存。

新创建的提取器会被标记为 EXTRACTOR。提取的字段在 UDM 输出中显示为extracted.field{"fieldName"}。

查看提取器详细信息

前往解析器 表格中的提取器行，然后依次点击菜单 > 扩展解析器 > 查看扩展 。
在查看自定义解析器 页面上，点击扩展和提取的字段 标签页。

此标签页会显示有关解析器扩展和提取器字段的信息。您可以在查看自定义解析器 页面中修改或移除字段，并预览解析器输出。

限制

如果批量 UDM 事件大小超过 8.2 MB，则所有提取的字段都会被舍弃。
如果单个 UDM 事件超过 500 KB，则提取的字段会被舍弃。