了解搜索功能的数据可用性

支持的平台：

本文档详细介绍了数据注入生命周期，包括端到端数据传输和延迟时间，以及这些因素如何影响最近注入的数据在查询和分析方面的可用性。

在 Google Security Operations 中注入和处理数据

本部分介绍了 Google SecOps 如何提取、处理和分析安全数据。

数据注入

数据注入流水线首先从以下来源收集原始安全数据：

  • 内部系统的安全日志
  • 存储在 Cloud Storage 中的数据
  • 安全运维中心 (SOC) 和其他内部系统

Google SecOps 会使用其安全注入方法之一将这些数据引入平台。

主要提取方法包括：

  • 直接 Google Cloud 提取

    Google SecOps 使用直接 Google Cloud 注入功能，自动从您组织的 Google Cloud中提取日志和遥测数据，包括 Cloud Logging、Cloud Asset Inventory 元数据和 Security Command Center 高级方案发现结果。

  • 提取 API

    使用 Google SecOps 的公共 REST Ingestion API 直接向其发送数据。您可以使用此方法进行自定义集成，也可以将数据作为非结构化日志或预先格式化的统一数据模型 (UDM) 事件发送。

  • Bindplane 代理

    您可以在自己的环境（本地或其他云端）中部署多用途的 Bindplane 代理，以从各种来源收集日志并将其转发给 Google SecOps。

  • 数据 Feed

    在 Google SecOps 中，您可以配置数据 Feed，以从第三方来源（例如特定的第三方 Cloud Storage 存储分区 [如 Amazon S3] 或第三方 API [如 Okta 或 Microsoft 365]）提取日志。

归一化和数据丰富化

数据到达 Google SecOps 后，平台会通过以下阶段处理数据：

  1. 解析和归一化

    解析器首先处理原始日志数据，以验证、提取数据并将其从原始格式转换为标准化的 UDM。通过解析和归一化，您可以使用单个一致的架构来分析不同的数据源（例如，防火墙日志、端点数据、云日志）。原始原始日志仍与 UDM 事件一起存储。

  2. 编入索引

    标准化后，Google SecOps 会对 UDM 数据编制索引，以便在海量数据集中实现快速查询，从而使 UDM 事件可供搜索。

  3. UDM 别名和丰富化

    • Google SecOps 会执行 UDM 别名化和扩充，通过识别和添加日志实体的上下文数据和指示器，为 UDM 事件扩充有价值的上下文。例如，它将用户的 login name 与其各种 IP addresses、hostnames 和 MAC addresses 相关联。
    • 地理定位：Google SecOps 会使用地理定位数据来丰富 IP 地址。

  4. 心电图数据丰富化

    • Google SecOps 会执行 ECG 别名化，将来自多个来源（例如 IdP、CMDB 和威胁情报）的上下文合并，以在实体上下文图中构建整合的实体配置文件。

    • 威胁情报：Google SecOps 会自动将事件数据与 Google 庞大的威胁情报（包括 VirusTotal 和安全浏览等来源）进行比较，以识别已知的恶意威胁，例如 domains、IP addresses 和 file hashes。

    • WHOIS：Google SecOps 会使用网域的公开注册 WHOIS 信息来扩充网域名称。

可用于分析的数据

经过处理和丰富后，UDM 数据可立即用于分析：

  • 实时检测

    检测引擎会自动针对实时传入的数据运行启用实时规则的自定义规则和 Google 内置规则，以识别威胁并生成提醒。

  • 搜索和调查

    分析师可以使用搜索方法来搜索所有这些经过归一化和丰富的数据。例如，使用 UDM 搜索在相关实体（例如 user、asset 和恶意 domain）之间切换，并调查提醒。

搜索方法

Google SecOps 提供了多种不同的数据搜索方法，每种方法都有不同的用途。

UDM 搜索是主要且最快的搜索方法，适用于大多数调查。

  • 搜索内容：它会查询已归一化并编入索引的 UDM 事件。由于所有数据都会解析为这种标准格式，因此您可以编写一个查询，在所有不同的产品（例如 Windows、Okta、Linux）中查找相同的活动（例如登录）。
  • 运作方式：您可以使用特定语法查询字段、运算符和值。
  • 示例： principal.hostname = "win-server" AND target.ip = "10.1.2.3"

使用原始日志搜索功能可在未解析的原始日志消息中查找可能未映射到 UDM 字段的内容。

  • 搜索内容：它会扫描日志在解析和规范化之前的原始文本。这有助于查找未编入索引的 UDM 字段中的特定字符串、命令行参数或其他制品。
  • 工作方式：您可以使用 raw = 前缀。它可能比 UDM 搜索慢，因为它不会搜索已编入索引的字段。
  • 示例（字符串）： raw = "PsExec.exe"
  • 示例（正则表达式）： raw = /admin\$/

自然语言搜索 (Gemini)

借助自然语言搜索 (Gemini)，您可以使用简单的英语提出问题，然后 Gemini 会将这些问题转换为正式的 UDM 查询。

  • 搜索内容：提供对话式界面，用于查询 UDM 数据。
  • 工作原理：您输入问题后，Gemini 会为您生成相应的 UDM 搜索查询，然后您可以运行或优化该查询。
  • 示例：“显示过去 24 小时内用户‘bob’的所有登录失败记录”

SOAR 搜索专门针对 SOAR 组件。您可以使用它来管理安全突发事件，而不是在日志中搜寻。

  • 搜索内容：在 SOAR 平台中搜索支持请求和实体（例如用户、资产、IP 地址）。
  • 工作原理：您可以使用自由文本过滤条件或基于字段的过滤条件来查找特定情况，例如按 ID、提醒名称、状态和分配的用户查找。
  • 示例：搜索 CaseIds:180 或 AlertName:Brute Force

数据注入流水线到搜索可用性

系统会通过多个步骤处理新注入的数据。这些步骤的持续时间决定了新提取的数据何时可用于查询和分析。

下表按搜索方法细分了新提取数据的处理步骤。完成这些步骤后，新提取的数据即可供搜索。

搜索方法 搜索的数据 有助于提高可用时间的处理步骤
标准化和丰富化的 UDM 事件
  1. 注入：日志到达 Google SecOps 注入点。
  2. 解析：原始日志由其特定解析器识别和处理。
  3. 标准化：提取数据并将其映射到 UDM 架构。
  4. 编制索引 (UDM)：已标准化的 UDM 记录会编制索引，以便进行快速的结构化搜索。
  5. 丰富化：添加上下文（威胁情报、地理位置信息、用户或资产数据）。
原始日志搜索 原始的未解析日志文本
  1. 注入：日志到达 Google SecOps 注入点。
SOAR 搜索 支持请求和实体 这是一个不同的生命周期，因为它搜索的是提醒和支持请求，而不是日志。时间基于以下信息：
  1. UDM 事件可用性：使用与“UDM 搜索”相同的处理步骤。
  2. 检测：检测引擎规则必须与 UDM 事件匹配。
  3. 生成提醒：系统会根据检测结果创建正式提醒。
  4. 创建支持请求：SOAR 平台会接收警报并创建支持请求。

数据传输示例

以下示例展示了 Google SecOps 如何注入、处理、增强和分析您的安全数据，使其可用于搜索和进一步分析。

数据处理步骤示例

  1. 从 Amazon S3 等云服务或Google Cloud中检索安全数据。Google SecOps 会对传输中的数据进行加密。
  2. 将您的加密安全数据分离并存储到您的账号中。只有您和少数 Google 员工有权访问这些数据，以便进行产品支持、开发和维护。
  3. 解析并验证原始安全数据，使其更易于处理和查看。
  4. 对数据进行归一化和编入索引，以便快速搜索。
  5. 在您的账号中存储解析的数据和编入索引的数据。
  6. 使用情境数据进行丰富。
  7. 为用户提供安全访问权限，以便用户搜索和查看自己的安全数据。
  8. 将您的安全数据与 VirusTotal 恶意软件数据库进行比较，以识别匹配项。在 Google SecOps 事件视图（例如“资产”视图）中，点击 VT 上下文即可查看 VirusTotal 信息。 Google SecOps 不会与 VirusTotal 共享您的安全数据。

对 Google SecOps 的数据进行流处理

搜索功能预计可用时间示例

新提取的数据可用于搜索的预期时间是数据传输中各个流程时长的总和。

例如，从数据发送到 Google SecOps 提取服务到 UDM 搜索中可使用该数据，通常平均需要 5 分 30 秒左右。

数据传输步骤 说明 流量时长
Cloud Storage 到原始日志 从 Cloud Storage 提取原始日志。 不到 30 秒
安全日志到数据转发服务 将内部系统的安全日志传输到平台。 不适用
数据转发服务到原始日志 将从各种来源接收的原始安全数据发送到提取流水线。 不到 30 秒
从原始日志到解析和验证 将原始日志解析并验证为 UDM 格式。 不到 3 分钟
解析和验证到索引 为已解析的 UDM 数据编制索引，以便快速搜索。 不适用
索引到已解析的客户数据 使已编入索引的数据可作为已解析的客户数据用于分析。 不到 2 分钟

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。