数据注入概览

支持的服务：

Google Security Operations 会注入客户日志、对数据进行规范化处理并检测安全提醒。它提供自助式功能，用于数据注入、威胁检测、提醒和案例管理。 Google SecOps 还可以接收来自其他 SIEM 系统的提醒并对其进行分析。

数据注入架构概览

下图说明了您的安全数据如何流入 Google SecOps，以及系统如何在 界面中处理这些数据以进行分析。

对 Google SecOps 的数据进行流处理

数据注入涉及的关键步骤

Google SecOps 会按如下方式处理您的安全数据：

  1. 从云服务（例如 Amazon S3 或 Google Cloud）检索安全数据。Google SecOps 会对传输中的数据进行加密。
  2. 将加密的安全数据分离并存储到您的账号中。只有您和少数 Google 员工可以访问这些数据，以便进行产品支持、开发和维护。
  3. 解析并验证原始安全数据，使其更易于处理和查看。
  4. 为数据编制索引，以便快速搜索。
  5. 将解析和编制索引的数据存储在您的账号中。
  6. 为用户提供安全访问权限，以便搜索和查看其安全数据。
  7. 将您的安全数据与 VirusTotal 恶意软件数据库进行比较，以识别匹配项。在 Google SecOps 事件视图（例如“资产”视图）中，点击 VT Context （VT 上下文）即可查看 VirusTotal 信息。 Google SecOps 不会与 VirusTotal 共享您的安全数据。

数据注入方法概览

Google SecOps 注入服务充当所有数据的网关。

Google SecOps 使用以下系统注入数据：

  • Google Cloud：Google SecOps 直接从您的 Google Cloud 组织检索数据，这是所有标准 Google Cloud 日志（例如审核、VPC 流、DNS 和防火墙）的主要方法。 这是将遥测数据引入 Google SecOps 的最具成本效益且性能最佳的方式。 Google Cloud 如需了解详情，请参阅将数据注入到 Google SecOps。 Google Cloud

  • Bindplane 代理：这是一种托管代理，用于从本地 环境和服务器（Windows 或 Linux）收集日志。 Bindplane 是一种遥测流水线，可以从任何来源收集日志、优化日志并将日志导出到 Google SecOps，因此可以灵活地收集其他方法无法处理的不同类型的日志。 您可以将其用于本地数据（例如防火墙日志、Windows 和 Linux 日志），也可以用于您想要在注入到 Google SecOps 之前进行预处理（例如优化或过滤）的云数据。 您还可以使用 Bindplane OP 管理控制台来管理此代理。如需了解详情， 请参阅使用 Bindplane 代理。

  • 数据 Feed：数据 Feed 主要用于云端日志，其中第三方日志已汇总到对象存储区（例如 Cloud Storage 或 Amazon S3）中，或者第三方支持基于“推送”的方法（例如 Webhook）。 数据 Feed 还为预定义的一组基于 API 的集成提供开箱即用的支持。 将数据 Feed 用于云端日志（例如 EDR 或任何 SaaS 应用）以及预定义为 Direct API 的特定集成。 数据 Feed 会将日志直接发送到 Google SecOps 注入服务。如需了解详情， 请参阅 Feed 管理文档。数据 Feed 支持大小不超过 4 MB 的日志行。您可以使用 Cloud Logging 监控 Feed 活动和错误。如需了解详情，请参阅使用 Cloud Logging 分析 Feed 活动。

  • 注入 API：对于不适合其他方法的自定义应用、大容量应用或自研应用，请使用注入 API。与其他注入方法相比，此方法的使用稍微复杂一些。如需了解详情，请参阅注入 API。

  • 转发器：转发器现已服务终止。Google 建议您改用 Bindplane 代理。

解析器会将客户系统中的日志转换为统一数据模型 (UDM)。Google SecOps 中的下游系统使用 UDM 提供其他功能，包括规则和 UDM 搜索。

如需详细了解数据注入生命周期（包括端到端数据传输和延迟时间），以及这些因素如何影响最近注入的数据是否可用于查询和分析，请参阅了解可用于搜索的数据。

规格：

  • 注入文件时，文件的内容格式必须与文件扩展名中的预期格式一致，才能成功注入日志。

  • 大型文件（5-10 GB 或更大）可能会显著延迟数据注入。

  • 注入仅支持 UTF-8 编码。

了解注入和数据可用时间

Google SecOps 中用于分析的数据可用性取决于多个阶段。如需排查延迟问题，请区分来源系统延迟和 Google SecOps 处理时间。

  • 来源系统延迟（注入前）：许多数据源都存在固有的 延迟。事件发生后，数据可能无法立即收集。常见原因包括：

    • 来源处理和批处理时间表。
    • 将事件写入日志文件或 API 端点所需的时间。
    • API 速率限制。
    • 事件时间戳与日志可用于注入的时间（例如 createTime）之间的差异。

  • Google SecOps 注入和处理延迟：数据到达注入点后，以下步骤可能会导致延迟：

    • 收集间隔：对于池化来源（例如 API 或存储 桶），配置的 Feed 频率（例如每 5 分钟一次或每小时一次） 决定了最大延迟时间。
    • 内部流水线：解析、规范化、编制索引和扩充。 如需了解详情，请参阅了解可用于搜索的数据。

如果遇到延迟问题，请确定延迟是由来源还是 Google SecOps 造成的。例如，来自 Blob 存储服务的日志不是实时日志，而是取决于轮询频率。

如需查看已知存在来源端延迟的日志类型列表，请参阅 Feed 管理 API 参考文档。

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。