数据注入概览

支持的平台：

Google SecOps SIEM

Google Security Operations 会提取客户日志、将数据标准化，并检测安全提醒。它提供自助式功能，用于数据注入、威胁检测、提醒和案例管理。Google SecOps 还可以接收来自其他 SIEM 系统的提醒并对其进行分析。

数据注入架构概览

下图说明了安全数据如何流入 Google SecOps，以及系统如何在界面中处理这些数据以进行分析。

注意： 如需详细了解数据注入生命周期（包括端到端数据传输和延迟时间），以及这些因素如何影响最近注入的数据是否可用于查询和分析，请参阅了解搜索的数据可用性。

数据注入涉及的关键步骤

Google SecOps 会按以下方式处理您的安全数据：

1. 从 Amazon S3 或Google Cloud等云服务检索安全数据。Google SecOps 会对传输中的数据进行加密。
2. 将加密的安全数据分离并存储在您的账号中。只有您和少数 Google 人员（负责产品支持、开发和维护）有权访问这些数据。
3. 解析并验证原始安全数据，使其更易于处理和查看。
4. 为数据编制索引，以便快速搜索。
5. 在您的账号中存储已解析和已编入索引的数据。
6. 为用户提供安全访问权限，以便用户搜索和查看自己的安全数据。
7. 将您的安全数据与 VirusTotal 恶意软件数据库进行比较，以识别匹配项。在 Google SecOps 事件视图（例如“资产”视图）中，点击 VT 上下文即可查看 VirusTotal 信息。 Google SecOps 不会与 VirusTotal 分享您的安全数据。

数据注入方法概览

Google SecOps 提取服务充当所有数据的网关。

Google SecOps 使用以下系统注入数据：

• Google Cloud：Google SecOps 直接从您的 Google Cloud 组织检索数据，这是所有标准 Google Cloud 日志（例如，审核、VPC 流、DNS 和防火墙）的主要方法。 这是将 Google Cloud 遥测数据引入 Google SecOps 的最具成本效益且性能最高的方式。 如需了解详情，请参阅将 Google Cloud 数据注入 Google SecOps。

• Bindplane 代理：这是一种托管式代理，用于从本地环境和服务器（Windows 或 Linux）收集日志。Bindplane 是一种遥测流水线，可从任何来源收集、优化日志并将其导出到 Google SecOps，因此在收集不适用于其他方法的不同类型的日志方面具有灵活性。 您可以将其用于本地数据（例如防火墙日志、Windows 和 Linux 日志），也可以用于您希望在注入到 Google SecOps 之前进行预处理（例如细化或过滤）的云数据。 您还可以使用 Bindplane OP 管理控制台管理此代理。如需了解详情，请参阅使用 Bindplane 代理。

• 数据 Feed：数据 Feed 主要用于基于云的日志，其中第三方日志已汇总到对象存储区（例如 Cloud Storage 或 Amazon S3）中，或者第三方支持基于“推送”的方法（例如 Webhook）。 数据 Feed 还为一组预定义的基于 API 的集成提供开箱即用型支持。 将数据 Feed 用于基于云的日志（例如 EDR）或任何 SaaS 应用，以及预定义为直接 API 的特定集成。数据 Feed 会将日志直接发送到 Google SecOps 提取服务。如需了解详情，请参阅Feed 管理文档。数据 Feed 支持大小不超过 4 MB 的日志行。您可以使用 Cloud Logging 监控 Feed 活动和错误。如需了解详情，请参阅使用 Cloud Logging 分析 Feed 活动。

• Chronicle API 提取方法：对于不适合其他方法的自定义、高容量或自研应用，请使用新版 Chronicle API 提取方法。与其他提取方法相比，此方法的使用略微复杂。

注意： 旧版 Ingestion API 已被弃用；如果您正在使用该 API，请按照从旧版 SIEM API 迁移到 Chronicle API 中的说明采取必要的迁移步骤。

• 转发器：转发器现已服务终止。Google 建议您改用 Bindplane 代理。

解析器会将客户系统中的日志转换为统一数据模型 (UDM)。Google SecOps 中的下游系统使用 UDM 提供其他功能，包括规则和 UDM 搜索。

如需详细了解数据注入生命周期（包括端到端数据传输和延迟时间），以及这些因素如何影响最近注入的数据是否可用于查询和分析，请参阅了解搜索的数据可用性。

注意： 如需监控所有数据源和解析器的运行状态和健康状况，请前往健康中心。它包含有关失败和不规则来源以及日志类型的信息，并提供用于诊断和修复问题的背景信息。

规格：

• 注入文件时，文件内容格式必须与文件扩展名中的预期格式一致，才能成功注入日志。

• 大文件（5-10 GB 或更大）可能会严重延迟数据注入。

• 提取仅支持 UTF-8 编码。

了解数据注入和数据可用时间

Google SecOps 中用于分析的数据可用性取决于多个阶段。如需排查延迟问题，请区分源系统延迟和 Google SecOps 处理时间。

• 源系统延迟（提取前）：许多数据源都存在固有的延迟。事件发生后，系统可能不会立即开始收集数据。出现该消息的常见原因包括：

  • 来源处理和批处理时间表。
  • 将事件写入日志文件或 API 端点所需的时间。
  • API 速率限制。
  • 事件时间戳与日志可供提取的时间之间的差值（例如 createTime）。

• Google SecOps 注入和处理延迟：数据到达注入点后，以下步骤可能会导致延迟：

  • 收集间隔：对于池化来源（例如 API 或存储桶），配置的 Feed 频率（例如每 5 分钟或每小时）决定了最长延迟时间。
  • 内部流水线：解析、规范化、编入索引和丰富。 如需了解详情，请参阅了解搜索功能的数据可用性。

如果您遇到延迟问题，请确定是源还是 Google SecOps 导致了延迟。例如，来自 Blob 存储服务的日志不是实时的，具体取决于轮询频率。

如需查看存在已知来源端延迟的日志类型列表，请参阅 Feed 管理 API 参考文档。

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。