导出到自行管理的 BigQuery 项目

支持范围:

借助 Google Security Operations,您可以将统一数据模型 (UDM) 数据导出到您拥有和管理的自管项目。您可以将自己的 Google Cloud 项目关联到 Google SecOps 实例,并独立管理 IAM 权限,而无需依赖 Google 管理的设置。您还可以通过依次选择设置 > 数据管理 > 数据导出,启用和配置自带 BigQuery (BYOBQ) 功能。

Google SecOps 会将以下类别的数据导出到您的 BigQuery 项目:

  • udm_events:归一化为 UDM 架构的日志数据。
  • udm_events_aggregates:按每个小时的归一化事件汇总的汇总数据。
  • entity_graph:实体图谱有三个维度(情境数据、派生数据和全局情境)。所有情境数据和派生数据以及部分全局情境数据都是以 UDM 形式写入和存储的数据。
  • rule_detections:在 Google SecOps 中运行的规则返回的检测结果。
  • ioc_matches:针对 UDM 事件找到的 IOC 匹配项。
  • ingestion_metrics:与提取和标准化流水线相关的指标(默认导出)。
  • udm_enum_value_to_name_mapping:将枚举值映射到 UDM 字段名称(默认导出)。
  • entity_enum_value_to_name_mapping:将枚举值映射到实体字段名称(默认导出)。

保留期限

如果您是现有客户,则您设置的保留期限决定了 BigQuery 的导出数据在 Google 管理的项目中保留多长时间。

保留期限从最早的导出记录日期开始计算。您可以为每个数据源配置单独的保留期限,最长可与 Google SecOps 中的默认日志保留期限一致。

如果未指定保留期限,默认行为是持续导出数据,而不进行任何清理或清除,以限制保留期限。

在这种情况下,您可以将保留期限设置为无限制:

  • 依次点击设置 > 数据管理 > 数据导出。
  • 在数据导出表的保留期限列中,从相关数据类型的列表中选择无限制。

然后,您可以在 Google Cloud 存储桶中设置对象生命周期规则,以便根据需要删除对象。

现有客户的数据迁移

如果您是现有客户,则现有 Google 管理的项目中的数据不会迁移到自行管理的项目。由于数据未迁移,因此您的数据位于两个单独的项目中。如需查询包含自行管理的项目激活日期的时间范围内的数据,您需要完成以下操作之一:

  • 使用单个查询联接两个项目中的数据。
  • 针对相应项目运行两个单独的查询,一个查询自助管理项目启用日期之前的数据,另一个查询启用日期之后的数据。当 Google 管理的项目保留期限到期时,系统会删除这些数据。之后,您只能查询 Google Cloud项目中的数据。

导出数据所需的权限

如需访问 BigQuery 数据,请在 BigQuery 本身中运行查询。向需要访问权限的所有用户分配以下 IAM 角色:

启动 BigQuery 数据导出到您的自管项目

  1. 创建一个 Google Cloud 项目,用于导出数据。 如需了解详情,请参阅为 Google SecOps 配置 Google Cloud 项目。

  2. 将自行管理的项目关联到 Google SecOps 实例,以在 Google SecOps 与自行管理的项目之间建立连接。如需了解详情,请参阅将 Google Security Operations 关联到 Google Cloud 服务。 您还可以通过依次选择设置 > 数据管理 > 数据导出,启用和配置自带 BigQuery (BYOBQ) 功能。

  3. 如需验证数据是否已导出到自行管理的项目,请检查 BigQuery 中 datalake 数据集下的表。

您可以针对存储在 BigQuery 表中的 Google SecOps 数据编写临时查询。您还可以使用与 BigQuery 集成的其他第三方工具创建更高级的分析。

在自行管理的 Google Cloud 项目中创建的所有用于启用导出的资源(包括 Cloud Storage 存储桶和 BigQuery 表)都与 Google SecOps 位于同一区域。

如果您在查询 BigQuery 时收到类似 Unrecognized name: <field_name> at [<some_number>:<some_number>] 的错误,则表示您尝试访问的字段不在数据集中,因为您的架构是在导出过程中动态生成的。

如需详细了解 BigQuery 中的 Google SecOps 数据,请参阅 BigQuery 中的 Google SecOps 数据。

使用以下主题中介绍的 API 方法访问导出配置,并管理数据发送到 BigQuery 的方式:

需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。