导出到自行管理的 BigQuery 项目
借助 Google Security Operations,您可以将统一数据模型 (UDM) 数据导出到您拥有和管理的自管项目。您可以将自己的 Google Cloud 项目关联到 Google SecOps 实例,并独立管理 IAM 权限,而无需依赖 Google 管理的设置。您还可以通过依次选择设置 > 数据管理 > 数据导出,启用和配置自带 BigQuery (BYOBQ) 功能。
Google SecOps 会将以下类别的数据导出到您的 BigQuery 项目:
udm_events:归一化为 UDM 架构的日志数据。udm_events_aggregates:按每个小时的归一化事件汇总的汇总数据。entity_graph:实体图谱有三个维度(情境数据、派生数据和全局情境)。所有情境数据和派生数据以及部分全局情境数据都是以 UDM 形式写入和存储的数据。rule_detections:在 Google SecOps 中运行的规则返回的检测结果。ioc_matches:针对 UDM 事件找到的 IOC 匹配项。ingestion_metrics:与提取和标准化流水线相关的指标(默认导出)。udm_enum_value_to_name_mapping:将枚举值映射到 UDM 字段名称(默认导出)。entity_enum_value_to_name_mapping:将枚举值映射到实体字段名称(默认导出)。
保留期限
如果您是现有客户,则您设置的保留期限决定了 BigQuery 的导出数据在 Google 管理的项目中保留多长时间。
保留期限从最早的导出记录日期开始计算。您可以为每个数据源配置单独的保留期限,最长可与 Google SecOps 中的默认日志保留期限一致。
如果未指定保留期限,默认行为是持续导出数据,而不进行任何清理或清除,以限制保留期限。
在这种情况下,您可以将保留期限设置为无限制:
- 依次点击设置 > 数据管理 > 数据导出。
- 在数据导出表的保留期限列中,从相关数据类型的列表中选择无限制。
然后,您可以在 Google Cloud 存储桶中设置对象生命周期规则,以便根据需要删除对象。
现有客户的数据迁移
如果您是现有客户,则现有 Google 管理的项目中的数据不会迁移到自行管理的项目。由于数据未迁移,因此您的数据位于两个单独的项目中。如需查询包含自行管理的项目激活日期的时间范围内的数据,您需要完成以下操作之一:
- 使用单个查询联接两个项目中的数据。
- 针对相应项目运行两个单独的查询,一个查询自助管理项目启用日期之前的数据,另一个查询启用日期之后的数据。当 Google 管理的项目保留期限到期时,系统会删除这些数据。之后,您只能查询 Google Cloud项目中的数据。
导出数据所需的权限
如需访问 BigQuery 数据,请在 BigQuery 本身中运行查询。向需要访问权限的所有用户分配以下 IAM 角色:
- BigQuery 数据视图 (
roles/bigquery.dataViewer) - BigQuery Job User
(
roles/bigquery.jobUser) - Storage Object Viewer (
roles/storage.objectViewer) 您也可以在数据集级层分配角色。如需了解详情,请参阅 BigQuery IAM 角色和权限。
启动 BigQuery 数据导出到您的自管项目
创建一个 Google Cloud 项目,用于导出数据。 如需了解详情,请参阅为 Google SecOps 配置 Google Cloud 项目。
将自行管理的项目关联到 Google SecOps 实例,以在 Google SecOps 与自行管理的项目之间建立连接。如需了解详情,请参阅将 Google Security Operations 关联到 Google Cloud 服务。 您还可以通过依次选择设置 > 数据管理 > 数据导出,启用和配置自带 BigQuery (BYOBQ) 功能。
如需验证数据是否已导出到自行管理的项目,请检查 BigQuery 中
datalake数据集下的表。
您可以针对存储在 BigQuery 表中的 Google SecOps 数据编写临时查询。您还可以使用与 BigQuery 集成的其他第三方工具创建更高级的分析。
在自行管理的 Google Cloud 项目中创建的所有用于启用导出的资源(包括 Cloud Storage 存储桶和 BigQuery 表)都与 Google SecOps 位于同一区域。
如果您在查询 BigQuery 时收到类似 Unrecognized name: <field_name> at [<some_number>:<some_number>] 的错误,则表示您尝试访问的字段不在数据集中,因为您的架构是在导出过程中动态生成的。
如需详细了解 BigQuery 中的 Google SecOps 数据,请参阅 BigQuery 中的 Google SecOps 数据。
相关 API 方法
使用以下主题中介绍的 API 方法访问导出配置,并管理数据发送到 BigQuery 的方式:
需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。