导出到自行管理的 BigQuery 项目
借助 Google Security Operations,您可以将统一数据模型 (UDM) 数据导出到您拥有和管理的自行管理的项目 。您可以将自己的 Google Cloud 项目关联到 Google SecOps 实例,并独立管理 IAM 权限,而无需依赖 Google 管理的设置。您还可以依次选择 SIEM 设置 > 数据导出 ,启用和 配置 自带 BigQuery (BYOBQ) 功能。
Google SecOps 会将以下类别的数据导出到您的 BigQuery 项目:
udm_events:归一化为 UDM 架构的日志数据。udm_events_aggregates:按每小时归一化事件汇总的聚合数据。entity_graph:实体图有三个维度(情境数据、派生数据和全局情境)所有情境数据和派生数据,以及部分全局情境数据都是以 UDM 格式写入和存储的数据。rule_detections:由在 Google SecOps 中运行的规则返回的检测结果。ioc_matches:针对 UDM 事件发现的 IOC 匹配项。ingestion_metrics:与提取和归一化流水线相关的指标(默认导出)。udm_enum_value_to_name_mapping:将枚举值映射到 UDM 字段名称(默认导出)。entity_enum_value_to_name_mapping:将枚举值映射到实体字段名称(默认导出)。
保留期限
如果您是现有客户,则您设置的保留期限将决定 BigQuery 的导出数据在 Google 管理的项目中保留多长时间。
保留期限从最早的导出记录的日期开始计算。您可以 为每个数据源配置单独的保留期限,最长保留期限与 Google SecOps 中的默认日志保留期限 相同。
如果未指定保留期限,则默认行为是继续导出 数据,而不进行任何清理或清除,以限制保留期限。
在这种情况下,您可以将保留期限设置为无限制:
- 依次点击 SIEM 设置 > 数据导出。
- 在数据导出 表的保留期限 列中,从相关数据类型的列表中选择无限制 。
然后,您可以在存储桶中设置对象生命周期规则 Google Cloud 以根据需要删除对象。
现有客户的数据迁移
如果您是现有客户,则现有 Google 管理的项目中的数据不会迁移到自行管理的项目。由于数据不会迁移,因此您的数据位于两个单独的项目中。如需查询时间范围(包括自行管理的项目激活日期)内的数据,您需要完成以下操作之一:
- 使用单个查询联接两个项目中的数据。
- 对相应项目运行两个单独的查询,一个用于自行管理的项目激活日期之前的数据,另一个用于之后的数据。 当 Google 管理的项目的保留期限到期时,这些数据将被删除。之后,您只能查询 Google Cloud 项目中的数据。
导出数据所需的权限
如需访问 BigQuery 数据,请在 BigQuery 本身中运行查询。将以下 IAM 角色分配给需要访问权限的任何用户:
- BigQuery Data Viewer
(
roles/bigquery.dataViewer) - BigQuery Job User
(
roles/bigquery.jobUser) - Storage Object Viewer
(
roles/storage.objectViewer) 您还可以在数据集级层分配角色。如需了解详情,请参阅 BigQuery IAM 角色和权限。
启动 BigQuery 数据导出到自行管理的项目
创建一个 Google Cloud 项目,您希望将数据导出到该项目。 如需了解详情,请参阅为 Google SecOps 配置项目 Google Cloud 。
将自行管理的项目关联到 Google SecOps 实例,以在 Google SecOps 和自行管理的项目之间建立连接。如需了解详情,请参阅将 Google Security Operations 关联到 Google Cloud 服务。 您还可以依次选择 SIEM 设置 > 数据导出,启用和配置 自带 BigQuery (BYOBQ) 功能。
如需验证数据是否已导出到自行管理的项目,请检查 BigQuery 中
datalake数据集下的表。
您可以针对存储在 BigQuery 表中的 Google SecOps 数据编写临时查询。您还可以使用与 BigQuery 集成的 其他第三方工具创建更高级的分析。
在自行管理的 Google Cloud 项目中创建的所有用于启用 导出的资源(包括 Cloud Storage 存储桶和 BigQuery 表)都与 Google SecOps 位于同一 区域。
如果您在查询 BigQuery 时收到类似 Unrecognized name: <field_name> at [<some_number>:<some_number>]
的错误,则表示您尝试访问的字段不在您的数据集中,并且您的架构是在导出过程中动态生成的
。
如需详细了解 BigQuery 中的 Google SecOps 数据, 请参阅 BigQuery 中的 Google SecOps 数据。
相关 API 方法
使用以下主题中介绍的 API 方法来访问导出配置,并管理数据发送到 BigQuery 的方式:
需要更多帮助?获得社区成员和 Google SecOps 专业人士的解答。