导出到 Google 管理的 BigQuery 项目

支持的平台：

Google SecOps 通过将数据导出到 BigQuery，提供了一个托管式数据湖，其中包含标准化数据和经过威胁情报丰富的数据遥测。这样一来，您将能够：

  • 直接在 BigQuery 中运行临时查询。
  • 使用您自己的商业智能工具（例如 Looker 或 Microsoft Power BI）创建信息中心、报告和分析。
  • 将 Google SecOps 数据与第三方数据集联接。
  • 使用数据科学或机器学习工具运行分析。
  • 使用预定义的默认信息中心和自定义信息中心生成报告。

Google SecOps 会将以下类别的数据导出到 BigQuery：

  • UDM 事件记录：根据客户提取的日志数据创建的 UDM 记录。 这些记录会添加别名信息。
  • 规则匹配项（检测）：规则与一个或多个事件匹配的实例。
  • IoC 匹配：与失陷指标 (IoC) Feed 匹配的事件中的制品（例如网域、IP 地址）。这包括与全球 Feed 和特定客户 Feed 的匹配。
  • 提取指标：包括统计信息，例如提取的日志行数、从日志生成的事件数、指示日志无法解析的日志错误数，以及 Google SecOps 转发器的状态。如需了解详情，请参阅提取指标 BigQuery 架构。
  • 实体图和实体关系：存储实体及其与其他实体之间关系的说明。

表格概览

Google SecOps 会在 BigQuery 中创建 datalake 数据集和以下表格：

  • entity_enum_value_to_name_mapping：对于 entity_graph 表中的枚举类型，将数值映射到字符串值。
  • entity_graph：存储有关 UDM 实体的数据。
  • events：存储有关 UDM 事件的数据。
  • ingestion_metrics：存储与从特定注入源（例如 Google SecOps 转发器、Feed 和 Ingestion API）注入和规范化数据相关的统计信息。
  • ioc_matches：存储针对 UDM 事件发现的 IOC 匹配项。
  • job_metadata：用于跟踪数据导出到 BigQuery 的内部表。
  • rule_detections：存储在 Google SecOps 中运行的规则返回的检测结果。
  • rulesets：存储有关 Google SecOps 精选检测的信息，包括每个规则集所属的类别、是否已启用以及当前的提醒状态。
  • udm_enum_value_to_name_mapping：对于 events 表中的枚举类型，将数值映射到字符串值。
  • udm_events_aggregates：存储按归一化事件的小时汇总的聚合数据。

访问 BigQuery 中的数据

您可以直接在 BigQuery 中运行查询，也可以将自己的商业智能工具（例如 Looker 或 Microsoft Power BI）连接到 BigQuery。

如需启用对 BigQuery 实例的访问权限，请使用 Google SecOps BigQuery Access API。 您可以提供自己拥有的用户或群组的电子邮件地址。如果您配置了对群组的访问权限，请使用该群组来管理哪些团队成员可以访问 BigQuery 实例。

如需将 Looker 或其他商业智能工具连接到 BigQuery，请与您的 Google SecOps 代表联系，获取服务账号凭据，以便您将应用连接到 Google SecOps BigQuery 数据集。服务账号将具有 IAM BigQuery Data Viewer 角色 (roles/bigquery.dataViewer) 和 BigQuery Job Viewer 角色 (roles/bigquery.jobUser)。

数据保留

对于使用 Google 管理的 BigQuery 的 Google SecOps 企业 Plus 版客户，以下保留设置适用：

  • 旧版 Google SecOps 企业 Plus 版客户（处于弃用阶段）：

    • ioc_matches 和 rule_detections 表：由于数据量较小，未设置保留期限限制。
    • entity_graph、udm_events_aggregates 和其他分区表（events 表除外）：180 天。
    • events 表（UDM 事件）：数据保留期限取决于您的 Google SecOps 合同，如果合同中未指定，则默认为 366 天。

  • 新客户：数据保留期限受 Google SecOps 合同的约束（与高级 BigQuery 导出功能一致）。

如需在 BigQuery 中以自助方式访问 Google SecOps 数据，请使用使用 BigQuery Access API 中所述的 API 方法。

后续步骤

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。