Google SecOps 架构和数据流

支持：

现代安全环境会在云原生基础架构、微服务和分布式端点中生成大量遥测数据。旧版安全信息和事件管理 (SIEM) 架构通常难以随着这些数据量的增加而扩缩，导致查询速度缓慢且可见性分散。

Google Security Operations 平台提供统一的高性能安全分析层。该平台基于为 Google 的核心全球服务提供支持的同一基础架构，可提取和查询 PB 级安全遥测数据，延迟时间不到一秒，同时消除了热数据层和冷数据层之间的旧版区别。

本文档介绍了 Google SecOps 架构和数据流，涵盖提取、UDM 标准化、YARA-L 威胁检测和自动响应。

情报、分析和响应的融合

Google SecOps 统一了历史上分离的安全运维功能。它将 SIEM 分析和安全编排、Automation 和响应 (SOAR) 整合到一个紧密耦合的平台中。此外，它还直接将 Google Threat Intelligence 和 VirusTotal 的威胁情报以及由 Gemini 提供支持的生成式 AI 功能嵌入到调查和检测工作流中。

平台架构概览

Google SecOps 作为在核心 Google Cloud 基础架构之上构建的专用云原生安全平面运行。它继承了底层 Google 服务（包括 Spanner 和 Colossus）的可伸缩性、耐用性和性能属性。

系统上下文

Google SecOps 充当安全环境的中央运维平面，管理三个主要阶段的数据：

  • 输入：从混合环境提取遥测数据，包括本地收集器（例如 BindPlane 智能体）、云服务提供商 API 和直接第三方软件即服务 (SaaS) 连接器。
  • 处理核心：将原始遥测数据标准化为结构化 UDM 架构，使用 YARA-L 检测引擎评估事件，并使用 SOAR 支持请求管理引擎编排工作流。
  • 输出：向分析师提供实用的安全情报和 AI 分诊分析，同时通过 API 和远程智能体将自动遏制命令发送回目标环境。

下图展示了系统上下文和数据流。

高级别平台架构和生态系统背景信息

基础架构优势

Google SecOps 的一个关键架构优势是其统一的热存储模型。旧版架构会将较旧的遥测数据移至冷存储，从而减慢查询速度或需要手动重新水化。相比之下，Google SecOps 会将所有提取的遥测数据保留在可搜索索引的活跃热状态中，最长可保留 12 个月。借助此设计，您可以查询一整年的历史数据，性能与查询最近一小时的数据相同。

数据收集和标准化流水线

Google SecOps 使用高吞吐量提取流水线，将原始的非结构化日志转换为结构化的统一数据模型 (UDM)。在标准化期间，流水线会使用实体上下文图中的上下文元数据丰富每个事件。

收集架构

数据注入通过三个主要向量进行：

  • 收集器：部署在本地网络中的基于智能体的收集器（例如 BindPlane 智能体 或 OpenTelemetry 智能体），用于聚合 syslog 和数据包数据。收集器会在传输层 (TLS) 对遥测数据进行缓冲、压缩和加密，然后再将其转发到 Google SecOps。
  • 注入 API：直接 REST API 端点，用于从云服务、自定义应用和无服务器流水线注入结构化和非结构化遥测数据。
  • 第三方集成：内置的基于拉取的连接器，可直接从外部 SaaS 平台和云 API（例如 Microsoft 365 或 Microsoft Entra ID）检索日志、提醒和目录数据。

数据收集和准备流水线流

下图详细介绍了从原始数据到 UDM 格式的特定转换步骤。

数据收集和准备流水线流程

统一数据模型架构概览

统一数据模型 (UDM) 将不同的供应商日志标准化为单个结构化架构。这种标准表示法可确保等效实体（例如 IP 地址、用户名或文件哈希）在所有日志来源中共享一致的字段路径，从而简化分析和搜索。

UDM 架构

UDM 使用强类型分层架构来表示安全事件和实体。它将数据整理到以下核心逻辑结构中：

  • 元数据：与日志事件本身相关的上下文，包括事件时间戳、提取时间、供应商产品名称和事件类型。
  • 正文：发起活动的操作实体（例如原始用户、主机、IP 地址或进程）。
  • 目标：直接受活动影响的实体（例如目标文件、目标主机或用户账号）。
  • 来源、中介和观察者：参与交易的辅助网络参与者（例如转发代理、防火墙或路由跃点）。
  • 网络：网络协议属性和交易制品（包括应用协议、DNS 查询和 HTTP 请求详细信息）。
  • 安全结果：安全设备报告的操作或严重性结果（例如 ALLOWED、BLOCKED 或 QUARANTINED）。
  • 扩展：标准核心架构之外的供应商专用自定义字段和键值对。如需详细了解映射定义和解析器开发，请参阅配置自定义解析器和重要的 UDM 字段。

UDM 类图

下图提供了 UDM 的结构蓝图。

UDM 类图

搜索架构

Google SecOps 提供强大的搜索机制，可根据不同的调查工作流进行定制。您可以查询热存储中的标准化遥测数据，针对未解析的原始日志执行模式匹配，或搜索结构化支持请求数据。如需优化指南，请参阅 UDM 搜索最佳实践。

下表总结了整个平台提供的主要搜索功能：

搜索类型 架构功能
UDM 搜索 主要结构化搜索引擎，用于查询 12 个月热窗口中的标准化索引 UDM 事件。它支持跨不同日志来源进行多字段过滤、聚合和关联。
原始日志扫描 扫描提取的日志的原始未解析文本字符串。此功能支持对未映射到特定 UDM 语法的制品和自定义参数进行正则表达式 (`regex`) 和子字符串搜索。
自然语言搜索 使用 Gemini AI 将自然语言问题直接转换为正式 UDM 搜索语法，从而加快查询编写和调查工作流。
支持请求搜索 响应层中的专用搜索引擎，用于查询 SOAR 数据库中的调查支持请求、提醒、playbook 和带注释的实体元数据。

威胁检测和响应循环

Google SecOps 架构在检测分析和自动响应之间创建了一个持续的反馈循环。检测规则会生成高保真提醒，触发响应工作流，而调查结果会提供反馈，用于优化和调整未来的检测逻辑。

检测漏斗架构

检测引擎使用多阶段漏斗方法将大量原始安全遥测数据提炼为高保真提醒：

  1. 提取和标准化：原始日志会持续提取并格式化为标准 UDM 事件结构。
  2. 丰富：事件会动态丰富别名映射、上下文资产数据和来自 Google Threat Intelligence 等来源的全球威胁情报。
  3. 检测评估：有状态 YARA-L 2.0 引擎会针对较长时间窗口内的行为和威胁规则评估丰富后的事件。如需了解规则优化指南，请参阅 YARA-L 最佳实践。
  4. 确定优先级和分组：匹配的检测结果会聚合到提醒中，分配动态风险评分，并分组到统一的支持请求中。

通过将上下文资产数据与威胁情报相结合，此漏斗策略会过滤掉无害的异常（减少误报）并突出显示真实威胁（减少漏报），帮助您的安全团队专注于可操作的突发事件。

补救循环

自动修复和反馈循环

检测和响应流水线将有状态规则评估与自动分诊和遏制相结合：

  1. 持续评估：丰富后的 UDM 遥测数据流经有状态 YARA-L 2.0 检测引擎。
  2. 创建支持请求和 AI 分诊：当满足规则条件时，Google SecOps 会生成提醒并打开支持请求。AI 赋能的 分诊和调查智能体 会执行动态搜索和威胁情报查询，以评估发现结果。
  3. 自动执行 playbook：如果 AI 分诊确认是真实的正例，平台会触发自动响应 playbook（例如通过远程智能体隔离端点或暂停用户账号）。如果分类为误报，支持请求会自动关闭。
  4. 持续调整：修复结果和分析师分诊结果会反馈回来，以优化检测阈值并减少未来的误报。
补救循环

威胁检测层

YARA-L 2.0 引擎使用多阶段流式流水线评估传入的 UDM 遥测数据，以检测较长时间窗口内的行为异常和多事件攻击模式。您还可以使用 Gemini 生成和优化 YARA-L 规则。

每个 YARA-L 规则的处理生命周期都遵循五个不同的评估阶段：

  1. 提取 (Ingest) ：丰富后的 UDM 事件会实时进入检测评估流水线。
  2. 过滤 (Filter) ：系统会根据规则的事件条件（events 部分）评估传入的事件。不匹配的事件会被舍弃，而匹配的事件会传递到有状态评估。
  3. 匹配窗口 (Window) ：匹配的事件会按指定的相关性键在定义的时间窗口（从几秒到 12 个月不等）内分组。随着事件的累积，引擎会跟踪多个并发的有状态计时器（TimerStart 到 TimerEnd）。
  4. 条件评估 (Condition) ：当匹配窗口关闭或触发时，引擎会评估规则的 condition 部分中定义的阈值要求和数学表达式（例如事件计数、不同阈值或跨数据联接）。
  5. 触发 (Trigger) ：如果条件评估为 True，引擎会生成检测结果，触发提醒并在响应层中打开或更新支持请求。如果为 False，状态将被清除，而不会触发提醒。

规则执行状态机

下图展示了规则执行的生命周期。

规则执行状态机

响应架构和远程执行

Google SecOps SOAR 代表平台的响应支柱。它作为分析层之上的编排引擎运行，用于注入提醒、分诊支持请求和执行自动响应工作流。

编排、自动化和调查

响应层包含专用工具，旨在简化安全运维中心 (SOC) 在调查、支持请求管理和 playbook 自动化方面的工作流：

  • 支持请求管理：将相关提醒分组到统一的支持请求中，对突发事件队列进行排序和过滤，分配任务，并协作进行调查，同时进行完整的审核跟踪。
  • Playbook 设计器：使用可视化无代码拖放式画布和预构建的集成操作构建自动响应 playbook。
  • 集成开发环境 (IDE)：使用内置的基于代码的 IDE 编写自定义 Python 脚本、修改现有操作集成和调试复杂的自动化工作流。
  • 调查视图和图表调查工具：使用基于图表的调查视图直观呈现攻击路径和实体关系。专用实体摘要（例如“资产”“IP 地址”“哈希”“网域”和“用户”视图）会立即显示相关时间轴事件。
  • 信息中心和报告：使用开箱即用的信息中心或自定义报告小部件跟踪 SOC 运维指标、分析师工作负载和平均响应时间 (MTTR)。

SOAR 组件架构

下图展示了传入的提醒如何流入支持请求管理引擎，以及如何通过可视化 playbook 和自定义 IDE 集成触发自动修复工作流。

SOAR 组件架构

远程智能体架构

如需在专用网络（例如本地数据中心或虚拟私有云）中执行修复操作，Google SecOps 依赖于安全的仅出站 远程智能体架构。

在此模型下，Google SecOps 平台绝不会发起与您的专用环境的入站连接：

  1. 任务启动：当 playbook 操作需要本地执行时，Google SecOps 会通过托管在 Google Cloud中的安全发布者队列发布指令。
  2. 异步轮询：部署在您的专用环境中的远程智能体会通过出站 TLS 加密连接持续轮询发布者队列。
  3. 本地执行：检索到任务指令后，远程智能体会针对内部安全工具或网络端点（例如停用账号或屏蔽防火墙端口）在本地执行所需的操作。
  4. 状态报告：完成后，远程智能体会通过 TLS 将操作状态和执行日志返回到发布者队列，并在其中检索并在 SOAR 支持请求视图中显示。
远程代理架构

安全、合规性和责任共担

作为云原生平台，Google SecOps 采用责任共担模型运行：Google 负责平台的安全性 of，而您负责平台内的安全性 in。

责任共担模型

Google SecOps 继承了 Google Cloud 基础架构的核心安全设计、计算功能和存储架构。在此模型下：

所有合规性要求、数据驻留规则和访问权限政策都从组织层次结构向下继承并强制执行，从文件夹和项目到受合规性控制的租户。

合规性和企业就绪情况

为满足严格的监管和组织治理要求，Google SecOps 提供受合规性控制的租户。这些租户通过 Assured Workloads 强制执行严格的安全标准，同时支持监管合规性框架和技术数据保护软件包。

支持的监管合规性框架：

  • FedRAMP： 中等和高影响级别 (FEDRAMP_MODERATE、FEDRAMP_HIGH)
  • DoD 影响级别： IL4 和 IL5 (IL4_AND_IL5)
  • 医疗保健和金融： HIPAA 和 PCI DSS (HIPAA、PCI_DSS)

如需部署受合规性控制的租户，请将 Google SecOps 实例关联到位于为所需控制软件包配置的 Assured Workloads 文件夹中的 Google Cloud 项目。

Assured Workloads 配置

数据驻留和访问透明度

Google SecOps 强制执行严格的逻辑租户隔离，并支持 Access Transparency，以便您对管理数据访问进行可验证的控制和审核可见性。

支持的数据安全和驻留软件包：

  • 客户管理的加密密钥 (CMEK)： 控制和管理密钥用于加密静态数据 (CMEK_V1)。
  • 高级数据驻留：强制执行区域数据驻留边界和管理员权限权限控制 (DRZ_ADVANCED)。
  • VPC Service Controls： 使用 VPC Service Controls (VPC-SC) 在云安全资源周围建立安全自定义的边界。

该平台的安全架构依赖于四层继承模型，其中您的管理安全控制措施建立在 Google 核心基础架构的强化基础上：

数据驻留和访问透明度

四层安全堆栈：

  1. 客户安全控制层：您的顶级管理控制措施，包括通过 Identity and Access Management (IAM) 管理的基于角色的访问权限控制 (RBAC)、客户管理的加密密钥 (CMEK) 和区域数据驻留政策。
  2. 平台安全层：逻辑租户隔离、静态数据和传输中数据（TLS）的默认加密以及 Access Transparency 审核日志记录。
  3. Google 基础架构层：核心计算和存储基础架构，包括 Borg 集群管理、Colossus 分布式存储和 Spanner 全球数据库。
  4. 物理安全层：由 Google 企业数据中心、多重生物识别控制和自定义 Titan 安全芯片（roots of trust）支持的基础安全。

例如，启用 Access Transparency 后，如果 Google 支持或工程专家访问您的租户数据以解决支持服务工单，他们必须提交有效的加密访问理由。此访问请求会被安全记录，并在近乎实时的时间内显示在您的审核日志中。

需要更多帮助？获得社区成员和 Google SecOps 专业人士的解答。