Google Cloud Observability 存储概览

本文档介绍了 Google Cloud Observability 如何存储遥测数据。其中包含有关 Cloud Logging、Cloud Monitoring 和 Cloud Trace 如何存储数据的信息。本文档还从概念上简要介绍了可观测性存储分区。

日志数据

日志数据驻留在日志存储分区中，这类存储分区是 Logging 用于存储日志数据的容器。每个 Google Cloud 项目、 结算账号、文件夹和组织都包含名为 _Required 和 _Default 的日志存储分区。

默认情况下，日志数据驻留在数据源自的 Google Cloud 项目、结算账号、文件夹、 或组织中。不过，您可以将 Logging 配置为将日志数据从其来源资源路由到其他位置，例如其他项目或集中式日志存储桶。 如需了解详情，请参阅存储日志条目和 路由日志条目。

Cloud Logging 可让您对日志数据进行区域化：

  • 组织政策可以限制新日志存储分区的位置，并要求日志存储分区使用客户管理的加密密钥 (CMEK)。

  • 对于组织和文件夹，Cloud Logging 的默认资源设置可让您配置以下内容：

    • 新 _Required 和 _Default 日志存储分区的位置。
    • 用于加密日志数据的 KMS 密钥。
    • 默认接收器的配置。

    资源层次结构中的后代会自动继承这些设置，除非它们也配置了默认资源设置。例如，假设您为组织配置了 Cloud Logging 的默认资源设置。然后，组织资源层次结构中的所有文件夹和项目都会自动继承这些设置。不过，如果您为该组织中的某个文件夹设置了 Cloud Logging 的默认资源设置，则会使用文件夹级设置。

    Cloud Logging 的默认资源设置仅适用于新资源，而不适用于现有资源。 如需了解详情，请参阅为 Cloud Logging 配置默认资源设置。

指标数据

指标数据驻留在数据源自的 Google Cloud 项目中。

如需了解 Monitoring 使用的数据的存储政策，请参阅 Monitoring 的数据驻留。

跟踪记录数据

跟踪记录数据驻留在名为的可观测性存储桶中，该存储桶与数据源自的 Google Cloud 项目 位于同一项目中。存储桶名称为 _Trace。下一部分介绍了可观测性存储分区。如需了解 各个 span 的存储格式，请参阅跟踪记录架构。

您可以为可观测性存储分区配置默认设置，以控制跟踪记录数据的存储位置以及加密密钥的管理人员。例如，您可以为组织使用这些设置，以要求组织中的新可观测性存储分区使用 CMEK。如需了解详情，请参阅本页面的 可观测性存储分区的数据驻留 部分。

可观测性存储模型

Observability API 存储模型依赖于以下架构：

可观测性存储分区
可观测性存储桶是数据集的管理实体，用于存储数据。可观测性存储桶位于特定位置，并具有数据保留政策。当 Google Cloud 服务使用 Observability API 存储其数据时，系统会根据服务名称创建一个 可观测性存储桶、一个用于存储 数据的数据集，以及一个用于提供对存储数据的读取权限的视图。例如，对于 Cloud Trace 服务，系统会将 系统创建的存储桶命名为 _Trace，将数据集命名为 Spans，并将视图命名为 _AllSpans。如需了解可观测性存储桶的结构，请参阅 Bucket。
数据集
数据集用于存储数据。系统在创建可观测性存储桶（用于管理数据集）时会自动创建一个数据集。例如，当系统创建 _Trace 存储桶时，还会创建一个名为 Spans 的数据集，用于存储跟踪记录数据。如需了解数据集的结构 ，请参阅 Dataset。
数据集的视图
每个数据集都托管一个或多个视图。视图用于提供对数据集中部分条目的读取权限。 系统在创建数据集时会创建一个视图。该视图包含数据集中的所有数据。 视图的名称取决于服务。例如，对于 Cloud Trace 服务，系统会在 Spans 数据集上创建一个名为 _AllSpans 的视图。如需了解视图的结构，请参阅 View。
数据集的链接

每个数据集最多只能包含一个链接。当您为数据集创建链接时，系统会创建一个关联的 BigQuery 数据集。 然后，您可以使用 BigQuery 或使用 BigQuery API 的其他服务查询数据集中的数据。 如需了解链接的结构，请参阅 Link。

系统不会自动在数据集上创建链接。

例如，您的跟踪记录数据驻留在名为 Spans 的数据集中。此数据集是名为 _Trace 的可观测性存储桶的子项。在 Spans 数据集上， 系统会创建名为 _AllSpans 的视图。此视图包含数据集中的所有数据。

可观测性存储分区的数据驻留

如果您有合规性或监管要求，需要将数据存储在特定位置或使用 CMEK，那么我们建议您为可观测性存储分区配置默认设置：

  • 对于组织、文件夹和项目，可观测性存储分区的默认设置可让您配置以下内容：

    • 默认存储位置。
    • 对于每个位置，都有一个默认的 Cloud Key Management Service 密钥。

    资源层次结构中的后代会自动使用这些设置，但您已为其配置默认设置的后代除外。

    可观测性存储分区的默认设置仅适用于新资源，而不适用于现有资源。 如需了解详情，请参阅 为可观测性存储分区设置默认值。

可观测性存储分区的默认设置不适用于存储日志数据的日志存储分区。如需了解如何为日志存储分区设置默认位置或要求使用 CMEK，请参阅 为 Cloud Logging 配置默认资源设置。

限制

您无法执行以下操作：

  • 修改或删除可观测性存储分区。
  • 创建、删除或修改数据集。
  • 创建、删除或修改视图。
  • 使用 Google Cloud 控制台列出存储分区、数据集、视图或链接。

后续步骤