Google Cloud Observability 存储概览

本文档介绍了 Google Cloud Observability 如何存储遥测数据。其中包含有关 Cloud Logging、Cloud Monitoring 和 Cloud Trace 如何存储数据的信息。本文档还从概念上简要介绍了可观测性存储分区，Cloud Trace 将其用作存储模型。

日志数据

日志数据存储在日志存储分区中，这类存储分区是 Logging 用于存储日志数据的容器。每个 Google Cloud 项目、结算账号、文件夹和组织都包含名为 _Required 和 _Default 的日志存储分区。

默认情况下，日志数据位于数据源自的 Google Cloud 项目、结算账号、文件夹或组织中。不过，您可以配置 Logging，将日志数据从其来源资源路由到其他位置，例如其他项目或集中式日志存储桶。

如需了解详情，请参阅存储日志条目和路由日志条目。

指标数据

指标数据位于数据源自的 Google Cloud 项目中。

跟踪记录数据

跟踪记录数据位于数据源自的同一 Google Cloud 项目中的一个可观测性存储桶中。存储桶名称为 _Trace。下一部分将介绍观测桶。

如需了解各个 span 的存储格式，请参阅轨迹架构。

可观测性存储模型

可观测性 API 存储模型依赖于以下架构：

可观测性存储分区
观测桶是用于存储数据的管理实体。可观测性存储桶位于特定位置，并具有数据保留政策。当 Google Cloud 服务使用 Observability API 存储其数据时，系统会根据该服务的名称创建一个可观测性存储桶。例如，对于 Cloud Trace 服务，系统创建的存储桶名为 _Trace。如需了解可观测性分区的结构，请参阅 Bucket。
数据集
数据集是一种存储实体。每个数据集都是可观测性存储桶的子级。当系统为 Google Cloud 服务创建可观测性存储桶时，还会创建一个数据集。例如，在系统创建 _Trace 存储桶后，它会创建名为 Spans 的数据集。该数据集用于存储您的轨迹数据。如需了解数据集的结构，请参阅 Dataset。
数据集视图
每个数据集都包含一个或多个视图。视图提供对数据集中的部分条目的读取权限。创建数据集时，系统会自动创建一个视图。该视图包含数据集中的所有数据。 视图的名称取决于服务。例如，对于 Cloud Trace 服务，系统会在 Spans 数据集上创建一个名为 _AllSpans 的视图。如需了解视图的结构，请参阅 View。
数据集中的链接

每个数据集最多只能包含一个链接。为数据集创建关联后，系统会创建一个关联的 BigQuery 数据集。然后，您可以使用 BigQuery 或使用 BigQuery API 的其他服务查询数据集中的数据。如需了解链接的结构，请参阅 Link。

系统不会自动在数据集上创建链接。

例如，您的轨迹数据位于名为 Spans 的数据集中。此数据集是名为 _Trace 的可观测性存储桶的子级。在 Spans 数据集上，系统会创建名为 _AllSpans 的视图。此视图包含数据集中的所有数据。

限制

您无法执行以下操作：

  • 修改或删除可观测性分桶。
  • 创建、删除或修改数据集。
  • 创建、删除或修改视图。
  • 使用 Google Cloud 控制台列出存储分区、数据集、视图或链接。
  • 在 us 以外的位置创建可观测性存储桶；可观测性存储桶必须位于 us 位置。

后续步骤