Visão geral do armazenamento do Google Cloud Observability

Este documento descreve como o Google Cloud Observability armazena seus dados de telemetria. Ele inclui informações sobre como o Cloud Logging, o Cloud Monitoring e o Cloud Trace armazenam dados. Este documento também oferece uma visão geral conceitual dos buckets de observabilidade, que o Cloud Trace usa como modelo de armazenamento.

Dados de registros

Os dados de registro ficam em buckets de registros, que são os contêineres usados pelo Logging para armazenar seus dados de registro. Cada projeto Google Cloud , conta de faturamento, pasta e organização contém buckets de registro chamados _Required e _Default.

Por padrão, os dados de registro ficam no projeto, na conta de faturamento, na pasta ou na organização Google Cloud de origem dos dados. No entanto, é possível configurar o Logging para rotear dados de registro do recurso de origem para outro local, como outro projeto ou um bucket de registros centralizado.

Para saber mais, consulte Armazenar entradas de registro e Fazer o roteamento de entradas de registro.

Dados de métricas

Os dados de métricas ficam no projeto Google Cloud em que são originados.

Rastrear dados

Os dados de rastreamento ficam em um bucket de observabilidade nomeado no mesmo projeto Google Cloud de onde os dados se originam. O nome do bucket é _Trace. A próxima seção descreve os intervalos de observabilidade.

Para saber mais sobre o formato de armazenamento de intervalos individuais, consulte Esquema de rastreamento.

Modelo de armazenamento de observabilidade

O modelo de armazenamento da API Observability depende da seguinte arquitetura:

Buckets de observabilidade
Um bucket de observabilidade é a entidade de gerenciamento para conjuntos de dados, que armazenam dados. Um bucket de observabilidade está em um local específico e tem uma política de retenção de dados. Quando um serviço Google Cloud usa a API Observability para armazenar dados, o sistema cria um bucket de observabilidade com base no nome do serviço. Por exemplo, para o serviço Cloud Trace, o bucket criado pelo sistema é chamado de _Trace. Para saber mais sobre a estrutura de um bucket de observabilidade, consulte Bucket.
Conjuntos de dados
Um conjunto de dados é uma entidade de armazenamento. Cada conjunto de dados é filho de um bucket de observabilidade. Quando o sistema cria um bucket de observabilidade para um serviço Google Cloud , ele também cria um conjunto de dados. Por exemplo, depois que o sistema cria o bucket _Trace, ele cria o conjunto de dados chamado Spans. Esse conjunto de dados armazena seus dados de rastreamento. Para saber mais sobre a estrutura de um conjunto de dados, consulte Dataset.
Visualizações em conjuntos de dados
Cada conjunto de dados hospeda uma ou mais visualizações. Uma visualização oferece acesso de leitura a um subconjunto de entradas no conjunto de dados. Quando um conjunto de dados é criado, o sistema cria automaticamente uma visualização. Essa visualização inclui todos os dados do conjunto. O nome da visualização depende do serviço. Por exemplo, para o serviço Cloud Trace, o sistema cria uma visualização chamada _AllSpans no conjunto de dados Spans. Para saber mais sobre a estrutura de uma visualização, consulte View.
Links em conjuntos de dados

Cada conjunto de dados pode conter no máximo um link. Quando você cria um vínculo para um conjunto de dados, o sistema cria um conjunto de dados vinculado do BigQuery. Em seguida, você pode consultar os dados no conjunto de dados usando o BigQuery ou outros serviços que usam a API BigQuery. Para saber mais sobre a estrutura de um link, consulte Link.

O sistema não cria links automaticamente em conjuntos de dados.

Por exemplo, os dados de rastreamento estão em um conjunto de dados chamado Spans. Esse conjunto de dados é filho do bucket de observabilidade chamado _Trace. No conjunto de dados Spans, o sistema cria a visualização chamada _AllSpans. Essa visualização inclui todos os dados do conjunto de dados.

Limitações

Não é possível fazer o seguinte:

  • Modificar ou excluir buckets de observabilidade.
  • Criar, excluir ou modificar conjuntos de dados.
  • Criar, excluir ou modificar visualizações.
  • Use o console do Google Cloud para listar intervalos, conjuntos de dados, visualizações ou links.
  • Crie buckets de observabilidade em locais diferentes de us. Um bucket de observabilidade precisa estar no local us.

A seguir