Visão geral do armazenamento do Google Cloud Observability

Este documento descreve como o Google Cloud Observability armazena seus dados de telemetria. Ele inclui informações sobre como o Cloud Logging, o Cloud Monitoring e o Cloud Trace armazenam dados. Este documento também oferece uma visão geral conceitual dos intervalos de observabilidade.

Dados de registros

Os dados de registros ficam em buckets de registros, que são os contêineres usados pelo Logging para armazenar seus dados de registros. Cada projeto Google Cloud , conta de faturamento, pasta e organização contém buckets de registro chamados _Required e _Default.

Por padrão, os dados de registro ficam no projeto, na conta de faturamento, na pasta ou na organização Google Cloud de origem dos dados. No entanto, é possível configurar o Logging para rotear dados de registro do recurso de origem para outro local, como outro projeto ou um bucket de registros centralizado. Para saber mais, consulte Armazenar entradas de registro e Fazer o roteamento de entradas de registro.

Com o Cloud Logging, é possível regionalizar os dados de registros:

  • As políticas da organização podem restringir os locais dos novos buckets de registro e exigir que eles usem chaves de criptografia gerenciadas pelo cliente (CMEK).

  • Para organizações e pastas, as configurações de recursos padrão do Cloud Logging permitem configurar o seguinte:

    • O local dos novos buckets de registros _Required e _Default.
    • A chave do KMS para criptografar os dados de registro.
    • A configuração do coletor padrão.

    Os descendentes na hierarquia de recursos herdam automaticamente essas configurações, a menos que também configurem as configurações padrão de recursos. Por exemplo, suponha que você configure as configurações de recursos padrão do Cloud Logging para uma organização. Depois, todas as pastas e projetos na hierarquia de recursos da organização herdam automaticamente essas configurações. No entanto, se você definir as configurações de recursos padrão do Cloud Logging para uma pasta nessa organização, as configurações no nível da pasta serão usadas.

    As configurações de recursos padrão do Cloud Logging se aplicam apenas a recursos novos, não aos atuais. Para saber mais, consulte Configurar as definições de recursos padrão para o Cloud Logging.

Dados de métricas

Os dados de métricas ficam no projeto Google Cloud em que são originados.

Para informações sobre as políticas de armazenamento de dados usados pelo Monitoring, consulte Residência de dados para o Monitoring.

Rastrear dados

Os dados de rastreamento ficam em um bucket de observabilidade nomeado no mesmo projeto Google Cloud de onde os dados se originam. O nome do bucket é _Trace. A próxima seção descreve os intervalos de observabilidade. Para saber mais sobre o formato de armazenamento de intervalos individuais, consulte Esquema de rastreamento.

É possível controlar onde os dados de rastreamento são armazenados e quem gerencia as chaves de criptografia ao configurar as opções padrão para os buckets de observabilidade. Por exemplo, é possível usar essas configurações para exigir que uma organização use a CMEK em novos intervalos de observabilidade. Para saber mais, consulte a seção Residência de dados para intervalos de observabilidade nesta página.

Modelo de armazenamento de observabilidade

O modelo de armazenamento da API Observability depende da seguinte arquitetura:

Buckets de observabilidade
Um bucket de observabilidade é a entidade de gerenciamento para conjuntos de dados, que armazenam dados. Um bucket de observabilidade está em um local específico e tem uma política de retenção de dados. Quando um serviço Google Cloud usa a API Observability para armazenar dados, o sistema cria um bucket de observabilidade com base no nome do serviço, um conjunto de dados para armazenar dados e uma visualização para fornecer acesso de leitura aos dados armazenados. Por exemplo, para o serviço Cloud Trace, o sistema nomeia o bucket criado pelo sistema _Trace, o conjunto de dados Spans e a visualização _AllSpans. Para saber mais sobre a estrutura de um bucket de observabilidade, consulte Bucket.
Conjuntos de dados
Um conjunto de dados armazena dados. O sistema cria automaticamente um conjunto de dados quando cria um bucket de observabilidade, que gerencia o conjunto de dados. Por exemplo, quando o sistema cria o bucket _Trace, ele também cria um conjunto de dados chamado Spans, que armazena seus dados de rastreamento. Para saber mais sobre a estrutura de um conjunto de dados, consulte Dataset.
Visualizações em conjuntos de dados
Cada conjunto de dados hospeda uma ou mais visualizações. Uma visualização fornece acesso de leitura a um subconjunto de entradas no conjunto de dados. O sistema cria uma visualização ao criar um conjunto de dados. Essa visualização inclui todos os dados do conjunto. O nome da visualização depende do serviço. Por exemplo, para o serviço Cloud Trace, o sistema cria uma visualização chamada _AllSpans no conjunto de dados Spans. Para saber mais sobre a estrutura de uma visualização, consulte View.
Links em conjuntos de dados

Cada conjunto de dados pode conter no máximo um link. Quando você cria um vínculo para um conjunto de dados, o sistema cria um conjunto de dados vinculado do BigQuery. Em seguida, você pode consultar os dados no conjunto de dados usando o BigQuery ou outros serviços que usam a API BigQuery. Para saber mais sobre a estrutura de um link, consulte Link.

O sistema não cria links automaticamente em conjuntos de dados.

Por exemplo, os dados de rastreamento estão em um conjunto de dados chamado Spans. Esse conjunto de dados é filho do bucket de observabilidade chamado _Trace. No conjunto de dados Spans, o sistema cria a visualização chamada _AllSpans. Essa visualização inclui todos os dados do conjunto de dados.

Residência de dados para buckets de observabilidade

Se você tiver requisitos regulamentares ou de compliance para armazenar seus dados em locais específicos ou usar a CMEK, recomendamos que configure as opções padrão para buckets de observabilidade:

  • Para organizações, pastas e projetos, as configurações padrão dos buckets de observabilidade permitem configurar o seguinte:

    • Um local de armazenamento padrão.
    • Para cada local, uma chave padrão do Cloud Key Management Service.

    Os descendentes na hierarquia de recursos usam automaticamente essas configurações, exceto aqueles em que você configurou as configurações padrão.

    As configurações padrão para intervalos de observabilidade se aplicam apenas a novos recursos, não aos atuais. Para saber mais, consulte Definir padrões para buckets de observabilidade.

As configurações padrão para buckets de observabilidade não se aplicam aos buckets de registros, que armazenam dados de registros. Para saber como definir o local padrão ou exigir a CMEK para buckets de registros, consulte Configurar as definições de recursos padrão para o Cloud Logging.

Limitações

Não é possível fazer o seguinte:

  • Modificar ou excluir buckets de observabilidade.
  • Criar, excluir ou modificar conjuntos de dados.
  • Criar, excluir ou modificar visualizações.
  • Use o console do Google Cloud para listar intervalos, conjuntos de dados, visualizações ou links.

A seguir