Visão geral do armazenamento do Google Cloud Observability

Este documento descreve como o Google Cloud Observability armazena seus dados de telemetria. Ele inclui informações sobre como o Cloud Logging, o Cloud Monitoring e o Cloud Trace armazenam dados. Este documento também oferece uma visão geral conceitual dos buckets de observabilidade.

Dados de registros

Os dados de registros residem em buckets de registros, que são os contêineres que a geração de registros usa para armazenar os dados de registros. Cada Google Cloud projeto, conta de faturamento, pasta e organização contém buckets de registros chamados _Required e _Default.

Por padrão, os dados de registros residem no Google Cloud projeto, conta de faturamento, pasta, ou organização em que os dados são originados. No entanto, é possível configurar o Logging para encaminhar dados de registros do recurso em que eles são originados para outro local, como outro projeto ou um bucket de registros centralizado. Para saber mais, consulte Entradas de registro de repositório e Entradas de registro de rota.

O Cloud Logging permite regionalizar os dados de registros:

  • As políticas da organização podem restringir os locais de novos buckets de registro e exigir que os buckets de registro usem chaves de criptografia gerenciadas pelo cliente (CMEK).

  • Para organizações e pastas, as configurações de recursos padrão do Cloud Logging permitem configurar o seguinte:

    • O local dos novos buckets de registro _Required e _Default.
    • A chave do KMS para criptografar os dados de registros.
    • A configuração do coletor padrão.

    Os descendentes na hierarquia de recursos herdam automaticamente essas configurações, a menos que também configurem as configurações de recursos padrão. Por exemplo, suponha que você configure as configurações de recursos padrão do Cloud Logging para uma organização. Em seguida, todas as pastas e projetos na hierarquia de recursos da organização herdam automaticamente essas configurações. No entanto, se você definir as configurações de recursos padrão do Cloud Logging para uma pasta nessa organização, as configurações no nível da pasta serão usadas.

    As configurações de recursos padrão do Cloud Logging se aplicam apenas a novos recursos, não aos atuais. Para saber mais, consulte Configurar as configurações de recursos padrão do Cloud Logging.

Dados de métricas

Os dados de métricas residem no Google Cloud projeto em que os dados são originados.

Para informações sobre as políticas de armazenamento de dados usados pelo Monitoring, consulte Residência de dados para o Monitoring.

Rastrear dados

Os dados de rastreamento residem em um bucket de observabilidade chamado no mesmo Google Cloud projeto em que os dados são originados. O nome do bucket é _Trace. A próxima seção descreve os buckets de observabilidade. Para saber mais sobre o formato de armazenamento de intervalos individuais, consulte Esquema de rastreamento.

É possível controlar onde os dados de rastreamento são armazenados e quem gerencia as chaves de criptografia configurando as configurações padrão para buckets de observabilidade. Por exemplo, é possível usar essas configurações para uma organização para exigir que novos buckets de observabilidade na organização usem a CMEK. Para saber mais, consulte a seção Residência de dados para buckets de observabilidade desta página.

Modelo de armazenamento de observabilidade

O modelo de armazenamento da API Observability depende da seguinte arquitetura:

Buckets de observabilidade
Um bucket de observabilidade é a entidade de gerenciamento para conjuntos de dados, que armazenam dados. Um bucket de observabilidade está em um local específico e tem uma política de retenção de dados. Quando um Google Cloud serviço usa a API Observability para armazenar dados, o sistema cria um bucket de observabilidade com base no nome do serviço, um conjunto de dados para armazenar dados e uma visualização para fornecer acesso de leitura aos dados armazenados. Por exemplo, para o serviço Cloud Trace, o sistema nomeia o bucket criado pelo sistema como _Trace, o conjunto de dados Spans e a visualização _AllSpans. Para saber mais sobre a estrutura de um bucket de observabilidade, consulte Bucket.
Conjuntos de dados
Um conjunto de dados armazena dados. O sistema cria automaticamente um conjunto de dados quando cria um bucket de observabilidade, que gerencia o conjunto de dados. Por exemplo, quando o sistema cria o bucket _Trace, ele também cria um conjunto de dados chamado Spans, que armazena os dados de rastreamento. Para saber mais sobre a estrutura de um conjunto de dados, consulte Dataset.
Visualizações em conjuntos de dados
Cada conjunto de dados hospeda uma ou mais visualizações. Uma visualização fornece acesso de leitura a um subconjunto de entradas no conjunto de dados. O sistema cria uma visualização quando cria um conjunto de dados. Essa visualização inclui todos os dados no conjunto de dados. O nome da visualização depende do serviço. Por exemplo, para o serviço Cloud Trace, o sistema cria uma visualização chamada _AllSpans no conjunto de dados Spans. Para saber mais sobre a estrutura de uma visualização, consulte View.
Links em conjuntos de dados

Cada conjunto de dados pode conter no máximo um link. Ao criar um link para um conjunto de dados, o sistema cria um conjunto de dados vinculado do BigQuery. Em seguida, é possível consultar os dados no conjunto de dados usando o BigQuery ou outros serviços que usam a API BigQuery. Para saber mais sobre a estrutura de um link, consulte Link.

O sistema não cria links automaticamente em conjuntos de dados.

Por exemplo, os dados de rastreamento residem em um conjunto de dados chamado Spans. Esse conjunto de dados é um filho do bucket de observabilidade chamado _Trace. No conjunto de dados Spans, o sistema cria a visualização chamada _AllSpans. Essa visualização inclui todos os dados no conjunto de dados.

Residência de dados para buckets de observabilidade

Se você tiver requisitos de compliance ou regulamentares para armazenar seus dados em locais específicos ou usar a CMEK, recomendamos que você configure as configurações padrão para buckets de observabilidade:

  • Para organizações, pastas e projetos, as configurações padrão para buckets de observabilidade permitem configurar o seguinte:

    • Um local de armazenamento padrão.
    • Para cada local, uma chave padrão do Cloud Key Management Service.

    Os descendentes na hierarquia de recursos usam automaticamente essas configurações, exceto aqueles em que você configurou as configurações padrão.

    As configurações padrão para buckets de observabilidade se aplicam apenas a novos recursos, não aos atuais. Para saber mais, consulte Definir padrões para buckets de observabilidade.

As configurações padrão para buckets de observabilidade não se aplicam a buckets de registros, que armazenam dados de registros. Para saber como definir o local padrão ou exigir a CMEK para buckets de registros, consulte Configurar as configurações de recursos padrão do Cloud Logging.

Limitações

Não é possível fazer o seguinte:

  • Modificar ou excluir buckets de observabilidade.
  • Criar, excluir ou modificar conjuntos de dados.
  • Criar, excluir ou modificar visualizações.
  • Use o Google Cloud console do Cloud para listar buckets, conjuntos de dados, visualizações ou links.

A seguir