Analisar registros usando o Explorador de registros e a análise de observabilidade

Neste documento, descrevemos como consultar, visualizar e analisar entradas de registro usando o Google Cloud console. Há duas interfaces disponíveis: a Análise de registros e a Análise de observabilidade. É possível consultar, visualizar e analisar registros com as duas interfaces. No entanto, elas usam linguagens de consulta diferentes e têm recursos diferentes:

  • Para solução de problemas e análise detalhada de dados de registro, use a Análise de registros.

  • Para unir dados de registro e trace ou gerar insights e tendências, use a Análise de observabilidade.

É possível consultar seus registros e salvar suas consultas emitindo comandos da API Logging. Também é possível consultar seus registros usando a Google Cloud CLI.

Usar a Análise de registros

A Análise de registros foi projetada para ajudar você a resolver problemas e analisar o desempenho dos seus serviços e aplicativos. Por exemplo, um histograma mostra a taxa de erros. Se você notar um pico de erros ou algo interessante, poderá localizar e visualizar as entradas de registro correspondentes. Quando uma entrada de registro está associada a um grupo de erros, ela é anotada com um menu de opções que permite acessar mais informações sobre o grupo de erros.

A mesma linguagem de consulta é compatível com a API Cloud Logging, a Google Cloud CLI e a Análise de registros. Para simplificar a criação de consultas ao usar a Análise de registros, é possível criar consultas usando menus, inserindo texto e, em alguns casos, usando opções incluídas na exibição de uma entrada de registro individual.

A Análise de registros não oferece suporte a operações agregadas, como contar o número de entradas de registro que contêm um padrão específico. Para realizar operações agregadas, ative a análise no bucket de registros e use a Análise de observabilidade.

Para detalhes sobre como pesquisar e visualizar registros com a Análise de registros, consulte Visualizar registros usando a Análise de registros.

Conheça a Análise de observabilidade

Usando a Análise de observabilidade, é possível gerar insights executando consultas que agrupam e agregam seus dados de registro. Esses insights podem ajudar a reduzir o tempo gasto na solução de problemas. Para visualizar os resultados da consulta, use uma tabela, um gráfico, ou ambos. Os gráficos podem ajudar a identificar padrões e tendências nos dados de registro. Por exemplo, a captura de tela a seguir mostra um resultado de consulta exibido como uma tabela e um gráfico:

Interface do usuário para o Analytics de observabilidade.

A Análise de observabilidade oferece suporte a:

  • Agrupamento e agregação de dados de registro.

    Por exemplo, é possível executar uma consulta SQL que agrupa entradas de registro por hora e, em seguida, calcula, para cada grupo, a latência média das solicitações HTTP emitidas para um URL específico.

  • Consultas SQL que usam a sintaxe pipe.

  • Consultas de visualizações de registros e visualizações de análise.

    As visualizações de registros têm um esquema definido pelo sistema. Você define o esquema para visualizações de análise.

  • Mesclagens de dados de registro e trace.

    Para informações sobre como consultar os dados de trace, consulte Consultar e analisar traces.

O Cloud Logging também permite consultar os dados de registro do BigQuery, sem exportar esses dados para o BigQuery. Depois de fazer upgrade do seu bucket de registros para usar a Análise de observabilidade, crie um conjunto de dados vinculado. É possível consultar o conjunto de dados vinculado usando os serviços do BigQuery.

O upgrade de um bucket de registros não afeta o uso da Análise de registros. A Análise de registros só exige que os dados de registro sejam armazenados em um bucket de registros.

Restrições

  • Para fazer upgrade de um bucket de registros atual para usar a Análise de observabilidade, as seguintes restrições se aplicam:

    • O bucket de registros foi criado no Google Cloud nível do projeto.
    • O bucket de registros está desbloqueado, a menos que seja o _Required bucket.
    • Não há atualizações pendentes no bucket.

  • As entradas de registro gravadas antes do upgrade de um bucket não ficam disponíveis imediatamente. No entanto, quando a operação de preenchimento for concluída, será possível analisar essas entradas de registro. O processo de preenchimento pode levar vários dias.

  • Não é possível usar a página Análise de observabilidade para consultar visualizações de registros quando o bucket de registros tem controles de acesso no nível do campo configurados. No entanto, é possível emitir consultas pela página Análise de registros e consultar um conjunto de dados vinculado do BigQuery. Como o BigQuery não respeita os controles de acesso no nível do campo, se você consultar um conjunto de dados vinculado, poderá consultar todos os campos nas entradas de registro.

  • As entradas de registro duplicadas não são removidas antes da execução de uma consulta. Esse comportamento é diferente de quando você consulta entradas de registro usando a Análise de registros, que remove entradas duplicadas comparando os nomes de registro, os carimbos de data/hora e os campos de ID de inserção. Para mais informações, consulte Resolver problemas: há entradas de registro duplicadas nos meus resultados da Análise de observabilidade.

Restrições em mesclagens

Para mesclar visualizações, as seguintes restrições se aplicam:

  1. Os locais das visualizações atendem a um dos seguintes requisitos:

    • Todas as visualizações têm o mesmo local.
    • Todas as visualizações estão no local global ou us.

  2. Quando os recursos de armazenamento usam chaves de criptografia gerenciadas pelo cliente (CMEK, na sigla em inglês), uma das seguintes condições é verdadeira:

    • Os recursos de armazenamento que usam CMEK usam a mesma chave do Cloud KMS.
    • Os recursos de armazenamento que usam CMEK têm um ancestral comum, e esse ancestral especifica uma chave padrão Cloud KMS que está no mesmo local que os recursos de armazenamento.

    Quando um ou mais recursos de armazenamento usam CMEK, o sistema criptografa os dados temporários gerados por a mesclagem com a chave comum do Cloud KMS ou a chave padrão do Cloud KMS do ancestral.

Por exemplo, suponha que você tenha duas visualizações que residem no mesmo local. Em seguida, é possível mesclar essas visualizações quando qualquer uma das seguintes condições for verdadeira:

  • Os recursos de armazenamento não usam CMEK.
  • Um recurso de armazenamento usa CMEK e o outro não.
  • Os dois recursos de armazenamento usam CMEK e a mesma chave do Cloud KMS.

  • Os dois recursos de armazenamento usam CMEK, mas chaves diferentes. No entanto, os recursos compartilham um ancestral que especifica uma chave padrão do Cloud KMS que está no mesmo local que os recursos de armazenamento.

    Por exemplo, suponha que a hierarquia de recursos de um bucket de registros e um bucket de observabilidade inclua a mesma organização. É possível mesclar visualizações nesses buckets quando, para essa organização, você tiver configurado as configurações de recursos padrão para o Cloud Logging e para buckets de observabilidade com a mesma chave padrão do Cloud KMS para o local de armazenamento.

Preços

Para informações sobre preços, consulte a página de preços do Google Cloud Observability. Se você rotear dados de registro para outros Google Cloud serviços, consulte os seguintes documentos:

Não há custos de ingestão ou armazenamento do BigQuery ao fazer upgrade de um bucket para usar a Análise de observabilidade e criar um conjunto de dados vinculado. Ao criar um conjunto de dados vinculado para um bucket de registros, você não ingere os dados de registro no BigQuery. Em vez disso, você recebe acesso de leitura aos dados de registro armazenados no bucket de registros pelo conjunto de dados vinculado.

As cobranças de análise do BigQuery são aplicadas quando você executa consultas SQL em conjuntos de dados vinculados do BigQuery, o que inclui o uso da página BigQuery Studio , da API BigQuery e da ferramenta de linha de comando do BigQuery.

Blogs

Para mais informações sobre a Análise de observabilidade, consulte os seguintes posts do blog:

A seguir