Analisar registros usando o Explorador de registros e a Análise de dados de registros

Este documento descreve como consultar, visualizar e analisar entradas de registro usando o Google Cloud console. Há duas interfaces disponíveis: o Explorador de registros e a Análise de registros. É possível consultar, visualizar e analisar registros com as duas interfaces. No entanto, elas usam linguagens de consulta diferentes e elas têm recursos diferentes:

  • Para solucionar problemas e explorar dados de registro, use o Explorador de registros.

  • Para mesclar dados de registro e de trace ou gerar insights e tendências, use a Análise de registros.

É possível consultar seus registros e salvar as consultas emitindo comandos da API Logging. Também é possível consultar seus registros usando a Google Cloud CLI.

Usar a Análise de registros

O Explorador de registros foi projetado para ajudar você a solucionar problemas e analisar o desempenho dos seus serviços e aplicativos. Por exemplo, um histograma mostra a taxa de erros. Se você notar um pico de erros ou algo que seja interessante, poderá localizar e visualizar as entradas de registro correspondentes. Quando uma entrada de registro está associada a um grupo de erros, ela é anotada com um menu de opções que permite acessar mais informações sobre o grupo de erros.

A mesma linguagem de consulta é compatível com a API Cloud Logging, a Google Cloud CLI e o Explorador de registros. Para simplificar a criação de consultas ao usar o Explorador de registros, é possível criar consultas usando menus, inserindo texto e, em alguns casos, usando opções incluídas na exibição de uma entrada de registro individual.

O Explorador de registros não oferece suporte a operações agregadas, como contar o número de entradas de registro que contêm um padrão específico. Para realizar operações agregadas, ative a análise no bucket de registros e use Análise de registros.

Para detalhes sobre como pesquisar e visualizar registros com o Explorador de registros, consulte Visualizar registros usando o Explorador de registros.

Conhecer a Análise de registros

Usando a Análise de registros, é possível gerar insights executando consultas que agrupam e agregam seus dados de registro. Esses insights podem ajudar a reduzir o tempo gasto na solução de problemas. Para visualizar os resultados da consulta, use uma tabela, um gráfico, ou ambos. Os gráficos podem ajudar a identificar padrões e tendências nos dados de registro. Por exemplo, a captura de tela a seguir mostra um resultado de consulta exibido como uma tabela e um gráfico:

Interface do usuário para a análise de registros.

A Análise de registros oferece suporte a:

  • Agrupamento e agregação de dados de registro.

    Por exemplo, é possível executar uma consulta SQL que agrupa entradas de registro por hora e, em seguida, calcula para cada grupo a latência média das solicitações HTTP emitidas para um URL específico.

  • Consultas SQL que usam a sintaxe pipe.

  • Consultas de visualizações de registro e visualizações de análise.

    As visualizações de registro têm um esquema definido pelo sistema. Você define o esquema para visualizações de análise.

  • Mesclagens de dados de registro e de trace.

    Para informações sobre como consultar dados de trace, consulte Consultar e analisar traces.

O Cloud Logging também permite consultar dados de registro do BigQuery, sem exportar esses dados para o BigQuery. Depois de fazer upgrade do bucket de registros para usar a Análise de registros, crie um conjunto de dados vinculado. É possível consultar o conjunto de dados vinculado usando os serviços do BigQuery.

O upgrade de um bucket de registros não afeta o uso do Explorador de registros. O Explorador de registros só exige que os dados de registro sejam armazenados em um bucket de registros.

Restrições

  • Para fazer upgrade de um bucket de registros atual para usar a Análise de registros, as seguintes restrições se aplicam:

    • O bucket de registros foi criado no nível do Google Cloud projeto.
    • O bucket de registros está desbloqueado, a menos que seja o _Required bucket.
    • Não há atualizações pendentes para o bucket.

  • As entradas de registro gravadas antes do upgrade de um bucket não ficam disponíveis imediatamente. No entanto, quando a operação de preenchimento for concluída, será possível analisar essas entradas de registro. O processo de preenchimento pode levar vários dias.

  • Não é possível usar a página Análise de registros para consultar visualizações de registro quando o bucket de registros tem controles de acesso no nível do campo configurados. No entanto, é possível emitir consultas pela página Explorador de registros e consultar um conjunto de dados vinculado do BigQuery. Como o BigQuery não respeita os controles de acesso no nível do campo, se você consultar um conjunto de dados vinculado, poderá consultar todos os campos nas entradas de registro.

  • As entradas de registro duplicadas não são removidas antes da execução de uma consulta. Esse comportamento é diferente de quando você consulta entradas de registro usando o Explorador de registros, que remove entradas duplicadas comparando os nomes de registro, carimbos de data/hora e campos de ID de inserção. Para mais informações, consulte Solução de problemas: há entradas de registro duplicadas nos resultados da Análise de registros.

Restrições em mesclagens

Para mesclar visualizações, as seguintes restrições se aplicam:

  1. Os locais das visualizações atendem a um dos seguintes requisitos:

    • Todas as visualizações têm o mesmo local.
    • Todas as visualizações estão no local global ou us.

  2. Quando os recursos de armazenamento usam chaves de criptografia gerenciadas pelo cliente (CMEK), uma das seguintes condições é verdadeira:

    • Os recursos de armazenamento que usam CMEK usam a mesma chave do Cloud KMS.
    • Os recursos de armazenamento que usam CMEK têm um ancestral comum, e esse ancestral especifica uma chave padrão Cloud KMS que está no mesmo local que os recursos de armazenamento.

    Quando um ou mais recursos de armazenamento usam CMEK, o sistema criptografa os dados temporários gerados por a mesclagem com a chave comum do Cloud KMS ou a chave padrão do Cloud KMS do ancestral.

Por exemplo, suponha que você tenha duas visualizações que residem no mesmo local. Em seguida, é possível mesclar essas visualizações quando qualquer uma das seguintes condições for verdadeira:

  • Os recursos de armazenamento não usam CMEK.
  • Um recurso de armazenamento usa CMEK e o outro não.
  • Os dois recursos de armazenamento usam CMEK e a mesma chave do Cloud KMS.

  • Os dois recursos de armazenamento usam CMEK, mas chaves diferentes. No entanto, os recursos compartilham um ancestral que especifica uma chave padrão do Cloud KMS que está no mesmo local que os recursos de armazenamento.

    Por exemplo, suponha que a hierarquia de recursos de um bucket de registros e um bucket de observabilidade inclua a mesma organização. É possível mesclar visualizações nesses buckets quando, para essa organização, você tiver configurado as configurações de recursos padrão para o Cloud Logging e para buckets de observabilidade com a mesma chave padrão do Cloud KMS para o local de armazenamento.

Preços

Para informações sobre preços, consulte a página de preços do Google Cloud Observability. Se você rotear dados de registro para outros Google Cloud serviços, consulte os seguintes documentos:

Não há custos de ingestão ou armazenamento do BigQuery ao fazer upgrade de um bucket para usar a Análise de registros e, em seguida, criar um conjunto de dados vinculado. Ao criar um conjunto de dados vinculado para um bucket de registros, você não ingere os dados de registro no BigQuery. Em vez disso, você recebe acesso de leitura aos dados de registro armazenados no bucket de registros pelo conjunto de dados vinculado.

As cobranças de análise do BigQuery são aplicadas quando você executa consultas SQL em conjuntos de dados vinculados do BigQuery, o que inclui o uso da página BigQuery Studio, da API BigQuery e da ferramenta de linha de comando do BigQuery.

Blogs

Para mais informações sobre a Análise de registros, consulte os seguintes posts do blog:

A seguir