Analisar registros usando o Explorador de registros e a Análise de dados de registros

Neste documento, descrevemos como consultar, visualizar e analisar entradas de registro usando o console do Google Cloud . Há duas interfaces disponíveis: o Explorador de registros e a Análise de dados de registros. É possível consultar, visualizar e analisar registros com as duas interfaces. No entanto, elas usam linguagens de consulta diferentes e têm recursos distintos:

  • Para solucionar problemas e analisar dados de registros, use o Explorador de registros.

  • Para unir seus dados de registro e rastreamento ou gerar insights e tendências, use a Análise de registros.

É possível consultar seus registros e salvar as consultas emitindo comandos da API Logging. Também é possível consultar seus registros usando a Google Cloud CLI.

Usar a Análise de registros

O Explorador de registros foi criado para ajudar você a resolver problemas e analisar o desempenho dos serviços e aplicativos. Por exemplo, um histograma mostra a taxa de erros. Se você notar um pico de erros ou algo interessante, localize e veja as entradas de registro correspondentes. Quando uma entrada de registro é associada a um grupo de erros, ela é anotada com um menu de opções que permite acessar mais informações sobre o grupo.

A mesma linguagem de consulta é compatível com a API Cloud Logging, a Google Cloud CLI e o Explorador de registros. Para simplificar a criação de consultas ao usar a Análise de registros, é possível criar consultas usando menus, inserindo texto e, em alguns casos, usando opções incluídas na exibição de uma entrada de registro individual.

A Análise de registros não oferece suporte a operações de agregação, como contar o número de entradas de registro que contêm um padrão específico. Para realizar operações de agregação, ative a análise no bucket de registros e use a Análise de dados de registros.

Para detalhes sobre como pesquisar e visualizar registros com o Explorador de registros, consulte Ver registros usando o Explorador de registros.

Conheça a Análise de registros

Com a Análise de registros, é possível gerar insights executando consultas que agrupam e agregam seus dados de registros. Esses insights podem ajudar a reduzir o tempo gasto na solução de problemas. Para ver os resultados da consulta, use uma tabela, um gráfico ou ambos. Os gráficos podem ajudar você a identificar padrões e tendências nos dados de registro. Por exemplo, a captura de tela a seguir mostra um resultado de consulta exibido como uma tabela e um gráfico:

Interface do usuário para a análise de registros.

A Análise de registros é compatível com o seguinte:

  • Agrupamento e agregação de dados de registros.

    Por exemplo, é possível executar uma consulta SQL que agrupa entradas de registro por hora e calcula, para cada grupo, a latência média das solicitações HTTP emitidas para um URL específico.

  • Consultas SQL que usam a sintaxe pipe.

  • Consultas de visualizações de registros e visualizações de análise.

    As visualizações de registros têm um esquema definido pelo sistema. Você define o esquema para visualizações de análise.

  • Junções de dados de registro e rastreamento.

    Para informações sobre como consultar seus dados de trace, consulte Consultar e analisar traces.

O Cloud Logging também permite consultar os dados de registros do BigQuery sem exportá-los para lá. Depois de fazer upgrade do bucket de registros para usar a Análise de dados de registros, crie um conjunto de dados vinculado. É possível consultar o conjunto de dados vinculado usando os serviços do BigQuery.

O upgrade de um bucket de registros não afeta seu uso do Explorador de registros. O Explorador de registros só exige que os dados de registro sejam armazenados em um bucket de registros.

Restrições

  • Para fazer upgrade de um bucket de registros atual para usar a Análise de dados de registros, as seguintes restrições se aplicam:

    • O bucket de registros foi criado no nível do projeto Google Cloud .
    • O bucket de registros fica desbloqueado, a menos que seja o bucket _Required.
    • Não há atualizações pendentes para o bucket.

  • As entradas de registro gravadas antes da atualização de um bucket não ficam disponíveis imediatamente. No entanto, quando a operação de preenchimento for concluída, você poderá analisar essas entradas de registro. O processo de preenchimento pode levar vários dias.

  • Não é possível usar a página Análise de registros para consultar visualizações de registros quando o bucket de registros tem controles de acesso no nível do campo configurados. No entanto, é possível fazer consultas na página Explorador de registros e consultar um conjunto de dados vinculado do BigQuery. Como o BigQuery não respeita os controles de acesso no nível do campo, se você consultar um conjunto de dados vinculado, poderá consultar todos os campos nas entradas de registro.

  • Se você consultar várias visualizações de registros, elas precisarão ser armazenadas no mesmo local. Por exemplo, se duas visualizações estiverem localizadas em us-east1, uma consulta poderá consultar as duas. Também é possível consultar duas visualizações localizadas na multirregião us. No entanto, se o local de uma visualização for global, ela poderá estar em qualquer local físico. Portanto, as junções entre duas visualizações que têm o local global podem falhar.

  • Se você consultar várias visualizações de registros e os buckets de registros subjacentes forem configurados com chaves diferentes do Cloud KMS, a consulta vai falhar a menos que as seguintes restrições sejam atendidas:

    • Uma pasta ou organização que é um recurso pai dos intervalos de registros está configurada com uma chave padrão.
    • A chave padrão está no mesmo local que os buckets de registros.

    Quando as restrições anteriores são atendidas, a chave do Cloud KMS do pai criptografa todos os dados temporários gerados por uma consulta da análise de registros.

  • As entradas de registro duplicadas não são removidas antes da execução de uma consulta. Esse comportamento é diferente de quando você consulta entradas de registro usando o Logs Explorer, que remove entradas duplicadas comparando os nomes dos registros, os carimbos de data/hora e os campos de ID de inserção. Para mais informações, consulte Solução de problemas: há entradas de registro duplicadas nos resultados da Análise de dados de registros.

Preços

Para informações sobre preços, consulte a página Preços do Google Cloud Observability. Se você rotear dados de registro para outros serviços do Google Cloud , consulte os seguintes documentos:

Não há custos de ingestão ou armazenamento do BigQuery quando você faz upgrade de um bucket para usar a Análise de dados de registros e cria um conjunto de dados vinculado. Ao criar um conjunto de dados vinculado para um bucket de registros, você não ingere os dados de registro no BigQuery. Em vez disso, você recebe acesso de leitura aos dados de registro armazenados no bucket de registros pelo conjunto de dados vinculado.

As cobranças de análise do BigQuery se aplicam quando você executa consultas SQL em conjuntos de dados vinculados do BigQuery, incluindo o uso da página BigQuery Studio, da API BigQuery e da ferramenta de linha de comando do BigQuery.

Blogs

Para mais informações sobre a Análise de registros, consulte as seguintes postagens do blog:

A seguir