Analisar dados de rastreamento com o BigQuery

Visualização

Esse produto ou recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos gerais de serviço" dos Termos específicos de serviço. Os produtos e recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Neste documento, descrevemos como criar um conjunto de dados vinculado do BigQuery para seus dados de trace e como consultar esse conjunto de dados. Um conjunto de dados vinculado permite criar e executar consultas que combinam seus dados de observabilidade com outros dados comerciais. Por exemplo, é possível consultar um conjunto de dados vinculado no BigQuery Studio e no Looker Studio. Também é possível executar consultas da Análise de registros no back-end do BigQuery.

Para começar a usar a Análise de registros, consulte Consultar e analisar traces.

Quando você precisa de um conjunto de dados vinculado

Não é necessário um conjunto de dados vinculado do BigQuery ao consultar seus dados de trace ou seus dados de trace e de registro. Para esses cenários, use a página Análise de registros. Para mais informações sobre como consultar dados de registro, consulte Consultar e analisar registros com a Análise de registros.

Você precisa de um conjunto de dados vinculado do BigQuery quando quiser fazer o seguinte:

• Combinar dados de trace com outros conjuntos de dados do BigQuery.
• Consultar dados de trace de outro serviço, como a página do BigQuery Studio ou o Looker Studio.
• Executar consultas da página Análise de registros no mecanismo do BigQuery.

Antes de começar

Faça login na sua Google Cloud conta do. Se você não conhece o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em cenários reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Observability API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Observability API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Criar um conjunto de dados vinculado do BigQuery

Esta seção descreve quais APIs precisam ser ativadas, os papéis necessários para criar um conjunto de dados vinculado e como criar um.

Pré-requisitos

1. Conclua as etapas na seção Antes de começar.

2. Para receber as permissões necessárias para criar um link em um conjunto de dados de observabilidade, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

   • Editor de observabilidade (roles/observability.editor)
   • Usuário do BigQuery (roles/bigquery.user)
   • Visualizador de registros (roles/logging.viewer)

   Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

   Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

Criar um link em um conjunto de dados de observabilidade

REST

Para criar um link para um conjunto de dados do BigQuery, envie uma solicitação ao projects.locations.buckets.datasets.links.create endpoint.

É necessário especificar o parâmetro pai, que tem o seguinte formato:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Os campos na expressão anterior têm o seguinte significado:

• PROJECT_ID: o identificador do projeto.
• LOCATION: O local do bucket de observabilidade.
• BUCKET_ID: o ID do bucket de observabilidade. Por exemplo, esse ID pode ser _Trace.
• DATASET_ID: o ID do conjunto de dados que está sendo consultado. Por exemplo, esse ID pode ser Spans.

Esse comando exige um parâmetro de consulta e um corpo da solicitação:

• O parâmetro de consulta, linkId, precisa ser especificado e definido como o nome do conjunto de dados do BigQuery. Por exemplo, linkId="my_link". O nome do conjunto de dados do BigQuery precisa ser exclusivo para o seu Google Cloud projeto, e limitado a 100 caracteres, podendo incluir apenas letras, dígitos e sublinhados.

• O corpo da solicitação é um Link objeto. O valor do campo name tem o seguinte formato:

  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID
  

  O valor fornecido para o campo name precisa corresponder ao conjunto de dados vinculado do BigQuery referenciado pelo parâmetro de consulta.

  O campo LINK_ID é o nome do conjunto de dados do BigQuery.

A resposta é um Operation objeto. Esse objeto contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém dados de status.

Para uma lista completa de endpoints da API Observability, consulte a documentação de referência da API Observability.

Consultar dados de trace no BigQuery Studio

Esta seção descreve como consultar seus dados de trace na página BigQuery Studio.

Para saber mais sobre os custos associados ao uso do BigQuery, consulte Preços do BigQuery.

Pré-requisitos

1. Conclua as etapas na seção Antes de começar.

2. Para receber as permissões necessárias para consultar um conjunto de dados vinculado do BigQuery, peça ao administrador para conceder a você o papel do IAM Leitor de dados do BigQuery (roles/bigquery.dataViewer) no projeto ou conjunto de dados vinculado. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

   Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

3. Verifique se o conjunto de dados vinculado do BigQuery para o bucket de observabilidade chamado _Trace existe. Se o conjunto de dados vinculado não existir, crie-o.

Usar o BigQuery Studio

Para abrir o BigQuery na página Análise de registros e consultar seus dados de trace, faça o seguinte:

1. No Google Cloud console do, acesse a página Análise de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Insira ou carregue uma consulta. Para mais informações, consulte Consultar e analisar traces.

3. Na barra de ferramentas, expanda o menu rotulado Executar consulta ou Executar no BigQuery e selecione Abrir no BigQuery.

   A página do BigQuery Studio é aberta. Nessa página, a instrução FROM especifica o conjunto de dados vinculado usando a sintaxe do caminho da tabela do BigQuery . É possível realizar qualquer ação compatível na consulta, como editá-la.

   Se a opção Abrir no BigQuery estiver desativada, um conjunto de dados vinculado não existe ou você não tem as permissões necessárias para abrir e visualizar a consulta no BigQuery.

4. Na página BigQuery Studio, clique em Executar consulta.

Executar consultas no mecanismo do BigQuery

Por padrão, a página Análise de registros executa as consultas que você escreve no mecanismo de consulta padrão. As consultas executadas competem com todas as outras consultas por slots. Portanto, é possível que a execução de uma consulta seja atrasada devido à indisponibilidade de slots. O mecanismo de consulta padrão só pode consultar visualizações de observabilidade, visualizações em buckets de registro e visualizações de análise.

Ao criar um conjunto de dados vinculado, a página Análise de registros permite escolher entre o mecanismo de consulta padrão e o mecanismo do BigQuery. Se você tiver slots do BigQuery reservados e escolher a opção de executar a consulta no mecanismo do BigQuery, então seus slots reservados serão usados. As consultas executadas no mecanismo do BigQuery podem consultar visualizações de observabilidade, visualizações em buckets de registro e visualizações de análise. Essas consultas também podem mesclar seus dados de observabilidade com uma tabela do BigQuery.

Há dois casos de uso principais para executar consultas no mecanismo do BigQuery:

• Você cria políticas de alertas baseadas em SQL. As consultas dessas políticas precisam ser executadas no mecanismo do BigQuery.

  **Observação** :não é possível configurar uma política de alertas baseada em SQL para consultar uma visualização em um conjunto de dados de observabilidade.

• Você quer salvar um gráfico em um painel em que ele mostra o resultado de uma junção [de dados] entre dados de observabilidade e outros dados da empresa.

  A cláusula FROM precisa especificar uma visualização em um conjunto de dados de observabilidade ou uma visualização em um bucket de registros, e também precisa haver um conjunto de dados vinculado para os dados que estão sendo consultados. Para mesclar seus dados de observabilidade com outros dados da empresa, adicione uma instrução JOIN que especifique uma tabela do BigQuery. Você precisa ter as permissões do IAM necessárias para consultar a tabela do BigQuery.

Para saber mais sobre os custos associados ao uso do BigQuery, consulte Preços do BigQuery.

Pré-requisitos

1. Conclua as etapas na seção Antes de começar.

2. Para receber as permissões necessárias para executar consultas na Análise de dados de registros usando slots do BigQuery, peça ao administrador para conceder a você os seguintes papéis do IAM:

   • Acessador de visualização de observabilidade (roles/observability.viewAccessor) nas visualizações de observabilidade que você quer consultar. Esse papel oferece suporte a condições do IAM, que permitem restringir a concessão a uma visualização específica. Se você não anexar uma condição à concessão de papel, o principal poderá acessar todas as visualizações de observabilidade.
   • Visualizador de registros (roles/logging.viewer) no seu projeto
   • Usuário do BigQuery (roles/bigquery.user) no seu projeto
   • Usuário de jobs do BigQuery (roles/bigquery.jobUser) no seu projeto

   Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

   Também é possível conseguir as permissões necessárias usando personalizados papéis ou outros predefinidos papéis.

3. Verifique se o conjunto de dados vinculado do BigQuery para o bucket de observabilidade chamado _Trace existe. Se o conjunto de dados vinculado não existir, crie-o.

Se você planeja configurar a página Análise de dados de registros para executar consultas nos slots do BigQuery e estiver usando projetos com o VPC Service Controls, verifique se você está usando a edição Enterprise do BigQuery. Para mais informações, consulte Entender as edições do BigQuery.

Usar o mecanismo do BigQuery

Para executar uma consulta no mecanismo do BigQuery ao usar a página Análise de registros, faça o seguinte:

1. No Google Cloud console do, acesse a página Análise de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Insira ou carregue uma consulta. Para mais informações, consulte Consultar e analisar traces.

3. Acesse a barra de ferramentas e verifique se um botão chamado Executar no BigQuery é exibido.

   Se a barra de ferramentas mostrar Executar consulta, então clique em Configurações e selecione BigQuery.

   Um botão Executar no BigQuery desativado indica que não há um conjunto de dados vinculado. Para resolver essa falha, crie o conjunto de dados vinculado do BigQuery.

4. Clique em Executar no BigQuery.

A seguir

• Monitore os resultados da consulta SQL com uma política de alertas.
• Salve e compartilhe uma consulta SQL.
• Represente os resultados da consulta SQL em um gráfico.
• Consultas SQL de amostra.