Analisar dados de rastreamento com o BigQuery

Visualizar

Este produto ou recurso está sujeito aos "Termos das Soluções Pré-GA" na seção "Termos Gerais de Serviço" dos Termos Específicos de Serviço. Os produtos e recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Neste documento, descrevemos como criar um conjunto de dados vinculado do BigQuery para seus dados de rastreamento e como consultar esse conjunto de dados. Com um conjunto de dados vinculados, é possível criar e executar consultas que combinam seus dados de observabilidade com outras informações comerciais. Por exemplo, é possível consultar um conjunto de dados vinculado no BigQuery Studio e no Looker Studio. Também é possível executar consultas de análise de observabilidade no back-end do BigQuery.

Para começar a usar a análise de observabilidade, consulte Consultar e analisar traces.

Quando você precisa de um conjunto de dados vinculado

Não é necessário um conjunto de dados vinculado do BigQuery quando você quer consultar dados de rastreamento ou dados de rastreamento e de registro. Para esses cenários, use a página Análise de observabilidade. Para informações sobre como consultar dados de registro, consulte Consultar e analisar registros com a Análise de observabilidade.

Você precisa de um conjunto de dados vinculado do BigQuery quando quer fazer o seguinte:

• Mesclar dados de rastreamento com outros conjuntos de dados do BigQuery.
• Consulte dados de rastreamento de outro serviço, como a página do BigQuery Studio ou o Looker Studio.
• Execute consultas na página Análise de observabilidade no mecanismo do BigQuery.

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Observability API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Observability API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Criar um conjunto de dados vinculado do BigQuery

Esta seção descreve quais APIs precisam ser ativadas, as funções necessárias para criar um conjunto de dados vinculados e como fazer isso.

Pré-requisitos

1. Conclua as etapas na seção Antes de começar.

2. Para receber as permissões necessárias para criar um link em um conjunto de dados de observabilidade, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

   • Editor de observabilidade (roles/observability.editor)
   • Usuário do BigQuery (roles/bigquery.user)
   • Visualizador de registros (roles/logging.viewer)

   Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

   Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Criar um link em um conjunto de dados de observabilidade

gcloud

Observação: é preciso usar a CLI gcloud versão 563.0.0 ou mais recente.

Antes de usar os dados do comando abaixo, faça estas substituições:

• LINK_ID: o nome do conjunto de dados do BigQuery.
• DATASET_ID: o ID do conjunto de dados. Seus dados de rastreamento são armazenados em um conjunto de dados chamado Spans.
• BUCKET_ID: o ID do bucket de observabilidade. Por exemplo, o ID pode ser _Trace.
• LOCATION: o local dos buckets de observabilidade.
• PROJECT_ID: o identificador do projeto.

Execute o comando gcloud beta observability buckets datasets links create:

Linux, macOS ou Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

O comando "create" inicia uma operação de longa duração. Confira a seguir um exemplo de resposta quando o comando é bem-sucedido:

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

REST

Para criar um link para um conjunto de dados do BigQuery, envie uma solicitação ao endpoint projects.locations.buckets.datasets.links.create.

Você precisa especificar o parâmetro "parent", que tem o seguinte formato:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Os campos na expressão anterior têm o seguinte significado:

• PROJECT_ID: o identificador do projeto.
• LOCATION: o local do bucket de observabilidade.
• BUCKET_ID: o ID do bucket de observabilidade. Por exemplo, o ID pode ser _Trace.
• DATASET_ID: o ID do conjunto de dados que está sendo consultado. Por exemplo, o ID pode ser Spans.

Esse comando requer um parâmetro de consulta e um corpo da solicitação:

• O parâmetro de consulta, linkId, precisa ser especificado e definido como o nome do conjunto de dados do BigQuery. Por exemplo, linkId="my_link". O nome do conjunto de dados do BigQuery precisa ser exclusivo para seu projeto Google Cloud , ter no máximo 100 caracteres e incluir apenas letras, dígitos e sublinhados.

• O corpo da solicitação é um objeto Link. O valor do campo name tem o seguinte formato:

  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID
  

  O valor fornecido para o campo name precisa corresponder ao conjunto de dados vinculado do BigQuery referenciado pelo parâmetro de consulta.

  O campo LINK_ID é o nome do conjunto de dados do BigQuery.

A resposta é um objeto Operation. Esse objeto contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém dados de status.

Para uma lista completa de endpoints da API Observability, consulte a documentação de referência da API Observability.

Consultar dados de rastreamento do BigQuery Studio

Nesta seção, descrevemos como consultar os dados de rastreamento na página BigQuery Studio.

Para saber mais sobre os custos associados ao uso do BigQuery, consulte Preços do BigQuery.

Pré-requisitos

1. Conclua as etapas na seção Antes de começar.

2. Para receber as permissões necessárias para consultar um conjunto de dados vinculado do BigQuery, peça ao administrador para conceder a você o papel do IAM Visualizador de dados do BigQuery (roles/bigquery.dataViewer) no projeto ou conjunto de dados vinculado. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

   Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

3. Verifique se o conjunto de dados vinculado do BigQuery do bucket de observabilidade chamado _Trace existe. Se o conjunto de dados vinculado não existir, crie-o.

Usar o BigQuery Studio

Para abrir o BigQuery na página "Análise de observabilidade" e consultar os dados de rastreamento, faça o seguinte:

1. No console Google Cloud , acesse a página Análise de dados de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Insira ou carregue uma consulta. Para mais informações, consulte Consultar e analisar traces.

3. Na barra de ferramentas, abra o menu Executar consulta ou Executar no BigQuery e selecione Abrir no BigQuery.

   A página do BigQuery Studio é aberta. Nesta página, a instrução FROM especifica o conjunto de dados vinculado usando a sintaxe do caminho da tabela do BigQuery. Você pode realizar qualquer ação compatível na consulta, como editar.

   Se a opção Abrir no BigQuery estiver desativada, isso significa que um conjunto de dados vinculado não existe ou que você não tem as permissões necessárias para abrir e visualizar a consulta no BigQuery.

4. Na página do BigQuery Studio, clique em Executar consulta.

Executar consultas no mecanismo do BigQuery

Por padrão, a página Observability Analytics executa as consultas que você escreve no mecanismo de consulta padrão. As consultas que você executa competem com todas as outras por slots. Portanto, é possível que a execução de uma consulta seja atrasada devido à falta de slots. O mecanismo de consulta padrão só pode consultar visualizações de observabilidade, visualizações em buckets de registros e visualizações de análise.

Ao criar um conjunto de dados vinculado, a página Análise de observabilidade permite escolher entre o mecanismo de consulta padrão e o do BigQuery. Se você tiver slots reservados do BigQuery e escolher a opção de executar a consulta no mecanismo do BigQuery, os slots reservados serão usados. As consultas executadas no mecanismo do BigQuery podem consultar visualizações de observabilidade, visualizações em buckets de registros e visualizações de análise. Essas consultas também podem unir seus dados de observabilidade a uma tabela do BigQuery.

Há dois casos de uso principais para executar consultas no mecanismo do BigQuery:

• Você cria políticas de alertas baseadas em SQL. As consultas dessas políticas precisam ser executadas no mecanismo do BigQuery.

  Observação: não é possível configurar uma política de alertas baseada em SQL para consultar uma visualização em um conjunto de dados de observabilidade.

• Você quer salvar um gráfico em um painel que mostre o resultado de uma junção entre dados de observabilidade e outros dados da empresa.

  A cláusula FROM precisa especificar uma visualização em um conjunto de dados de observabilidade ou em um bucket de registros. Além disso, é necessário ter um conjunto de dados vinculado para os dados consultados. Para unir seus dados de observabilidade a outros dados da empresa, adicione uma instrução JOIN que especifique uma tabela do BigQuery. Você precisa ter as permissões necessárias do IAM para consultar a tabela do BigQuery.

Para saber mais sobre os custos associados ao uso do BigQuery, consulte Preços do BigQuery.

Pré-requisitos

1. Conclua as etapas na seção Antes de começar.

2. Para receber as permissões necessárias para executar consultas do Observability Analytics usando slots do BigQuery, peça ao administrador para conceder a você os seguintes papéis do IAM:

   • Acessador de visualização de observabilidade (roles/observability.viewAccessor) nas visualizações de observabilidade que você quer consultar. Esse papel aceita condições do IAM, que permitem restringir a concessão a uma visualização específica. Se você não anexar uma condição à concessão de função, o principal poderá acessar todas as visualizações de observabilidade.
   • Visualizador de registros (roles/logging.viewer) no seu projeto
   • Usuário do BigQuery (roles/bigquery.user) no seu projeto
   • Usuário de jobs do BigQuery (roles/bigquery.jobUser) no seu projeto

   Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

   Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

3. Verifique se o conjunto de dados vinculado do BigQuery para o bucket de observabilidade chamado _Trace existe. Se o conjunto de dados vinculado não existir, crie-o.

Se você planeja configurar a página Análise de observabilidade para executar consultas nos seus slots do BigQuery e estiver usando projetos com controles de serviço da nuvem privada virtual (VPC), verifique se você está usando a Enterprise Edition do BigQuery. Para mais informações, consulte Noções básicas sobre as edições do BigQuery.

Usar o mecanismo do BigQuery

Para executar uma consulta no mecanismo do BigQuery ao usar a página Análise de observabilidade, faça o seguinte:

1. No console Google Cloud , acesse a página Análise de dados de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Insira ou carregue uma consulta. Para mais informações, consulte Consultar e analisar traces.

3. Acesse a barra de ferramentas e verifique se um botão chamado Executar no BigQuery aparece.

   Se a barra de ferramentas mostrar Executar consulta, clique em Configurações e selecione BigQuery.

   Um botão Executar no BigQuery desativado indica que não há um conjunto de dados vinculado. Para resolver essa falha, crie o conjunto de dados vinculado do BigQuery.

4. Clique em Executar no BigQuery.

A seguir

• Monitore os resultados da consulta SQL com uma política de alertas.
• Salvar e compartilhar uma consulta SQL.
• Representar os resultados da consulta SQL em um gráfico.
• Exemplos de consultas SQL.