Criar um conjunto de dados vinculado do BigQuery

É possível criar um conjunto de dados do BigQuery vinculado ao seu conjunto de dados de observabilidade, o que permite usar os serviços do BigQuery para consultar seus dados de rastreamento. Em seguida, é possível unir dados de rastreamento com conjuntos de dados comerciais e analisar intervalos usando o BigQuery Studio ou a API BigQuery.

Não é necessário ter um conjunto de dados do BigQuery vinculado para analisar os dados de rastreamento com SQL se você usa o Observability Analytics. Também é possível combinar dados de rastreamento e registro ao usar a Análise de Observabilidade. Para mais informações, consulte Consultar e analisar rastreamentos com SQL e Consultar e analisar registros com o Observability Analytics.

Quando você precisa de um conjunto de dados vinculado

Você precisa de um conjunto de dados vinculado do BigQuery quando quer fazer o seguinte:

  • Mesclar dados de rastreamento com outros conjuntos de dados do BigQuery.
  • Consultar dados de rastreamento de outro serviço, como o BigQuery Studio ou o Data Studio.

  • Execute consultas na página Análise de observabilidade no mecanismo do BigQuery.

    A página Análise de observabilidade executa automaticamente consultas no mecanismo de consulta padrão, que usa slots sem custo financeiro. No entanto, é possível configurar essa página para executar consultas no mecanismo do BigQuery.

  • Monitore os resultados da consulta SQL com uma política de alertas.

  • Execute pipelines de dados automatizados, consultas analíticas contínuas ou fluxos de trabalho de agentes de IA que leem programaticamente grandes volumes de dados de rastreamento sem limites de taxa da API Trace.

Criar um conjunto de dados vinculado do BigQuery

Esta seção descreve como criar um conjunto de dados vinculado do BigQuery em um conjunto de dados de observabilidade, o que permite usar os serviços do BigQuery para consultar seus dados de rastreamento. Cada conjunto de dados de observabilidade é compatível com um conjunto de dados vinculado do BigQuery.

Quando você cria um link em um conjunto de dados de observabilidade, acontece o seguinte:

  • O Google Cloud Observability pode criar as seguintes contas de serviço ou modificar as concessões de papéis do IAM delas:

  • Os registros de auditoria registram a solicitação para criar um link e o pedido do gerente do agente de serviço para conceder à conta de serviço do Monitoring o papel do IAM de Agente de serviço do Monitoring. Esses registros também registram a conclusão da operação de longa duração.

Antes de começar

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

    8.

  8. Para receber as permissões necessárias para criar um link em um conjunto de dados de observabilidade, peça ao administrador para conceder a você o papel do IAM Editor de observabilidade (roles/observability.editor) no projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

    Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Criar conjunto de dados

gcloud

Antes de usar os dados do comando abaixo, faça estas substituições:

  • LINK_ID: o nome do conjunto de dados do BigQuery.
  • DATASET_ID: o ID do conjunto de dados. Os dados de rastreamento são armazenados em um conjunto de dados chamado Spans.
  • BUCKET_ID: o ID do bucket de observabilidade. Por exemplo, o ID pode ser _Trace.
  • LOCATION: o local dos buckets de observabilidade.
  • PROJECT_ID: o identificador do projeto.

Execute o comando gcloud beta observability buckets datasets links create:

Linux, macOS ou Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

O comando "create" inicia uma operação de longa duração. Confira a seguir um exemplo de resposta quando o comando é bem-sucedido: 

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

Terraform

Para criar um link em um conjunto de dados de observabilidade, use o recurso do Terraform google_observability_link e defina os seguintes campos:

  • project: o ID do seu projeto.
  • location: o local do link. Esse local precisa corresponder ao local do bucket de observabilidade.
  • bucket: o ID do bucket de observabilidade. Por exemplo, _Trace.
  • dataset: o ID do conjunto de dados de observabilidade. Por exemplo, Spans.
  • link_id: ID do conjunto de dados do BigQuery.

Também é possível atualizar e excluir links.

REST

Para criar um link para um conjunto de dados do BigQuery, envie uma solicitação ao endpoint projects.locations.buckets.datasets.links.create.

Você precisa especificar o parâmetro "parent", que tem o seguinte formato:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Os campos na expressão anterior têm os seguintes significados:

  • PROJECT_ID: o identificador do projeto.
  • LOCATION: o local do bucket de observabilidade.
  • BUCKET_ID: o ID do bucket de observabilidade. Por exemplo, o ID pode ser _Trace.
  • DATASET_ID: o ID do conjunto de dados que está sendo consultado. Por exemplo, o ID pode ser Spans.

Esse comando requer um parâmetro de consulta e um corpo da solicitação:

  • O parâmetro de consulta, linkId, precisa ser especificado e definido como o nome do conjunto de dados do BigQuery. Por exemplo, linkId="my_link". O nome do conjunto de dados do BigQuery precisa ser exclusivo para seu projeto Google Cloud , ter no máximo 100 caracteres e incluir apenas letras, dígitos e sublinhados.

  • O corpo da solicitação é um objeto Link. O valor do campo name tem o seguinte formato:

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID

    O valor fornecido para o campo name precisa corresponder ao conjunto de dados vinculado do BigQuery referenciado pelo parâmetro de consulta.

    O campo LINK_ID é o nome do conjunto de dados do BigQuery.

A resposta é um objeto Operation. Esse objeto contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém dados de status.

Para uma lista completa de endpoints da API Observability, consulte a documentação de referência da API Observability.

Se você encontrar erros de permissão ao criar um conjunto de dados vinculado, consulte Resolver problemas de erros de permissão.

A seguir