Crea un conjunto de datos vinculado a BigQuery

Puedes crear un conjunto de datos de BigQuery vinculado en tu conjunto de datos de observabilidad, lo que te permite usar los servicios de BigQuery para consultar tus datos de seguimiento. Luego, puedes unir los datos de seguimiento con los conjuntos de datos comerciales y analizar los intervalos con BigQuery Studio o la API de BigQuery.

No necesitas un conjunto de datos de BigQuery vinculado para analizar tus datos de seguimiento con SQL si usas Observability Analytics. También puedes unir tus datos de registro y seguimiento cuando usas Observability Analytics. Para obtener más información, consulta Cómo consultar y analizar registros con Observability Analytics y Cómo consultar y analizar registros con Observability Analytics.

Cuándo necesitas un conjunto de datos vinculado

Necesitas un conjunto de datos de BigQuery vinculado cuando deseas realizar cualquiera de las siguientes acciones:

• Unir datos de seguimiento con otros conjuntos de datos de BigQuery
• Consultar datos de seguimiento de otro servicio, como BigQuery Studio o Data Studio

• Ejecutar consultas desde la página Observability Analytics en el motor de BigQuery

  La página Observability Analytics ejecuta automáticamente consultas en el motor de consultas predeterminado, que usa ranuras gratuitas. Sin embargo, puedes configurar esta página para ejecutar consultas en el motor de BigQuery.

• Supervisa los resultados de tus consulta en SQL con una política de alertas.

• Ejecuta canalizaciones de datos automatizadas, consultas analíticas continuas o flujos de trabajo de agentes de IA que leen de forma programática grandes volúmenes de datos de seguimiento sin límites de frecuencia de la API de Trace.

Crea un conjunto de datos vinculado a BigQuery

En esta sección, se describe cómo crear un conjunto de datos de BigQuery vinculado en un conjunto de datos de observabilidad, lo que te permite usar los servicios de BigQuery para consultar tus datos de seguimiento. Cada conjunto de datos de observabilidad admite un conjunto de datos de BigQuery vinculado.

Cuando creas una vinculación en un conjunto de datos de observabilidad, ocurre lo siguiente:

• Google Cloud Observability puede crear las siguientes cuentas de servicio o modificar sus otorgamientos de roles de IAM:

  • Cuenta de servicio de supervisión: Se requiere para crear una vinculación a un conjunto de datos vinculado de BigQuery. La API de Cloud Monitoring debe estar habilitada para que Google Cloud Observability cree esta cuenta de servicio.

  • Cuenta de servicio de Cloud Observability: Se requiere para crear un vínculo en un conjunto de datos de observabilidad.

  • Cuenta de servicio de Cloud Logging: Se requiere para crear un vínculo en un bucket de registros.

• Los registros de auditoría registran la solicitud para crear un vínculo y la solicitud del administrador del agente de servicio para otorgar a la cuenta de servicio de Monitoring el rol de IAM de Agente de servicio de Monitoring. Estos registros también registran la finalización de la operación de larga duración.

Antes de comenzar

Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Cloud Monitoring and Observability APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Cloud Monitoring and Observability APIs.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the APIs

1. Para obtener los permisos que necesitas para crear un vínculo en un conjunto de datos de observabilidad, pídele a tu administrador que te otorgue el rol de IAM de editor de Observabilidad (roles/observability.editor) en tu proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

   También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Crear un conjunto de datos

gcloud

Nota: Debes usar la versión 563.0.0 de gcloud CLI o una posterior.

Antes de usar cualquiera de los datos de comando a continuación, haz los siguientes reemplazos:

• LINK_ID: El nombre del conjunto de datos de BigQuery
• DATASET_ID: El ID del conjunto de datos. Tus datos de seguimiento se almacenan en un conjunto de datos llamado Spans.
• BUCKET_ID: Es el ID del bucket de observabilidad. Por ejemplo, este ID podría ser _Trace.
• LOCATION: Es la ubicación de los buckets de observabilidad.
• PROJECT_ID: Es el identificador del proyecto.

Ejecuta el comando gcloud beta observability buckets datasets links create:

Linux, macOS o Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

El comando create inicia una operación de larga duración. A continuación, se muestra un ejemplo de la respuesta cuando el comando se ejecuta correctamente:

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

Terraform

Para crear un vínculo en un conjunto de datos de observabilidad, usa el recurso de Terraform google_observability_link y configura los siguientes campos:

• project: Es el ID del proyecto
• location: Es la ubicación del vínculo. Esta ubicación debe coincidir con la del bucket de observabilidad.
• bucket: Es el ID del bucket de observabilidad. Por ejemplo, _Trace
• dataset: Es el ID del conjunto de datos de observabilidad. Por ejemplo, Spans
• link_id: el ID del conjunto de datos de BigQuery.

También puedes actualizar y borrar vínculos.

REST

Para crear un vínculo a un conjunto de datos de BigQuery, envía una solicitud al extremo projects.locations.buckets.datasets.links.create.

Debes especificar el parámetro principal, que tiene el siguiente formato:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Los campos de la expresión anterior tienen los siguientes significados:

• PROJECT_ID: Es el identificador del proyecto.
• LOCATION: Es la ubicación del bucket de observabilidad.
• BUCKET_ID: Es el ID del bucket de observabilidad. Por ejemplo, este ID podría ser _Trace.
• DATASET_ID: Es el ID del conjunto de datos para el que se realiza la consulta. Por ejemplo, este ID podría ser Spans.

Este comando requiere un parámetro de búsqueda y un cuerpo de solicitud:

• El parámetro de consulta, linkId, se debe especificar y establecer en el nombre del conjunto de datos de BigQuery. Por ejemplo, linkId="my_link" El nombre del conjunto de datos de BigQuery debe ser único para tu proyecto Google Cloud , tener un límite de 100 caracteres y solo puede incluir letras, dígitos y guiones bajos.

• El cuerpo de la solicitud es un objeto Link. El valor del campo name tiene el siguiente formato:

  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID
  

  El valor que proporcionas para el campo name debe coincidir con el conjunto de datos de BigQuery vinculado al que hace referencia el parámetro de consulta.

  El campo LINK_ID es el nombre del conjunto de datos de BigQuery.

La respuesta es un objeto Operation. Este objeto contiene información sobre el progreso del método. Cuando se completa el método, el objeto Operation contiene datos de estado.

Para obtener una lista completa de los extremos de la API de Observability, consulta la documentación de referencia de la API de Observability.

Si encuentras errores de permiso cuando creas un conjunto de datos vinculado, consulta Soluciona problemas de permisos.

¿Qué sigue?

• Cómo consultar datos de seguimiento con BigQuery Studio
• Ejecuta consultas en el motor de BigQuery