Analiza datos de registros con BigQuery

En este documento, se describe cómo crear un conjunto de datos vinculado a BigQuery para tus datos de seguimiento y cómo consultar ese conjunto de datos. Un conjunto de datos vinculado te permite crear y ejecutar consultas que unen tus datos de observabilidad con otros datos empresariales. Por ejemplo, puedes consultar un conjunto de datos vinculado desde BigQuery Studio y desde Data Studio. También puedes ejecutar tus consultas de Estadísticas de observabilidad en el backend de BigQuery.

Para comenzar a usar Estadísticas de observabilidad, consulta Consulta y analiza seguimientos.

Cuándo necesitas un conjunto de datos vinculado

No necesitas un conjunto de datos vinculado a BigQuery cuando quieres consultar tus datos de seguimiento o tus datos de seguimiento y de registro. Para esas situaciones, puedes usar la página Estadísticas de observabilidad. Para obtener información sobre cómo consultar datos de registro, consulta Consulta y analiza registros con Estadísticas de observabilidad.

Necesitas un conjunto de datos vinculado a BigQuery cuando quieres hacer cualquiera de las siguientes acciones:

Acciones del sistema que ocurren cuando creas un conjunto de datos vinculado

Cuando creas un conjunto de datos vinculado, inicias una operación de larga duración. Como parte de esa operación, se realizan varias acciones:

  • Los registros de auditoría registran la solicitud para crear un vínculo y la finalización de la operación.

  • Cuando la cuenta de servicio de Monitoring no existe, Google Cloud Observability la crea.

    La API de Cloud Monitoring debe estar habilitada para que se cree esta cuenta de servicio.

  • Google Cloud Observability requiere una cuenta de servicio antes de que pueda crear un conjunto de datos vinculado. Cuando es necesario, se crea una cuenta de servicio:

  • Un registro de auditoría registra la solicitud del administrador del agente de servicio para otorgar a la cuenta de servicio de Monitoring el rol de IAM de agente de servicio de Monitoring.

Antes de comenzar

  1. Accede a tu Google Cloud cuenta de. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Monitoring and Observability APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

En esta sección, se describe qué APIs se deben habilitar, los roles necesarios para crear un conjunto de datos vinculado y cómo crear un conjunto de datos vinculado.

Requisitos previos

  1. Completa los pasos de la sección Antes de comenzar.

  2. Para obtener los permisos que necesitas para crear un vínculo en un conjunto de datos de observabilidad, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

gcloud

Antes de usar cualquiera de los datos de comando a continuación, realiza los siguientes reemplazos:

  • LINK_ID: El nombre del conjunto de datos de BigQuery
  • DATASET_ID: El ID del conjunto de datos Tus datos de seguimiento se almacenan en un conjunto de datos llamado Spans.
  • BUCKET_ID: El ID del bucket de observabilidad Por ejemplo, este ID podría ser _Trace.
  • LOCATION: La ubicación de los buckets de observabilidad
  • PROJECT_ID: El identificador del proyecto

Ejecuta el gcloud beta observability buckets datasets links create comando:

Linux, macOS o Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

El comando create inicia una operación de larga duración. El siguiente es un ejemplo de una respuesta cuando el comando se ejecuta correctamente: 

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

REST

Para crear un vínculo a un conjunto de datos de BigQuery, envía una solicitud al projects.locations.buckets.datasets.links.create extremo.

Debes especificar el parámetro superior, que tiene el siguiente formato:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Los campos de la expresión anterior tienen el siguiente significado:

  • PROJECT_ID: El identificador del proyecto
  • LOCATION: La ubicación del bucket de observabilidad.
  • BUCKET_ID: El ID del bucket de observabilidad Por ejemplo, este ID podría ser _Trace.
  • DATASET_ID: El ID del conjunto de datos que se consulta Por ejemplo, este ID podría ser Spans.

Este comando requiere un parámetro de consulta y un cuerpo de solicitud:

  • El parámetro de consulta, linkId, debe especificarse y establecerse en el nombre del conjunto de datos de BigQuery. Por ejemplo, linkId="my_link". El nombre del conjunto de datos de BigQuery debe ser único para tu Google Cloud proyecto, debe limitarse a 100 caracteres y solo puede incluir letras, dígitos y guiones bajos.

  • El cuerpo de la solicitud es un Link objeto. El valor del campo name tiene el siguiente formato:

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID

    El valor que proporcionas para el campo name debe coincidir con el conjunto de datos vinculado a BigQuery al que hace referencia el parámetro de consulta.

    El campo LINK_ID es el nombre del conjunto de datos de BigQuery.

La respuesta es un Operation objeto. Este objeto contiene información sobre el progreso del método. Cuando se completa el método, el objeto Operation contiene datos de estado.

Para obtener una lista completa de los extremos de la API de Observability, consulta la documentación de referencia de la API de Observability.

Consulta datos de seguimiento desde BigQuery Studio

En esta sección, se describe cómo consultar tus datos de seguimiento desde la página BigQuery Studio.

Para obtener información sobre los costos asociados con el uso de BigQuery, consulta Precios de BigQuery.

Requisitos previos

  1. Completa los pasos de la sección Antes de comenzar.

  2. Para obtener los permisos que necesitas para consultar un conjunto de datos vinculado desde BigQuery, pídele a tu administrador que te otorgue el rol de visualizador de datos de BigQuery (roles/bigquery.dataViewer) de IAM en tu proyecto o conjunto de datos vinculado. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

  3. Verifica que exista el conjunto de datos vinculado a BigQuery para el bucket de observabilidad llamado _Trace. Si el conjunto de datos vinculado no existe, créalo.

Usa BigQuery Studio

Para abrir BigQuery desde la página Estadísticas de observabilidad y, luego, consultar tus datos de seguimiento, haz lo siguiente:

  1. En la Google Cloud consola de, ve a la Estadísticas de observabilidad página:

    Ir a Estadísticas de observabilidad

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

  2. Ingresa o carga una consulta. Para obtener más información, consulta Consulta y analiza seguimientos.

  3. En la barra de herramientas, expande el menú etiquetado como Ejecutar consulta o Ejecutar en BigQuery y selecciona Abrir en BigQuery.

    Se abrirá la página BigQuery Studio. En esta página, la instrucción FROM especifica el conjunto de datos vinculado mediante la sintaxis de la ruta de la tabla de BigQuery . Puedes realizar cualquier acción admitida en la consulta, como editarla.

    Si la opción Abrir en BigQuery está inhabilitada, significa que no existe un conjunto de datos vinculado o que no tienes los permisos necesarios para abrir y ver la consulta en BigQuery.

  4. En la página BigQuery Studio, haz clic en Ejecutar consulta.

Ejecuta consultas en el motor de BigQuery

De forma predeterminada, la página Estadísticas de observabilidad ejecuta las consultas que escribes en el motor de consultas predeterminado. Las consultas que ejecutas compiten con todas las demás consultas por las ranuras. Por lo tanto, es posible que la ejecución de una consulta se retrase debido a que las ranuras no están disponibles. El motor de consultas predeterminado solo puede consultar vistas de observabilidad, vistas en buckets de registros y vistas de estadísticas.

Cuando creas un conjunto de datos vinculado, la página Estadísticas de observabilidad te permite elegir entre el motor de consultas predeterminado y el motor de BigQuery. Si tienes ranuras de BigQuery reservadas y eliges la opción para ejecutar la consulta en el motor de BigQuery, entonces se usarán tus ranuras reservadas. Las consultas que se ejecutan en el motor de BigQuery pueden consultar vistas de observabilidad, vistas en buckets de registros y vistas de estadísticas. Estas consultas también pueden unir tus datos de observabilidad con una tabla de BigQuery.

Existen dos casos de uso principales para ejecutar consultas en el motor de BigQuery:

  • Creas políticas de alertas basadas en SQL. Las consultas para estas políticas deben ejecutarse en el motor de BigQuery.

  • Quieres guardar un gráfico en un panel en el que se muestre el resultado de una unión entre datos de observabilidad y otros datos de la empresa.

    La cláusula FROM debe especificar una vista en un conjunto de datos de observabilidad o una vista en un bucket de registros, y también debe haber un conjunto de datos vinculado para los datos que se consultan. Para unir tus datos de observabilidad con otros datos de la empresa, agrega una instrucción JOIN que especifique una tabla de BigQuery. Debes tener los permisos de IAM necesarios para consultar la tabla de BigQuery.

Para obtener información sobre los costos asociados con el uso de BigQuery, consulta Precios de BigQuery.

Requisitos previos

  1. Completa los pasos de la sección Antes de comenzar.

  2. Para obtener los permisos que necesitas para ejecutar consultas desde Estadísticas de observabilidad con ranuras de BigQuery, pídele a tu administrador que te otorgue los siguientes roles de IAM:

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

  3. Verifica que exista el conjunto de datos vinculado a BigQuery para el bucket de observabilidad llamado _Trace. Si el conjunto de datos vinculado no existe, créalo.

Si planeas configurar la página Estadísticas de observabilidad para ejecutar consultas en tus ranuras de BigQuery y usas proyectos con Controles del servicio de nube privada virtual (VPC), verifica que estés usando la edición Enterprise de BigQuery. Para obtener más información, consulta Información sobre las ediciones de BigQuery.

Usa el motor de BigQuery

Para ejecutar una consulta en el motor de BigQuery cuando usas la página Estadísticas de observabilidad, haz lo siguiente:

  1. En la Google Cloud consola de, ve a la Estadísticas de observabilidad página:

    Ir a Estadísticas de observabilidad

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

  2. Ingresa o carga una consulta. Para obtener más información, consulta Consulta y analiza seguimientos.

  3. Ve a la barra de herramientas y verifica que se muestre un botón etiquetado como Ejecutar en BigQuery.

    Si la barra de herramientas muestra Ejecutar consulta, entonces haz clic en Configuración y selecciona BigQuery.

    Un botón Ejecutar en BigQuery inhabilitado indica que no hay un conjunto de datos vinculado. Para resolver esta falla, crea el conjunto de datos vinculado a BigQuery.

  4. Haz clic en Ejecutar en BigQuery.

¿Qué sigue?