Analiza datos de registros con BigQuery

En este documento, se describe cómo crear un conjunto de datos vinculado de BigQuery para tus datos de seguimiento y cómo consultar ese conjunto de datos. Un conjunto de datos vinculado te permite crear y ejecutar consultas que combinan tus datos de observabilidad con otros datos comerciales. Por ejemplo, puedes consultar un conjunto de datos vinculado desde BigQuery Studio y desde Looker Studio. También puedes ejecutar tus consultas de Observability Analytics en el backend de BigQuery.

Para comenzar a usar Observability Analytics, consulta Cómo consultar y analizar registros.

Cuándo necesitas un conjunto de datos vinculado

No necesitas un conjunto de datos de BigQuery vinculado cuando deseas consultar tus datos de seguimiento o consultar tus datos de seguimiento y de registros. Para esos casos, puedes usar la página Análisis de observabilidad. Para obtener información sobre cómo consultar datos de registros, consulta Consulta y analiza registros con Observability Analytics.

Sin embargo, sí necesitas un conjunto de datos de BigQuery vinculado cuando quieras realizar alguna de las siguientes acciones:

Antes de comenzar

  1. Accede a tu cuenta de Google Cloud . Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Observability API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Observability API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    8.

En esta sección, se describen las APIs que se deben habilitar, los roles necesarios para crear un conjunto de datos vinculado y cómo crear un conjunto de datos vinculado.

Requisitos previos

  1. Completa los pasos de la sección Antes de comenzar.

  2. Para obtener los permisos que necesitas para crear una vinculación en un conjunto de datos de observabilidad, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

gcloud

Antes de usar cualquiera de los datos de comando a continuación, haz los siguientes reemplazos:

  • LINK_ID: El nombre del conjunto de datos de BigQuery
  • DATASET_ID: El ID del conjunto de datos. Tus datos de seguimiento se almacenan en un conjunto de datos llamado Spans.
  • BUCKET_ID: Es el ID del bucket de observabilidad. Por ejemplo, este ID podría ser _Trace.
  • LOCATION: Es la ubicación de los buckets de observabilidad.
  • PROJECT_ID: Es el identificador del proyecto.

Ejecuta el comando gcloud beta observability buckets datasets links create:

Linux, macOS o Cloud Shell

gcloud beta observability buckets datasets links create \
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID \
 --dataset=DATASET_ID\
 --bucket=BUCKET_ID \
 --location=LOCATION \
 --project=PROJECT_ID

Windows (PowerShell)

gcloud beta observability buckets datasets links create `
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID `
 --dataset=DATASET_ID`
 --bucket=BUCKET_ID `
 --location=LOCATION `
 --project=PROJECT_ID

Windows (cmd.exe)

gcloud beta observability buckets datasets links create ^
  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID/links/LINK_ID ^
 --dataset=DATASET_ID^
 --bucket=BUCKET_ID ^
 --location=LOCATION ^
 --project=PROJECT_ID

El comando create inicia una operación de larga duración. A continuación, se muestra un ejemplo de la respuesta cuando el comando se ejecuta correctamente: 

Create request issued for: [mydataset]
Waiting for operation [projects/my-project/locations/us/operations/operation-1775164903749-64e80c9817833-9ff804b6-c3e9cbe7] to complete...done.
Created link [mydataset].

REST

Para crear un vínculo a un conjunto de datos de BigQuery, envía una solicitud al extremo projects.locations.buckets.datasets.links.create.

Debes especificar el parámetro principal, que tiene el siguiente formato:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Los campos de la expresión anterior tienen el siguiente significado:

  • PROJECT_ID: Es el identificador del proyecto.
  • LOCATION: Es la ubicación del bucket de observabilidad.
  • BUCKET_ID: Es el ID del bucket de observabilidad. Por ejemplo, este ID podría ser _Trace.
  • DATASET_ID: Es el ID del conjunto de datos para el que se realiza la consulta. Por ejemplo, este ID podría ser Spans.

Este comando requiere un parámetro de búsqueda y un cuerpo de solicitud:

  • El parámetro de consulta, linkId, se debe especificar y establecer en el nombre del conjunto de datos de BigQuery. Por ejemplo, linkId="my_link" El nombre del conjunto de datos de BigQuery debe ser único para tu proyecto Google Cloud , debe tener un límite de 100 caracteres y solo puede incluir letras, dígitos y guiones bajos.

  • El cuerpo de la solicitud es un objeto Link. El valor del campo name tiene el siguiente formato:

    projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID

    El valor que proporcionas para el campo name debe coincidir con el conjunto de datos de BigQuery vinculado al que hace referencia el parámetro de consulta.

    El campo LINK_ID es el nombre del conjunto de datos de BigQuery.

La respuesta es un objeto Operation. Este objeto contiene información sobre el progreso del método. Cuando se completa el método, el objeto Operation contiene datos de estado.

Para obtener una lista completa de los extremos de la API de Observabilidad, consulta la documentación de referencia de la API de Observabilidad.

Consulta datos de seguimiento desde BigQuery Studio

En esta sección, se describe cómo consultar tus datos de seguimiento desde la página de BigQuery Studio.

Para obtener información sobre los costos asociados con el uso de BigQuery, consulta Precios de BigQuery.

Requisitos previos

  1. Completa los pasos de la sección Antes de comenzar.

  2. Para obtener los permisos que necesitas para consultar un conjunto de datos vinculado desde BigQuery, pídele a tu administrador que te otorgue el rol de IAM de visualizador de datos de BigQuery (roles/bigquery.dataViewer) en tu proyecto o conjunto de datos vinculado. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

  3. Verifica que exista el conjunto de datos de BigQuery vinculado para el bucket de observabilidad llamado _Trace. Si el conjunto de datos vinculado no existe, créalo.

Usa BigQuery Studio

Para abrir BigQuery desde la página Observability Analytics y, luego, consultar tus datos de seguimiento, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página Análisis de registros:

    Ir a Análisis de registros

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

  2. Ingresa o carga una consulta. Para obtener más información, consulta Cómo consultar y analizar registros.

  3. En la barra de herramientas, expande el menú etiquetado como Ejecutar consulta o Ejecutar en BigQuery y selecciona Abrir en BigQuery.

    Se abrirá la página BigQuery Studio. En esta página, la instrucción FROM especifica el conjunto de datos vinculado con la sintaxis de ruta de la tabla de BigQuery. Puedes realizar cualquier acción admitida en la búsqueda, como editarla.

    Si la opción Abrir en BigQuery está inhabilitada, significa que no existe un conjunto de datos vinculado o que no tienes los permisos necesarios para abrir y ver la consulta en BigQuery.

  4. En la página BigQuery Studio, haz clic en Ejecutar consulta.

Ejecuta consultas en el motor de BigQuery

De forma predeterminada, la página Observability Analytics ejecuta las consultas que escribes en el motor de consultas predeterminado. Las consultas que ejecutas compiten con todas las demás consultas por las ranuras. Por lo tanto, es posible que la ejecución de una consulta se retrase debido a que no hay ranuras disponibles. El motor de consultas predeterminado solo puede consultar vistas de observabilidad, vistas en buckets de registros y vistas de análisis.

Cuando creas un conjunto de datos vinculado, la página Observability Analytics te permite elegir entre el motor de consultas predeterminado y el motor de BigQuery. Si tienes ranuras de BigQuery reservadas y eliges la opción para ejecutar la consulta en el motor de BigQuery, se usarán tus ranuras reservadas. Las consultas que se ejecutan en el motor de BigQuery pueden consultar vistas de observabilidad, vistas en buckets de registros y vistas de estadísticas. Estas consultas también pueden unir tus datos de observabilidad con una tabla de BigQuery.

Existen dos casos de uso principales para ejecutar consultas en el motor de BigQuery:

  • Creas políticas de alertas basadas en SQL. Las consultas para estas políticas se deben ejecutar en el motor de BigQuery.

  • Quieres guardar un gráfico en un panel en el que se muestre el resultado de una unión entre datos de observabilidad y otros datos de la empresa.

    La cláusula FROM debe especificar una vista en un conjunto de datos de observabilidad o una vista en un bucket de registros, y también debe haber un conjunto de datos vinculado para los datos que se consultan. Para unir tus datos de observabilidad con otros datos comerciales, agrega una instrucción JOIN que especifique una tabla de BigQuery. Debes tener los permisos de IAM necesarios para consultar la tabla de BigQuery.

Para obtener información sobre los costos asociados con el uso de BigQuery, consulta Precios de BigQuery.

Requisitos previos

  1. Completa los pasos de la sección Antes de comenzar.

  2. Para obtener los permisos que necesitas para ejecutar consultas desde Observability Analytics con ranuras de BigQuery, pídele a tu administrador que te otorgue los siguientes roles de IAM:

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

  3. Verifica que exista el conjunto de datos de BigQuery vinculado para el bucket de observabilidad llamado _Trace. Si el conjunto de datos vinculado no existe, créalo.

Si planeas configurar la página Observability Analytics para ejecutar consultas en tus ranuras de BigQuery y si usas proyectos con Controles del servicio de nube privada virtual (VPC), verifica que estés usando la edición Enterprise de BigQuery. Para obtener más información, consulta Información sobre las ediciones de BigQuery.

Usar el motor de BigQuery

Para ejecutar una consulta en el motor de BigQuery cuando uses la página Observability Analytics, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página Análisis de registros:

    Ir a Análisis de registros

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

  2. Ingresa o carga una consulta. Para obtener más información, consulta Cómo consultar y analizar registros.

  3. Ve a la barra de herramientas y verifica que se muestre un botón con la etiqueta Ejecutar en BigQuery.

    Si en la barra de herramientas se muestra Ejecutar consulta, haz clic en Configuración y selecciona BigQuery.

    El botón Ejecutar en BigQuery inhabilitado indica que no hay un conjunto de datos vinculado. Para resolver este error, crea el conjunto de datos vinculado de BigQuery.

  4. Haz clic en Ejecutar en BigQuery.

¿Qué sigue?