Analiza datos de registros con BigQuery

Versión preliminar

Este producto o esta función se encuentra sujeto a las "Condiciones de la oferta de la fase previa a la DG" en la sección Condiciones del servicio generales de las Condiciones específicas del servicio. Los productos y las funciones de la fase previa a la DG están disponibles “tal como están” y pueden estar sujetos a asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

En este documento, se describe cómo crear un conjunto de datos vinculado a BigQuery para tus datos de seguimiento y cómo consultar ese conjunto de datos. Un conjunto de datos vinculado te permite crear y ejecutar consultas que unen tus datos de observabilidad con otros datos empresariales. Por ejemplo, puedes consultar un conjunto de datos vinculado desde BigQuery Studio y desde Looker Studio. También puedes ejecutar tus consultas de Análisis de registros en el backend de BigQuery.

Para comenzar a usar el Análisis de registros, consulta Consulta y analiza seguimientos.

Cuándo necesitas un conjunto de datos vinculado

No necesitas un conjunto de datos de BigQuery vinculado cuando quieres consultar tus datos de seguimiento o tus datos de seguimiento y registros. Para esos casos, puedes usar la página Análisis de registros. Para obtener información sobre cómo consultar datos de registros, consulta Consulta y analiza registros con el Análisis de registros.

Necesitas un conjunto de datos de BigQuery vinculado cuando quieres hacer cualquiera de las siguientes acciones:

• Unir datos de seguimiento con otros conjuntos de datos de BigQuery.
• Consultar datos de seguimiento de otro servicio, como la página BigQuery Studio o Looker Studio.
• Ejecutar consultas desde la página Análisis de registros en el motor de BigQuery.

Antes de comenzar

Accede a tu Google Cloud cuenta de. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Observability API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Observability API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Crea un conjunto de datos vinculado a BigQuery

En esta sección, se describen las APIs que se deben habilitar, los roles necesarios para crear un conjunto de datos vinculado y cómo crear un conjunto de datos vinculado.

Requisitos previos

1. Completa los pasos de la sección Antes de comenzar.

2. Para obtener los permisos que necesitas para crear un vínculo en un conjunto de datos de observabilidad, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:

   • Editor de observabilidad (roles/observability.editor)
   • Usuario de BigQuery (roles/bigquery.user)
   • Visor de registro (roles/logging.viewer)

   Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

   También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Crea un vínculo en un conjunto de datos de observabilidad

REST

Para crear un vínculo a un conjunto de datos de BigQuery, envía una solicitud al projects.locations.buckets.datasets.links.create extremo.

Debes especificar el parámetro superior, que tiene el siguiente formato:

projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/datasets/DATASET_ID

Los campos de la expresión anterior tienen el siguiente significado:

• PROJECT_ID: Es el identificador del proyecto.
• LOCATION: Es la ubicación del bucket de observabilidad.
• BUCKET_ID: Es el ID del bucket de observabilidad. Por ejemplo, este ID podría ser _Trace.
• DATASET_ID: Es el ID del conjunto de datos que se consulta. Por ejemplo, este ID podría ser Spans.

Este comando requiere un parámetro de consulta y un cuerpo de solicitud:

• Se debe especificar el parámetro de consulta linkId y establecerlo en el nombre del conjunto de datos de BigQuery. Por ejemplo, linkId="my_link". El nombre del conjunto de datos de BigQuery debe ser único para tu Google Cloud proyecto, debe tener un límite de 100 caracteres y solo puede incluir letras, dígitos y guiones bajos.

• El cuerpo de la solicitud es un Link objeto. El valor del campo name tiene el siguiente formato:

  projects/PROJECT_ID/locations/LOCATION/buckets/BUCKET_ID/dataset/DATASET_ID/links/LINK_ID
  

  El valor que proporcionas para el campo name debe coincidir con el conjunto de datos de BigQuery vinculado al que hace referencia el parámetro de consulta.

  El campo LINK_ID es el nombre del conjunto de datos de BigQuery.

La respuesta es un Operation objeto. Este objeto contiene información sobre el progreso del método. Cuando se completa el método, el objeto Operation contiene datos de estado.

Para obtener una lista completa de los extremos de la API de Observability, consulta la documentación de referencia de la API de Observability.

Consulta datos de seguimiento desde BigQuery Studio

En esta sección, se describe cómo consultar tus datos de seguimiento desde la página BigQuery Studio.

Para obtener información sobre los costos asociados con el uso de BigQuery, consulta Precios de BigQuery.

Requisitos previos

1. Completa los pasos de la sección Antes de comenzar.

2. Para obtener los permisos que necesitas para consultar un conjunto de datos vinculado desde BigQuery, pídele a tu administrador que te otorgue el rol de IAM de visualizador de datos de BigQuery (roles/bigquery.dataViewer) en tu proyecto o conjunto de datos vinculado. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

   También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

3. Verifica que exista el conjunto de datos de BigQuery vinculado para el bucket de observabilidad llamado _Trace. Si el conjunto de datos vinculado no existe, créalo.

Usa BigQuery Studio

Para abrir BigQuery desde la página Análisis de registros y, luego, consultar tus datos de seguimiento, haz lo siguiente:

1. En la Google Cloud consola de, ve a la Análisis de registros página:

   Ir a Análisis de registros

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

2. Ingresa o carga una consulta. Para obtener más información, consulta Consulta y analiza seguimientos.

3. En la barra de herramientas, expande el menú etiquetado como Ejecutar consulta o Ejecutar en BigQuery y selecciona Abrir en BigQuery.

   Se abrirá la página BigQuery Studio. En esta página, la instrucción FROM especifica el conjunto de datos vinculado mediante la sintaxis de la ruta de la tabla de BigQuery . Puedes realizar cualquier acción admitida en la consulta, como editarla.

   Si la opción Abrir en BigQuery está inhabilitada, significa que no existe un conjunto de datos vinculado o que no tienes los permisos necesarios para abrir y ver la consulta en BigQuery.

4. En la página BigQuery Studio, haz clic en Ejecutar consulta.

Ejecuta consultas en el motor de BigQuery

De forma predeterminada, la página Análisis de registros ejecuta las consultas que escribes en el motor de consultas predeterminado. Las consultas que ejecutas compiten con todas las demás consultas por las ranuras. Por lo tanto, es posible que la ejecución de una consulta se retrase debido a que las ranuras no están disponibles. El motor de consultas predeterminado solo puede consultar vistas de observabilidad, vistas en buckets de registros y vistas de estadísticas.

Cuando creas un conjunto de datos vinculado, la página Análisis de registros te permite elegir entre el motor de consultas predeterminado y el motor de BigQuery. Si tienes ranuras de BigQuery reservadas y eliges la opción para ejecutar la consulta en el motor de BigQuery, entonces se usarán tus ranuras reservadas. Las consultas que se ejecutan en el motor de BigQuery pueden consultar vistas de observabilidad, vistas en buckets de registros y vistas de estadísticas. Estas consultas también pueden unir tus datos de observabilidad con una tabla de BigQuery.

Existen dos casos de uso principales para ejecutar consultas en el motor de BigQuery:

• Creas políticas de alertas basadas en SQL. Las consultas para estas políticas deben ejecutarse en el motor de BigQuery.

  Nota: No puedes configurar una política de alertas basada en SQL para consultar una vista en un conjunto de datos de observabilidad.

• Quieres guardar un gráfico en un panel en el que se muestre el resultado de una unión entre datos de observabilidad y otros datos empresariales.

  La cláusula FROM debe especificar una vista en un conjunto de datos de observabilidad o una vista en un bucket de registros, y también debe haber un conjunto de datos vinculado para los datos que se consultan. Para unir tus datos de observabilidad con otros datos empresariales, agrega una instrucción JOIN que especifique una tabla de BigQuery. Debes tener los permisos de IAM necesarios para consultar la tabla de BigQuery.

Para obtener información sobre los costos asociados con el uso de BigQuery, consulta Precios de BigQuery.

Requisitos previos

1. Completa los pasos de la sección Antes de comenzar.

2. Para obtener los permisos que necesitas para ejecutar consultas desde el Análisis de registros con ranuras de BigQuery, pídele a tu administrador que te otorgue los siguientes roles de IAM:

   • Usuario con acceso a vistas de observabilidad (roles/observability.viewAccessor) en las vistas de observabilidad que deseas consultar. Este rol admite condiciones de IAM, que te permiten restringir la concesión a una vista específica. Si no adjuntas una condición a la concesión de roles, la principal puede acceder a todas las vistas de observabilidad.
   • Visor de registro (roles/logging.viewer) en tu proyecto
   • Usuario de BigQuery (roles/bigquery.user) en tu proyecto
   • Usuario de trabajo de BigQuery (roles/bigquery.jobUser) en tu proyecto

   Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

   También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

3. Verifica que exista el conjunto de datos de BigQuery vinculado para el bucket de observabilidad llamado _Trace. Si el conjunto de datos vinculado no existe, créalo.

Si planeas configurar la página Análisis de registros para ejecutar consultas en tus ranuras de BigQuery y usas proyectos con Controles del servicio de nube privada virtual (VPC), verifica que estés usando la edición Enterprise de BigQuery. Para obtener más información, consulta Información sobre las ediciones de BigQuery.

Usa el motor de BigQuery

Para ejecutar una consulta en el motor de BigQuery cuando usas la página Análisis de registros, haz lo siguiente:

1. En la Google Cloud consola de, ve a la Análisis de registros página:

   Ir a Análisis de registros

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

2. Ingresa o carga una consulta. Para obtener más información, consulta Consulta y analiza seguimientos.

3. Ve a la barra de herramientas y verifica que se muestre un botón etiquetado como Ejecutar en BigQuery.

   Si la barra de herramientas muestra Ejecutar consulta, entonces haz clic en Configuración y selecciona BigQuery.

   Un botón Ejecutar en BigQuery inhabilitado indica que no hay un conjunto de datos vinculado. Para resolver esta falla, crea el conjunto de datos de BigQuery vinculado.

4. Haz clic en Ejecutar en BigQuery.

¿Qué sigue?

• Supervisa los resultados de tu consulta en SQL con una política de alertas.
• Guarda y comparte una consulta en SQL.
• Representa en gráficos los resultados de la consulta en SQL.
• Ejemplos de consultas en SQL.