Analiza datos de registros con BigQuery

En este documento, se describe cómo analizar tus datos de registro con los servicios de BigQuery , que pueden consultar conjuntos de datos vinculados de BigQuery. Si creas un conjunto de datos vinculado de BigQuery en un bucket de registros, puedes consultar tus datos de registro con BigQuery o Looker Studio. Además, puedes configurar la página Estadísticas de observabilidad para ejecutar consultas en el motor de BigQuery. Puedes crear políticas de alertas que supervisen los resultados de consulta en SQL que se ejecutan en el motor de BigQuery.

No puedes crear un conjunto de datos vinculado de BigQuery para una vista de estadísticas.

Si no estás familiarizado con Estadísticas de observabilidad, consulta la descripción general de Estadísticas de observabilidad.

Cuándo necesitas un conjunto de datos vinculado

No necesitas un conjunto de datos vinculado de BigQuery cuando quieres consultar tus datos de registro o tus datos de registro y seguimiento. Para esas situaciones, puedes usar la página Estadísticas de observabilidad. También puedes guardar y compartir tus consultas, y guardarlas en un panel personalizado. Para obtener información sobre cómo consultar tus datos de seguimiento, consulta Consulta y analiza seguimientos.

Necesitas un conjunto de datos vinculado de BigQuery cuando quieres hacer lo siguiente:

• Unir datos de entrada de registro con otros conjuntos de datos de BigQuery.
• Consultar datos de registro de otro servicio, como la página BigQuery Studio o Looker Studio.
• Crear una política de alertas que supervise el resultado de una consulta en SQL. Para obtener más información, consulta Supervisa los resultados de tus consulta en SQL con una política de alertas.

Un conjunto de datos vinculado de BigQuery para un bucket de registros permite que BigQuery lea los datos en el bucket de registros.

Nota: Si consultas tus datos de registro con un servicio que no sea el motor de consultas predeterminado para Estadísticas de observabilidad, es posible que tus consultas estén sujetas a cargos según ese servicio. Por ejemplo, si ejecutas consultas en el motor de BigQuery o si ejecutas consultas en la página BigQuery Studio, estarás sujeto a los precios de BigQuery.

Cómo se asignan los buckets de registros y las vistas de registros a los objetos de BigQuery

Cuando creas un conjunto de datos vinculado de BigQuery para un bucket de registros, BigQuery dispone de un nuevo conjunto de datos. Especificas el nombre del conjunto de datos vinculado durante el proceso de vinculación. Todas las vistas de registros dentro de l bucket de registros se asignan automáticamente a vistas virtuales en el conjunto de datos. El nombre de una vista virtual es el mismo que el de la vista de registros correspondiente.

Por ejemplo, supongamos que el proyecto my_project tiene un bucket de registros llamado example y que este bucket de registros tiene una vista de registros llamada _AllLogs. Si creas un conjunto de datos vinculado para ese bucket de registros con el nombre my_dataset, la página Explorador de BigQuery muestra una entrada my_project. Un elemento secundario de la entrada my_project es un conjunto de datos con el nombre my_dataset, y ese conjunto de datos muestra una vista virtual llamada _AllLogs.

Implicaciones del control de acceso cuando se usan conjuntos de datos vinculados

Cuando una principal consulta una vista en un conjunto de datos vinculado de BigQuery, esa consulta se ejecuta a través de la capa de permisos de BigQuery, no de la capa de permisos de Cloud Logging. Por lo tanto, los roles y permisos de BigQuery otorgados a la principal en el conjunto de datos vinculado determinan si puede consultar el conjunto de datos.

No puedes restringir una principal a una vista virtual específica dentro de un conjunto de datos vinculado. Cuando se le otorga acceso a la principal al conjunto de datos vinculado, puede consultar todas las vistas de ese conjunto de datos.

Motores de consultas disponibles

Estadísticas de observabilidad te permite ejecutar tus consultas en SQL en el motor de Logging predeterminado o en el motor de BigQuery. Si ejecutas una consulta en tu motor de BigQuery, se consulta tu conjunto de datos vinculado de BigQuery, lo que significa que se validan tus permisos de BigQuery.

Para obtener más información, consulta Elige tu motor de consultas de Estadísticas de observabilidad.

Antes de comenzar

En esta sección, se describen los pasos que debes completar antes de poder usar Estadísticas de observabilidad.

Configura buckets de registros

Asegúrate de que tus buckets de registros se hayan actualizado para usar Estadísticas de observabilidad:

1. En la Google Cloud consola de, ve a la página Almacenamiento de registros:

   Ir al Almacenamiento de registros

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

2. Para cada bucket de registros que tenga una vista de registros que quieras consultar, asegúrate de que la columna Estadísticas de observabilidad disponibles muestre Abrir. Si se muestra Actualizar, haz clic en Actualizar y completa el diálogo.

Configura roles y permisos de IAM

En esta sección, se describen los roles o permisos de IAM que se requieren para usar Estadísticas de observabilidad:

• Para obtener los permisos que necesitas para usar Estadísticas de observabilidad y consultar vistas de registros, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:

  • Para consultar los buckets de registros _Required y _Default: Visualizador de registros (roles/logging.viewer)
  • Para consultar todas las vistas de registros en un proyecto: Descriptor de acceso de vista de registros (roles/logging.viewAccessor)

  Puedes restringir una principal a una vista de registros específica agregando una condición de IAM al otorgamiento del rol Descriptor de acceso de vista de registros que se realiza a nivel del proyecto o agregando una vinculación de IAM al archivo de política de la vista de registros. Para obtener más información, consulta Controla el acceso a una vista de registros.

  Estos son los mismos permisos que necesitas para ver las entradas de registro en la página Explorador de registros. Para obtener información sobre roles adicionales que necesitas para consultar vistas en buckets definidos por el usuario o para consultar la vista _AllLogs del _Default bucket de registros, consulta Roles de Cloud Logging.

• Para obtener los permisos que necesitas para crear y consultar conjuntos de datos vinculados, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto que almacena el bucket de registros:

  • Para crear y ver conjuntos de datos vinculados: Escritor de configuración de registros (roles/logging.configWriter)
  • Para ejecutar consultas en conjuntos de datos vinculados con ranuras de BigQuery:
    • Usuario de BigQuery (roles/bigquery.user)
    • Usuario de trabajo de BigQuery (roles/bigquery.jobUser)
  • Para ver conjuntos de datos vinculados en BigQuery Studio, otorga todos los roles mencionados en este paso y el siguiente. Puedes otorgar este rol a un conjunto de datos o a tu proyecto: Visualizador de datos de BigQuery (roles/bigquery.dataViewer)

Verifica tu edición de BigQuery

Si quieres consultar tus datos de registro desde la página Estadísticas de observabilidad ejecutando en ranuras de BigQuery y si usas proyectos con Controles del servicio de nube privada virtual (VPC), asegúrate de usar la edición Enterprise de BigQuery. Para obtener más información, consulta Información sobre las ediciones de BigQuery.

Crea un conjunto de datos vinculado de BigQuery

Cuando quieras usar las capacidades de BigQuery para analizar tus datos de registro, actualiza un bucket de registros para usar Estadísticas de observabilidad y, luego, crea un conjunto de datos vinculado. Con esta configuración, Logging almacena tus datos de registro, pero BigQuery puede leerlos.

Nota: Un bucket de registros se puede vincular a, como máximo, un conjunto de datos de BigQuery.

Google Cloud Consola de

Para crear un vínculo a un conjunto de datos de BigQuery para un bucket de registros existente, haz lo siguiente:

1. En la Google Cloud consola de, ve a la página Almacenamiento de registros:

   Ir al Almacenamiento de registros

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

2. Ubica el bucket de registros y verifica que la columna Estadísticas de observabilidad disponibles muestre Abrir.

   Si esta columna muestra Actualizar, significa que el bucket de registros no se ha actualizado para usar Estadísticas de observabilidad. Configura Estadísticas de observabilidad:

   1. Haz clic en Actualizar.
   2. Haz clic en Confirmar en el diálogo.

   Una vez que se complete la actualización, continúa con el siguiente paso.

3. En el bucket de registros, haz clic en Más, y, luego, en Editar bucket.

   Se abrirá el diálogo Editar bucket de registros.

4. Selecciona Crear un nuevo conjunto de datos de BigQuery que se vincule a este bucket y, luego, ingresa el nombre del nuevo conjunto de datos.

   El nombre del conjunto de datos debe ser único para cada Google Cloud proyecto. Si ingresas el nombre de un conjunto de datos existente, recibirás el siguiente error: Dataset name must be unique in the selected region.

5. Haz clic en Listo y, luego, en Actualizar bucket.

   Después de que Logging muestre el nombre del conjunto de datos vinculado en la página Almacenamiento de registros, es posible que BigQuery tarde varios minutos en reconocer el conjunto de datos.

gcloud

Para crear un conjunto de datos vinculado para un bucket de registros que se actualizó para usar Estadísticas de observabilidad, ejecuta el gcloud logging links create comando:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

El LINK_ID que proporcionas se usa como el nombre del conjunto de datos de BigQuery, y el valor de este campo debe ser único para tu Google Cloud proyecto.

El comando links create es asíncrono. El valor que muestra un método asíncrono es un Operation objeto, que contiene información sobre el progreso del método. Cuando se completa el método, el objeto Operation contiene el estado. Para obtener más información, consulta Métodos de la API asíncronos.

El comando links create tarda varios minutos en completarse.

Por ejemplo, el siguiente comando crea un conjunto de datos vinculado llamado mylink para el bucket de registros llamado my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

El nombre del conjunto de datos debe ser único para cada Google Cloud proyecto. Si intentas crear un conjunto de datos con el mismo nombre que un conjunto de datos existente, recibirás el siguiente error:

BigQuery dataset with name "LINK_ID" already exists.

Si intentas crear un conjunto de datos vinculado para un bucket de registros que no se actualizó para usar Estadísticas de observabilidad, se informa el siguiente error:

A link can only be created for an analytics-enabled bucket.

REST

Para crear un conjunto de datos vinculado de BigQuery para un bucket de registros existente que se actualizó para usar Estadísticas de observabilidad, llama al método asíncrono projects.locations.buckets.links.create de la API de Cloud Logging.

Prepara los argumentos del método de la siguiente manera:

1. Crea el cuerpo de la solicitud para el comando create. El cuerpo de la solicitud tiene el formato de un Link objeto.
2. Para el parámetro de consulta del comando, usa linkId=LINK_ID. El LINK_ID que proporcionas se usa como el nombre del conjunto de datos de BigQuery, y el valor de este campo debe ser único para tu Google Cloud proyecto.

La respuesta a los métodos asíncronos es un Operation objeto. Este objeto contiene información sobre el progreso del método. Cuando se completa el método, el objeto Operation contiene el estado. Para obtener más información, consulta Métodos de la API asíncronos.

El método links.create tarda varios minutos en completarse.

El nombre del conjunto de datos debe ser único para cada Google Cloud proyecto. Si intentas crear un conjunto de datos con el mismo nombre que un conjunto de datos existente, recibirás el siguiente error:

BigQuery dataset with name "LINK_ID" already exists.

Si intentas crear un conjunto de datos vinculado para un bucket de registros que no se actualizó para usar Estadísticas de observabilidad, se informa el siguiente error:

A link can only be created for an analytics-enabled bucket.

Ejecuta consultas desde BigQuery

Cuando tienes un bucket de registros que usa Estadísticas de observabilidad y conjuntos de datos vinculados, puedes ver y consultar tus conjuntos de datos vinculados con la página BigQuery Studio. Con esta configuración, puedes analizar tus conjuntos de datos con comandos, flujos de trabajo y conjuntos de datos disponibles solo en BigQuery Studio.

Para abrir BigQuery desde Estadísticas de observabilidad y, luego, consultar el conjunto de datos vinculado, haz lo siguiente:

1. Asegúrate de que exista un conjunto de datos vinculado para el bucket de registros que aloja la vista de registros que quieres consultar:

   1. En la Google Cloud consola de, ve a la página Almacenamiento de registros:

      Ir al Almacenamiento de registros

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

   2. Ubica el bucket de registros y verifica que la columna Conjunto de datos vinculado de BigQuery muestre una URL. Si la entrada está vacía, debes crear un conjunto de datos vinculado. Para obtener información sobre estos pasos, consulta Crea un conjunto de datos vinculado de BigQuery.

2. En la Google Cloud consola de, ve a la página Análisis de registros:

   Ir a Análisis de registros

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

3. En la lista Vistas de registros, busca y selecciona la vista de registros.

4. En el panel Esquema, selecciona Consulta.

   El panel Consulta se propaga con una consulta predeterminada. También puedes ingresar una consulta en el panel Consulta o editar una consulta que se muestra.

5. En la barra de herramientas, expande el botón etiquetado como Ejecutar consulta o Ejecutar en BigQuery y selecciona Abrir en BigQuery.

   Se abrirá la página BigQuery Studio. La instrucción FROM de la consulta se modifica para especificar la ruta de acceso a la vista de registros en el conjunto de datos vinculado con la sintaxis de ruta de acceso de la tabla de BigQuery.

   También puedes editar la consulta que se muestra.

6. En la página BigQuery Studio, haz clic en Ejecutar consulta.

Ejecuta consultas de Estadísticas de observabilidad en ranuras de BigQuery

Vista previa

Este producto o esta función se encuentra sujeto a las "Condiciones de la oferta de la fase previa a la DG" en la sección Condiciones del servicio generales de las Condiciones específicas del servicio. Los productos y las funciones de la fase previa a la DG están disponibles “tal como están” y pueden estar sujetos a asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Cuando quieras supervisar los resultados de tu consulta en SQL con una política de alertas, ejecuta tus consultas en el motor de BigQuery haciendo lo siguiente:

1. Asegúrate de que exista un conjunto de datos vinculado para el bucket de registros que aloja la vista de registros que quieres consultar:

   1. En la Google Cloud consola de, ve a la página Almacenamiento de registros:

      Ir al Almacenamiento de registros

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

   2. Ubica el bucket de registros y verifica que la columna Conjunto de datos vinculado de BigQuery muestre una URL. Si la entrada está vacía, entonces crea un conjunto de datos vinculado de BigQuery.

2. Configura Estadísticas de observabilidad para ejecutar tus consultas en el motor de BigQuery:

   1. En la Google Cloud consola de, ve a la página Análisis de registros:

      Ir a Análisis de registros

      Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

   2. En la lista Vistas de registros , busca la vista y, luego, selecciona Consulta o ingresa una consulta.

      Si el panel de consultas muestra un mensaje de error que hace referencia a la instrucción FROM, significa que la tabla no se puede resolver en una vista de registros específica. Para obtener información sobre cómo resolver esta falla, consulta Error FROM clause must contain exactly one log view.

   3. Ve a la barra de herramientas y verifica que se muestre un botón etiquetado como Ejecutar en BigQuery.

      Si la barra de herramientas muestra Ejecutar consulta, entonces haz clic en Configuración y selecciona BigQuery.

      Si el botón Ejecutar en BigQuery está inhabilitado, debes crear un conjunto de datos vinculado.

   4. Ejecuta tu consulta.

      Puedes usar las opciones de la barra de herramientas para darle formato a tu consulta, borrarla y abrir la documentación de referencia de SQL de BigQuery.

¿Qué sigue?

• Supervisa los resultados de tus consulta en SQL con una política de alertas
• Guarda y comparte una consulta en SQL
• Consultas en SQL de muestra
• Representa gráficamente los resultados de las consulta en SQL SQL