Cómo generar gráficos con los resultados de las consulta en SQL

Las Estadísticas de observabilidad te permiten visualizar los resultados de las consultas en SQL como gráficos para identificar patrones y tendencias en tus datos de registro. Después de ejecutar una consulta para buscar y agregar tus registros, puedes ver los resultados en una tabla, convertirlos en un gráfico y guardar la visualización en un panel.

Por ejemplo, en el siguiente gráfico, se muestra el recuento de entradas de registro durante un período de 12 horas, desglosado por severity:

Antes de comenzar

En esta sección, se describen los pasos que debes completar antes de poder usar las Estadísticas de observabilidad.

Configura buckets de registros

Asegúrate de que tus buckets de registros se hayan actualizado para usar Estadísticas de observabilidad:

1. En la consola de Google Cloud , ve a la página Explorador de registros:

   Ir al Almacenamiento de registros

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

2. Para cada bucket de registros que tenga una vista de registro que quieras consultar, asegúrate de que la columna Estadísticas de observabilidad disponibles muestre Abrir. Si se muestra Actualizar, haz clic en Actualizar y completa el diálogo.

Configura roles y permisos de IAM

En esta sección, se describen los roles o permisos de IAM que se requieren para usar las Estadísticas de observabilidad:

• Para obtener los permisos que necesitas para usar las Estadísticas de observabilidad y consultar las vistas de registro, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu proyecto:

  • Para consultar los buckets de registros _Required y _Default, usa el Visualizador de registros (roles/logging.viewer).
  • Para consultar todas las vistas de registros de un proyecto, usa el rol de descriptor de acceso de vista de registros (roles/logging.viewAccessor).

  Puedes restringir una principal a una vista de registro específica agregando una condición de IAM al otorgamiento del rol de descriptor de acceso a la vista de registros realizado a nivel del proyecto o agregando una vinculación de IAM al archivo de política de la vista de registro. Para obtener más información, consulta Controla el acceso a una vista de registros.

  Estos son los mismos permisos que necesitas para ver las entradas de registro en la página del Explorador de registros. Para obtener información sobre los roles adicionales que necesitas para consultar vistas en buckets definidos por el usuario o para consultar la vista _AllLogs del bucket de registros _Default, consulta Roles de Cloud Logging.

• Para obtener los permisos que necesitas para consultar vistas de análisis, pídele a tu administrador que te otorgue el rol de IAM de Usuario de Estadísticas de observabilidad (roles/observability.analyticsUser) en tu proyecto.

• Para obtener los permisos que necesitas para crear gráficos, pídele a tu administrador que te otorgue el rol de IAM de editor de Monitoring (roles/monitoring.editor) en tu proyecto.

Selecciona los datos que quieres incluir en el gráfico

Para configurar qué datos se mostrarán en un gráfico, crea una consulta con SQL. Cuando seleccionas la pestaña Gráfico, se muestra un gráfico con los resultados de la consulta. Después de ejecutar la consulta y generar un gráfico, puedes personalizarlo cambiando el tipo de gráfico y seleccionando columnas para mostrar datos diferentes.

Para ver los resultados de tu consulta como un gráfico, ejecuta una consulta de la siguiente manera:

1. En la Google Cloud consola, ve a la página Estadísticas de observabilidad:

   Ir a Estadísticas de observabilidad

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

2. En el panel Consulta, ingresa una consulta y, luego, haz clic en Ejecutar.

3. Una vez que se complete la consulta, en la pestaña Resultados, selecciona cómo deseas ver los resultados de la consulta:

   • Tabla: Solo formato tabular.

   • Gráfico: Solo formato de gráfico.

   • Ambos: Formato de gráfico y tabla

     Después de seleccionar cómo ver los resultados de la consulta, puedes configurar cualquier campo para la visualización seleccionada y, luego, guardar la consulta y los resultados en un panel personalizado. El formato guardado es tabular cuando seleccionas la opción Tabla. De lo contrario, el formato es un gráfico.

     En el caso de los gráficos, las opciones de visualización te permiten seleccionar el tipo de gráfico y las filas y columnas que se incluirán en él. Para obtener más información sobre la configuración del gráfico, consulta Personaliza la configuración del gráfico.

Personaliza la configuración del gráfico

Para personalizar la configuración del gráfico, cambia el tipo de gráfico, selecciona la dimensión y la medición que se incluirán en el gráfico, y aplica un desglose. La dimensión se usa para agrupar o categorizar filas y es el valor del eje X. La medición, o el valor del eje Y, es una serie de datos que se traza en relación con el eje Y.

Cambiar el tipo de gráfico

Puedes seleccionar entre los siguientes tipos de gráficos, según el tipo de filas y columnas que hayas seleccionado como dimensión y medición, y cómo quieras que se visualicen esos datos.

• Gráfico de barras (predeterminado): Los gráficos de barras trazan datos en dos ejes. Si tu gráfico usa una categoría o una cadena como dimensión, puedes establecer la configuración del gráfico de barras en horizontal o vertical, donde se intercambian los ejes de dimensión y medida.

• Gráfico de líneas: Los gráficos de líneas se pueden usar para mostrar los cambios en los datos a lo largo del tiempo. Cuando usas un gráfico de líneas, cada serie temporal se muestra con una línea diferente que corresponde a las medidas que seleccionaste.

  Si el eje X se basa en el tiempo, cada dato se coloca al principio de un intervalo de tiempo. Cada dato se conecta mediante interpolación lineal.

• Gráfico de áreas apiladas: Un gráfico de áreas se basa en un gráfico de líneas, y el área debajo de cada línea está sombreada. En los gráficos de áreas, las series de datos se apilan. Por ejemplo, si tienes dos series idénticas, estas se superponen en un gráfico de líneas, pero el área sombreada se apila en un gráfico de áreas.

• Gráfico circular o de anillo: Un gráfico circular muestra cómo se relacionan las categorías de un conjunto de datos con todo el conjunto de datos. Para ello, se usa un círculo que representa todo el conjunto de datos y sectores en el círculo que representan las categorías del conjunto de datos. El tamaño de una porción indica cuánto, a menudo como porcentaje, contribuye la categoría al todo.

• Tabla: Una tabla muestra una fila por cada fila del resultado de la consulta. Las columnas de la tabla se definen con la cláusula SELECT. Si planeas mostrar datos en forma de tabla en un panel, usa una cláusula LIMIT para restringir la cantidad de filas en el resultado a menos de unos cientos.

• Indicador o cuadro de evaluación: Los indicadores y los cuadros de evaluación te proporcionan el valor más reciente junto con una indicación verde, ámbar o roja según cómo se compare ese valor con un conjunto de umbrales. A diferencia de los medidores, que solo muestran información sobre el valor más reciente, los cuadros de evaluación también pueden incluir información sobre los valores anteriores.

  Los medidores y los cuadros de evaluación solo pueden mostrar el resultado de la consulta cuando este contiene al menos una fila, y esa fila contiene una columna con una marca de tiempo y una columna con datos numéricos. El resultado de la consulta puede contener varias filas y más de dos columnas.

  Si deseas realizar la agregación basada en el tiempo como parte de tu consulta, haz lo siguiente:

  • Configura tu consulta para agregar datos en un intervalo de tiempo, ordenar los resultados por marcas de tiempo descendentes y limitar la cantidad de filas en los resultados. Puedes usar la cláusula LIMIT o el selector de período para limitar la cantidad de filas en el resultado de la consulta.

    Por ejemplo, en la siguiente consulta, se consulta una vista de registro y se agregan datos por hora, se aplica un límite y se ordenan los resultados:

    SELECT TIMESTAMP_TRUNC(timestamp, HOUR) AS hour, severity, COUNT(*) AS count
    FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`
    WHERE severity IS NOT NULL AND severity = "DEFAULT"
    GROUP BY hour,severity
    ORDER BY hour DESC
    LIMIT 10

    A continuación, se describe el significado de los campos de la expresión anterior:

    • PROJECT_ID: Es el identificador del proyecto.
    • LOCATION: Es la ubicación de la vista de registro o de la vista de análisis.
    • BUCKET_ID: Es el nombre o el ID del bucket de registros.
    • LOG_VIEW_ID: Es el identificador de la vista de registro, que está limitado a 100 caracteres y solo puede incluir letras, dígitos, guiones bajos y guiones.

  • Establece la Dimensión para que coincida con la columna que informa la unidad de tiempo. Por ejemplo, si tu consulta agrega datos por una hora y crea una columna llamada hour, configura el menú Dimensión como hour.

  • Selecciona Inhabilitar intervalo porque tu consulta ya especifica el intervalo de agregación. En el ejemplo, este intervalo es de una hora.

  • Establece la Medición en la columna numérica y la función en none.

    Nota: Si tu consulta realiza una agregación basada en el tiempo, asegúrate de seguir la guía anterior. Otros parámetros de configuración hacen que tanto tu consulta como las Estadísticas de observabilidad realicen operaciones de agregación, lo que hace que el indicador o la tarjeta de evaluación muestren valores inesperados.

  Si quieres confiar en las Estadísticas de observabilidad para que realicen la agregación basada en el tiempo, haz lo siguiente:

  • Configura el selector de período, que afecta la cantidad de filas en el resultado de la consulta.
  • Establece la Dimensión para que coincida con la columna que informa la unidad de tiempo. Por ejemplo, puedes establecer este menú en timestamp.
  • Establece el menú Intervalo en un intervalo de agregación específico. Por ejemplo, establece el valor de este campo en 1 hour. No selecciones Intervalo automático.
  • Establece la Medida en la columna numérica y selecciona una función, como sum.

Cambia la dimensión y la medición

Puedes elegir qué filas y columnas se grafican seleccionando los campos de dimensión y medición.

Nota: Si los resultados de tu consulta contienen una columna que tiene cadenas largas, como mensajes de error, y seleccionas esa columna para que sea la dimensión o el desglose, es posible que tu gráfico tenga errores o valores inesperados.

• Dimensión

  La dimensión debe ser una columna de marca de tiempo, numérica o de cadena. De forma predeterminada, la dimensión se establece en la primera columna basada en marcas de tiempo del esquema. Si no hay una marca de tiempo en la consulta, se selecciona la primera columna de cadena como dimensión. También puedes personalizar la dimensión en el panel Visualización del gráfico. Cuando se selecciona una columna de marca de tiempo como dimensión, el gráfico muestra cómo cambian los datos con el tiempo. Cuando se selecciona una columna de cadena como la dimensión de un gráfico de barras, puedes ordenar los datos de forma ascendente o descendente, lo que ordena la dimensión por orden léxico. También puedes mantener el orden de clasificación "predeterminado", que ordena la dimensión según los valores de la medición correspondiente en orden descendente.

  De forma predeterminada, el intervalo para las marcas de tiempo se establece automáticamente, pero también puedes seleccionar un intervalo personalizado. Los intervalos automáticos cambian los valores según el selector de período para mantener grupos de tamaño similar.

  También puedes inhabilitar el intervalo, lo que te permite especificar tus propias agregaciones y períodos dentro de la consulta para realizar análisis más complejos. Si inhabilitas el intervalo, se establece la función de agregación de las mediciones en none. Solo se permiten mediciones numéricas cuando el intervalo de dimensiones está inhabilitado.

  Nota: Solo la columna TIMESTAMP se puede usar como dimensión de marca de tiempo. Para usar DATE y DATETIME, debes usar la función CAST() para convertir los tipos de datos en TIMESTAMP.

• Medir

  Puedes seleccionar varias mediciones en el panel Visualización de gráficos. Cuando seleccionas una medición, también debes seleccionar la función de agregación que se realizará en sus valores agrupados, como count, sum, average y percentile-99. Por ejemplo, count-distinct devuelve la cantidad de valores únicos en una columna determinada.

  Si seleccionas la casilla de verificación Inhabilitar intervalo para la dimensión, la opción de función de agregación none estará disponible. Si la dimensión es un valor de cadena, no se muestra la casilla de verificación Inhabilitar intervalo. Sin embargo, establecer las funciones de agregación de una medición en none también inhabilita el intervalo.

Cómo agregar un desglose

Nota: Si tu gráfico contiene más de una medición, no puedes agregar un desglose.

Para dividir una sola serie de datos en varias series de datos según otra columna, agrega un desglose.

Cuando selecciones un desglose, elige columnas que contengan una pequeña cantidad de etiquetas cortas y significativas, como region_name. No selecciones campos que puedan contener una gran cantidad de cadenas o cadenas largas, como textPayload.

Por ejemplo, consulta la siguiente configuración de gráfico, en la que el campo Dimensión se establece en tipo, el campo Medición se establece en Recuento de filas y el campo Desglose se establece en gravedad:

En la captura de pantalla anterior, ves una serie de datos apilados, en la que el tipo de recurso k8s_container se divide en diferentes tipos de severity. Esto te permite identificar cuántos registros de cada tipo de gravedad generó un recurso determinado.

Guarda un gráfico en un panel personalizado

Después de que se genera un gráfico a partir de tu consulta, puedes guardarlo en un panel personalizado. Los paneles personalizados te permiten mostrar y organizar la información que te resulta útil con una variedad de tipos de widgets. Estos paneles también te permiten definir variables, que son filtros a nivel del panel que se aplican solo a widgets específicos. Para aplicar una variable a un widget, debes modificar la consulta. Para obtener más información, consulta Aplica una variable a un widget.

Un panel muestra un mensaje de advertencia para un widget que contiene una consulta en SQL cuando la consulta se ejecuta en el motor de BigQuery y los recursos consultados no están en el mismo límite de propiedad. Los límites de propiedad se determinan por varios factores, uno de los cuales es la jerarquía de los recursos que usa la consulta. Para evitar estas advertencias, configura un perímetro de servicio.

Para guardar tu gráfico en un panel, haz lo siguiente:

1. En la Google Cloud consola, ve a la página Estadísticas de observabilidad:

   Ir a Estadísticas de observabilidad

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

2. Ejecuta una consulta para generar un gráfico y, luego, haz clic en Guardar en el panel.

3. En el cuadro de diálogo Guardar en el panel, ingresa un título para el gráfico y selecciona el panel en el que deseas guardarlo.

4. Opcional: Para ver el panel personalizado, en el mensaje de aviso, haz clic en Ver panel.

Para ver una lista de paneles personalizados que contienen gráficos generados por consultas en SQL, ve al botón Guardar en el panel y haz clic en Menú.

Edita un gráfico guardado en un panel personalizado

Puedes modificar un gráfico después de guardarlo en un panel. Para obtener más información, consulta Modifica la configuración de un widget. En el cuadro de diálogo Configurar widget, puedes hacer lo siguiente:

• Cambia los datos que consultas.
• Editar la consulta que se usa para generar un gráfico
• Personaliza la configuración del gráfico para visualizar diferentes datos.

Limitaciones

• Si tu proyecto de Google Cloud está en una carpeta que usa Assured Workloads, los gráficos que generes no se podrán mostrar en un panel personalizado.

• Los filtros a nivel del panel no se aplican a los gráficos generados a partir de una consulta en SQL.

• Las columnas seleccionadas deben tener al menos una fila con un valor no nulo.

• Si guardas una consulta y personalizas la configuración del gráfico, no se guardará la configuración personalizada del gráfico.

• Si tu consulta ya contiene agregaciones, el gráfico generado podría ser diferente debido a la agregación adicional que aplica automáticamente Estadísticas de observabilidad.

• Las rutas de acceso de JSON se deben convertir en cadenas o números para que se puedan graficar.

Consultas de muestra

En esta sección, se proporcionan consultas en SQL de ejemplo para crear gráficos con los resultados de tus consultas. Para obtener estadísticas más útiles de tus registros, personaliza la configuración del gráfico. Para usar las consultas de muestra, haz lo siguiente:

1. En la Google Cloud consola, ve a la página Estadísticas de observabilidad:

   Ir a Estadísticas de observabilidad

   Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.

2. Identifica el nombre de la tabla de la vista de registro que quieres consultar.

   Para identificar este nombre, ve a la lista Vistas de registro, ubica la vista de registro y, luego, selecciona Consulta. El panel Consulta se propaga con una consulta predeterminada, que incluye el nombre de la tabla de la vista de registro que se consulta. El nombre de la tabla tiene el formato project_ID.region.bucket_ID.view_ID.

   Para obtener más información sobre cómo acceder a la consulta predeterminada, consulta Consulta una vista de registro.

3. Reemplaza VIEW por el nombre de la tabla de la vista de registro que deseas consultar y, luego, copia la consulta.

4. Pega la consulta en el panel Consulta y, luego, haz clic en Ejecutar consulta.

Crea un gráfico de las entradas de registro por ubicación y gravedad

En la siguiente consulta, se seleccionan location y severity, con la ubicación convertida en una cadena:

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `VIEW`
WHERE resource.labels.location IS NOT NULL

Un gráfico de muestra y su configuración se ven de la siguiente manera:

En la captura de pantalla anterior, la configuración del gráfico tiene la siguiente configuración:

• Tipo de gráfico: Gráfico de barras, horizontal
• Dimensión: location, con un límite de 10
• Medición: Recuento de filas
• Desglose: severity, con un límite de cinco

Crea un gráfico de los registros de auditoría de acceso a los datos de BigQuery

La siguiente consulta filtra los registros de auditoría de data_access de BigQuery y selecciona ciertos campos, como user_email, ip, auth_permission y job_execution_project. Por ejemplo, puedes crear un gráfico que visualice la frecuencia del uso de la API de BigQuery de cada principal a lo largo del tiempo.

SELECT
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `VIEW` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

Un gráfico de muestra y su configuración se ven de la siguiente manera:

En la captura de pantalla anterior, la configuración del gráfico tiene la siguiente configuración:

• Tipo de gráfico: Gráfico de barras, vertical
• Dimensión: user_email, con un límite de cinco
• Medición: Recuento de filas
• Desglose: auth_permission, con un límite de cinco

¿Qué sigue?

• Para obtener una descripción general de las estadísticas de observabilidad, consulta Descripción general de la consulta y el análisis de registros.

• Para ver consultas de ejemplo, consulta Consultas en SQL de ejemplo.

• Para obtener información sobre cómo analizar con registros de auditoría usando Estadísticas de observabilidad, consulta Consultas en SQL para obtener estadísticas de seguridad.