Supervisa trabajos

Como administrador de BigQuery, puedes supervisar los trabajos en tu organización a través de un explorador de trabajos administrativos en la consola de Google Cloud . El explorador de trabajos proporciona filtros y opciones de orden para identificar, comparar y solucionar problemas de trabajos problemáticos. No necesitas escribir consultas de INFORMATION_SCHEMA para ver los detalles del trabajo, como el propietario, el proyecto, el uso de las ranuras, la duración y mucho más.

Para supervisar la capacidad, los compromisos de ranuras y el uso de reservas a largo plazo en toda tu organización, consulta Supervisa el estado y el uso de recursos.

Con el explorador de trabajos, puedes hacer lo siguiente:

  • Filtrar e identificar trabajos Busca consultas específicas en tu organización aplicando filtros según criterios como el estado del trabajo, la duración, el propietario o el uso de ranuras.
  • Analiza las métricas de la línea de tiempo. Realiza un seguimiento de las tendencias de ejecución de trabajos y la simultaneidad a lo largo del tiempo con el gráfico de métricas.
  • Agrega trabajos por recurso. Agrupa los trabajos por propietario, proyecto o reserva para ver estadísticas de resumen y desglosar las tablas filtradas.
  • Solucionar problemas de trabajos Selecciona trabajos individuales para ver sus gráficos de ejecución de consultas, el texto de SQL y el historial de ejecución en la página Detalles del trabajo (versión preliminar).
  • Compara el rendimiento. Compara trabajos (versión preliminar) para destacar las diferencias significativas en las métricas y abordar los posibles problemas de rendimiento.
  • Obtén asistencia de IA. Usa Gemini Code Assist directamente desde el explorador de trabajos (versión preliminar) para analizar las estadísticas de los trabajos o explicar las consultas de ejecución lenta.

BigQuery proporciona estadísticas y detalles de los trabajos a partir de las siguientes vistas INFORMATION_SCHEMA:

Antes de comenzar

Para usar Gemini Code Assist y solucionar problemas de trabajos en BigQuery (versión preliminar), consulta Configura Gemini Code Assist para habilitar la API y otorgar los roles necesarios para ella.

Roles obligatorios

Para obtener los permisos que necesitas para usar el explorador de trabajos y supervisar trabajos, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para usar el explorador de trabajos y supervisar los trabajos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para usar el explorador de trabajos y supervisar los trabajos:

  • Visualiza los trabajos a nivel del proyecto: bigquery.jobs.listAll en el proyecto
  • Visualiza los trabajos a nivel de la organización: bigquery.jobs.listAll en la organización

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para usar Gemini Code Assist y solucionar problemas de trabajos, consulta los requisitos de IAM adicionales para usar Gemini Code Assist.

Filtrar trabajos

Para filtrar trabajos de las consultas que contienen vistas INFORMATION_SCHEMA.JOBS*, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el menú de navegación, haz clic en Explorador de trabajos.

  3. En la página Explorador de trabajos, en el campo Ubicación, selecciona la ubicación de los trabajos que quieres ver.

  4. En el panel Filtros, aplica filtros opcionales según sea necesario. Si este panel no está visible, haz clic en insert_chart Mostrar filtros.

    Están disponibles los siguientes filtros:

    • Alcance del trabajo: Filtra los trabajos por su nivel de visibilidad, por ejemplo, el proyecto actual, la organización y tus trabajos. Puedes elegir ver los trabajos del proyecto actual, de toda la organización o solo los que iniciaste.
    • Vista de gráfico:
      • Trabajos finalizados: Muestra los datos del cronograma de las consultas completadas, lo que distingue entre los trabajos que se completaron correctamente y los que tuvieron errores.
      • Simultaneidad: Muestra los datos del cronograma para la simultaneidad de consultas, distinguiendo entre los trabajos activos y los trabajos en cola.
    • Agrupar por: Agrupa los trabajos que se muestran por un recurso específico, como propietario, proyecto o reserva. Para obtener más información, consulta Agrupa trabajos por recurso.
    • Estado: Filtra los trabajos por su estado de ejecución actual, por ejemplo, completado, error, activo y en fila. Los recuentos de resumen aparecen directamente junto a cada opción de filtro de estado de faceta para indicar la cantidad de trabajos en ese estado.
    • ID del proyecto: Filtra los trabajos que se ejecutaron en un proyecto específico.
    • ID de reserva: Filtra los trabajos que usaron ranuras de una reserva específica. Esto te ayuda a supervisar cómo las diferentes cargas de trabajo consumen la capacidad reservada.
    • Propietario: Filtra los trabajos por la dirección de correo electrónico del usuario o la cuenta de servicio que inició el trabajo.
    • ID de tarea: Filtra por un trabajo específico según su identificador alfanumérico único.
    • Hash de consulta: Filtra los trabajos con un hash de consulta específico. Un hash de consulta identifica la lógica de una consulta, ignorando las diferencias en los comentarios, los valores de los parámetros, las UDF y los literales, lo que te ayuda a encontrar todas las ejecuciones de la misma lógica de consulta. Este campo aparece para las consultas correctas de GoogleSQL que no son aciertos de caché.
    • Etiquetas: Filtra los trabajos según las etiquetas de metadatos personalizadas que tú o tu organización les hayan adjuntado. Esto te permite categorizar y hacer un seguimiento de los trabajos por departamento o aplicación.
    • Estadísticas de consultas: Filtra los trabajos que BigQuery identificó como que tienen problemas de rendimiento específicos, como contención de ranuras, capacidad de Shuffle de memoria excedida y cambio en la escala de entrada de datos.
    • Tiempo de ranura superior a: Filtra los trabajos que consumieron más de una cantidad especificada de milisegundos de ranura. Esta es una métrica clave para identificar las consultas que consumen muchos recursos.
    • Duración superior a: Filtra los trabajos que tardaron más que una cantidad de tiempo especificada en completarse. Úsala para encontrar consultas que se ejecutan con más lentitud de lo esperado.
    • Bytes procesados más de: Filtra los trabajos que analizaron más de una cantidad de datos especificada. Esto te ayuda a identificar las consultas que podrían estar contribuyendo a los altos costos de procesamiento de datos.
    • Categoría de trabajo: Filtra los trabajos por el tipo de operación realizada, como consultas en SQL estándar o consultas continuas que se usan para el procesamiento de datos en tiempo real.
    • Motivo de creación del trabajo: Filtra los trabajos según el motivo por el que BigQuery los creó, por ejemplo, cuando una consulta supera un tiempo de espera o produce resultados demasiado grandes para una sola respuesta.
    • Prioridad del trabajo: Filtra los trabajos por su prioridad de ejecución, como los trabajos interactivos o por lotes.

Visualiza las métricas de cronograma de trabajos

El explorador de trabajos incluye un gráfico de métricas interactivo que muestra datos de cronograma para las consultas que coinciden con tus criterios de filtro. Puedes usar este gráfico para evaluar los patrones de carga de trabajo y, además, identificar aumentos repentinos en los trabajos completados, activos o en cola. Para conocer las tendencias de simultaneidad históricas de toda la organización en períodos más largos, consulta Gráficos de cronograma de métricas.

Para configurar el gráfico de métricas en el explorador de trabajos, haz lo siguiente:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Ve al panel Filtros. Si no ves este panel, haz clic en insert_chart Mostrar filtros.

  3. Selecciona la métrica que quieres mostrar en el gráfico:

    • Trabajos finalizados: Muestra los datos del cronograma de las consultas completadas, lo que distingue entre los trabajos que se completaron correctamente y los que tuvieron errores.
    • Simultaneidad: Muestra los datos del cronograma para la simultaneidad de consultas, distinguiendo entre los trabajos activos y los trabajos en cola.

Agrupa los trabajos por recurso

Para agregar estadísticas de trabajos y comparar el consumo en tu organización, puedes agrupar los trabajos por propietario, proyecto o reserva en lugar de ver los trabajos individuales en una tabla no agregada.

Para agrupar trabajos, haz lo siguiente:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Ve al panel Filtros. Si no ves este panel, haz clic en insert_chart Mostrar filtros.

  3. Haz clic en Agrupar por y selecciona una de las siguientes opciones:

    • Ninguno (predeterminado): Muestra la tabla no agregada de trabajos individuales.
    • Propietario: Agrupa los trabajos por la dirección de correo electrónico del usuario o la cuenta de servicio que ejecutó el trabajo.
    • Proyecto: Agrupa los trabajos por ID del proyecto.
    • Reserva: Agrupa los trabajos por ID de reserva.

Cuando configuras Agrupar por como Propietario, Proyecto o Reserva, BigQuery muestra una vista agregada con paneles de resumen para cada recurso. En cada panel, se muestran las siguientes estadísticas de resumen:

  • Trabajos activos: Es la cantidad de trabajos en ejecución.
  • Trabajos en cola: Es la cantidad de trabajos que esperan en la cola de consultas.
  • Trabajos con errores: Es la cantidad de trabajos que no se completaron.
  • Trabajos completados: Es la cantidad de trabajos que se completaron correctamente.
  • Tiempo de ranura: Es el total de milisegundos de ranura que consumen los trabajos para ese recurso.
  • Bytes procesados: Es el volumen total de datos analizados por los trabajos para ese recurso.

Para inspeccionar los trabajos individuales asociados con un recurso específico, haz clic en el panel de ese recurso para expandirlo y mostrar una tabla filtrada de sus trabajos.

Soluciona problemas de rendimiento de los trabajos

Para diagnosticar y solucionar problemas de las consultas, puedes ver las métricas de ejecución, el texto de SQL y las variaciones del historial de rendimiento en la página Detalles del trabajo.

Ver detalles del trabajo

Para ver los detalles de un trabajo y analizar la ejecución de su consulta, haz lo siguiente:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Opcional: Para limitar los trabajos que se muestran, fíltra los trabajos.

  3. Haz clic en el ID del trabajo que deseas investigar. En el caso de las consultas que no crean un trabajo, aparece el ID de la consulta y el vínculo se inhabilita. Si haces clic en un ID de trabajo válido, se abrirá la página Detalles del trabajo con la pestaña Rendimiento que se muestra de forma predeterminada.

Información disponible sobre las búsquedas

Para ayudarte a diagnosticar el rendimiento de las consultas, la pestaña Rendimiento en los detalles del trabajo recopila la siguiente información y métricas, cuando corresponde:

  • Detalles del trabajo: Información sobre el trabajo, incluidos el ID del trabajo, la hora de creación, los bytes procesados y el uso de ranuras. Para obtener más información, consulta Visualiza los detalles del trabajo.
  • Historial de ejecución: Es una lista de ejecuciones históricas de la consulta, agrupadas por hash de consulta. Puedes seleccionar un trabajo de esta lista para compararlo directamente con tu trabajo actual. Para obtener más información, consulta Compara trabajos.

  • Gráfico de ejecución: Es una representación visual de las etapas de ejecución de la consulta. Expande la sección Gráfico de ejecución para inspeccionar la contención de ranuras, la capacidad de Shuffle y la escala de entrada de datos. Para obtener más información, consulta Obtén estadísticas de rendimiento de las consultas.

    En el siguiente ejemplo, se muestra un grafo de ejecución con la asignación de texto de SQL habilitada:

    Gráfico de ejecución para trabajos.

  • Carga del sistema durante la ejecución: Es un resumen de los recursos de procesamiento y la configuración de reserva asignados durante la ejecución del trabajo.

Diagnostica regresiones de rendimiento comparando trabajos y sistemas

La herramienta de comparación de rendimiento te permite analizar las diferencias de rendimiento entre dos trabajos de consulta o entre dos intervalos del sistema. En el análisis, se muestran los detalles de la consulta, los cambios en el uso de recursos y la configuración del entorno del sistema que difieren de forma significativa entre los entornos de referencia y de destino.

Comprende el análisis de comparación

La herramienta de comparación evalúa el rendimiento en función de las métricas a nivel de la consulta y los factores a nivel del sistema. Puedes activar el botón Mostrar solo las diferencias significativas para limitar la vista a las métricas con una variación superior al 20%.

Las diferencias significativas se codifican por colores para ayudarte a detectar problemas:

  • Verde: La métrica mejoró (por ejemplo, una duración de consulta más corta en la ejecución de destino).
  • Amarillo: La métrica se degradó en menos del 20%.
  • Rojo: La métrica se degradó en más de un 20%.

Compara dos trabajos

Para comparar un trabajo de referencia con una ejecución de trabajo de destino, haz lo siguiente:

  1. Abre la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Opcional: Para limitar los trabajos que se muestran, fíltra los trabajos.

  3. Haz clic en el ID de tarea de tu trabajo de referencia para abrir la página Detalles del trabajo y selecciona la pestaña Rendimiento.

  4. En el menú Acciones, haz clic en Comparar trabajo.

  5. En el campo Trabajo uno (trabajo de referencia), haz clic en Explorar para abrir el panel Trabajos comparables similares.

  6. Selecciona el trabajo de destino que deseas comparar con tu modelo de referencia y haz clic en Comparar.

  7. Opcional: Para enfocarte en las regresiones de rendimiento importantes, activa Mostrar solo las diferencias significativas. Esto limita la vista a las métricas con una variación superior al 20%.

Para cambiar los trabajos que se comparan en cualquier momento, haz clic en Explorar en los campos de trabajo de referencia o de destino y selecciona un trabajo nuevo de la lista de trabajos comparables.

Análisis a nivel de la búsqueda

Después de comparar dos trabajos, puedes ver la sección Análisis a nivel de consulta, que compara dos ejecuciones de trabajos en tres pestañas:

  • Métricas: Compara las métricas de consulta principales, como la duración del trabajo, el tiempo de ranura, los bytes procesados y los aceleradores sin usar.
  • Texto de SQL: Muestra las sentencias de SQL para ambos trabajos y destaca las diferencias de texto.
  • Gráfico de ejecución: Compara los gráficos de ejecución de ambos trabajos etapa por etapa para identificar dónde se produjeron los cuellos de botella.

Compara dos intervalos del sistema

Los administradores y analistas pueden analizar métricas de entorno más amplias ejecutando una comparación del rendimiento del sistema. Esta herramienta te permite comparar intervalos históricos en reservas y proyectos específicos para comprender los cambios en el uso y aislar si la degradación del rendimiento se originó de forma interna o externa en tu carga de trabajo.

Puedes navegar a la vista de comparación del rendimiento del sistema de cualquiera de las siguientes maneras:

  • En la página Detalles del trabajo, después de comparar dos trabajos, haz clic en Ver más en la sección Resultados a nivel del sistema para ver los detalles de la comparación del sistema.
  • Si usas Gemini Cloud Assist para realizar una comparación de sistemas, Gemini Cloud Assist genera un vínculo que abre los resultados de la comparación de sistemas.

Para realizar una comparación a nivel del sistema en períodos separados, haz lo siguiente:

  1. En la vista System performance comparison, haz clic en System.
  2. Para seleccionar el sistema en el que deseas analizar el rendimiento, haz clic en Explorar y selecciona un permiso de reserva o de proyecto.
  3. Define los períodos de comparación:
    • Intervalo objetivo: Selecciona el período de fecha y hora en el que se produjeron los problemas de rendimiento y haz clic en Aplicar.
    • Intervalo de referencia: Selecciona la ventana de fecha y hora de referencia para que actúe como tu comparativa de rendimiento y haz clic en Aplicar.

Análisis a nivel del sistema

Después de comparar los intervalos, la vista asigna los cambios de uso, las variaciones de simultaneidad y las diferencias de configuración en el entorno seleccionado con respecto a su grupo superior. Esto te ayuda a determinar si la contención de ranuras o las regresiones de configuración afectan tu carga de trabajo. Los datos se generan en tres bloques:

  • Proyecto: Compara la simultaneidad de trabajos, la simultaneidad en cola y el uso total de ranuras a nivel del proyecto.
  • Reserva: Compara el uso de la reserva, el uso compartido de ranuras inactivas y la simultaneidad de proyectos en las reservas compartidas.
  • Análisis de configuración: Compara la configuración del gestor de cargas de trabajo entre las dos ejecuciones, como los límites máximos de tamaño de reserva y las reglas de préstamo de ranuras inactivas.

Usa las estadísticas de solución de problemas de rendimiento de agentes

Para enviar comentarios o solicitar asistencia para esta función, envía un correo electrónico a bq-performance-troubleshooting+feedback@google.com.

Cuando supervisas tareas de administración o evalúas comparaciones de rendimiento, BigQuery integra los diagnósticos de observabilidad subyacentes con Gemini Cloud Assist para convertir el panel de chat en un asistente activo para solucionar problemas a medida que solucionas anomalías a nivel del trabajo y del sistema.

El acceso a las estadísticas está controlado. Sin los permisos suficientes, las estadísticas que recibas podrían ser limitadas. Para obtener más información sobre los permisos, consulta Controla el acceso a los recursos con la IAM.

Soluciona problemas de rendimiento en el chat

Para inicializar la solución de problemas adaptada al contexto y actuar en función de las estadísticas de rendimiento, haz lo siguiente:

  1. Para abrir el panel de chat de Gemini Cloud Assist y cargar automáticamente el contexto relevante de tu trabajo o sistema, realiza una de las siguientes acciones:
    • En las páginas Explorador de trabajos o Historial de trabajos, coloca el cursor sobre un trabajo y haz clic en astrophotography_mode Gemini en esa fila de la tabla.
    • En la página Administración de cargas de trabajo, coloca el cursor sobre una reserva y haz clic en astrophotography_mode Gemini en esa fila de la tabla.
    • En Studio, Monitoring o el Explorador de trabajos, haz clic en astrophotography_mode Gemini.
  2. Envía una instrucción en lenguaje natural. Por ejemplo, pídele a Gemini que explique por qué un trabajo se ejecuta con lentitud, analice estadísticas de trabajos específicas, analice el rendimiento de una reserva específica, solucione problemas de rendimiento del sistema o compare las variaciones de rendimiento entre dos trabajos históricos similares.
  3. Si se incumple un umbral a nivel de la organización o de la reserva, como una fila de ranuras grave debido a un aumento inesperado en la simultaneidad de proyectos activos, revisa el informe de estadísticas de rendimiento generado. En este informe, se detallan los cuellos de botella críticos, como los siguientes:
    • Aumento de la simultaneidad en cola: Son aumentos repentinos en las demandas de consultas simultáneas que superan los límites de simultaneidad flexibles o las asignaciones de ranuras de reserva.
    • Mayor simultaneidad de proyectos: Realiza un seguimiento de los proyectos exactos de alta simultaneidad o de las cuentas de usuario principales que generan la carga del sistema en las reservas compartidas o las cuotas a pedido.
  4. Observa la tabla Comparación de métricas clave para hacer un seguimiento de las diferencias numéricas precisas, como los cambios en la simultaneidad promedio del proyecto, las ranuras de cola o los límites máximos de ranuras de reserva.

  5. Ejecuta soluciones intercaladas directamente a través de vínculos de transferencia prácticos generados por Gemini Cloud Assist. Estos accesos directos te redireccionan a herramientas específicas del producto con contexto prepropagado para responder tus preguntas y resolver problemas:

    • Editar reserva: Abre el panel lateral de gestor de cargas de trabajo para ajustar los tamaños máximos de reserva o activar las capacidades de escalamiento avanzadas.
    • Ver el rendimiento del trabajo en el Explorador de trabajos: Abre la pestaña de detalles del rendimiento del trabajo en particular.
    • Compara el rendimiento de los trabajos en el Explorador de trabajos: compara el rendimiento de dos trabajos en paralelo.

Precios

El explorador de trabajos está disponible sin costo adicional. Las consultas que se usan para propagar estos gráficos no se facturan y no usan ranuras en reservas de usuarios. Se agota el tiempo de espera de las consultas que procesan demasiados datos.

¿Qué sigue?