Supervisa trabajos

Como administrador de BigQuery, puedes supervisar los trabajos en tu organización a través de un explorador de trabajos administrativos en la consola de Google Cloud . El explorador de trabajos proporciona filtros y opciones de orden para identificar, comparar y solucionar problemas de trabajos problemáticos. No es necesario que escribas consultas de INFORMATION_SCHEMA para ver los detalles del trabajo, como el propietario, el proyecto, el uso de las ranuras, la duración y mucho más.

Con el Explorador de trabajos, puedes hacer lo siguiente:

BigQuery proporciona estadísticas y detalles de los trabajos a través de las siguientes vistas INFORMATION_SCHEMA:

Antes de comenzar

Para usar Gemini Code Assist y solucionar problemas de trabajos en BigQuery (versión preliminar), consulta Configura Gemini Code Assist para habilitar la API y otorgar los roles requeridos.

Roles obligatorios

Para obtener los permisos que necesitas para usar el Explorador de trabajos y supervisar trabajos, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para usar el explorador de trabajos y supervisar los trabajos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para usar el explorador de trabajos y supervisar los trabajos:

  • Para ver los trabajos a nivel del proyecto, haz clic en bigquery.jobs.listAll en el proyecto.
  • Para ver los trabajos a nivel de la organización, usa bigquery.jobs.listAll en la organización.
  • Para filtrar por reservas en tu organización, haz lo siguiente: bigquery.reservations.list en la organización

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Para usar Gemini Code Assist y solucionar problemas relacionados con los trabajos, consulta los requisitos adicionales de IAM para usar Gemini Code Assist.

Filtrar trabajos

Para filtrar trabajos de las consultas que contienen vistas INFORMATION_SCHEMA.JOBS*, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el menú de navegación, haz clic en Explorador de trabajos.

  3. En la lista Ubicación, selecciona la ubicación de los trabajos que debes ver.

  4. Aplica los Filtros opcionales según sea necesario:

    • Alcance del trabajo: Filtra los trabajos según su nivel de visibilidad, por ejemplo, el proyecto actual, la organización y tus trabajos. Puedes optar por ver los trabajos del proyecto actual, de toda tu organización o solo los trabajos que iniciaste.
    • Estado: Filtra los trabajos según su estado de ejecución actual, por ejemplo, completado, error, activo y en fila. Esto te ayuda a identificar los trabajos activos o fallidos.
    • Categoría de trabajo: Filtra los trabajos según el tipo de operación que se realiza, como las consultas de SQL estándar o las consultas continuas que se usan para el procesamiento de datos en tiempo real.
    • Motivo de creación del trabajo: Filtra los trabajos según el motivo por el que BigQuery los creó, por ejemplo, cuando una consulta supera el tiempo de espera o produce resultados demasiado grandes para una sola respuesta.
    • Prioridad del trabajo: Filtra los trabajos según su prioridad de ejecución, como trabajos interactivos o por lotes.
    • ID de trabajo: Filtra un trabajo específico por su identificador alfanumérico único.
    • Propietario: Filtra los trabajos según la dirección de correo electrónico del usuario o la cuenta de servicio que inició el trabajo.
    • ID del proyecto: Filtra los trabajos que se ejecutaron en un proyecto específico. Este filtro solo está disponible cuando el permiso del trabajo se establece en Organización.
    • ID de reserva: Filtra los trabajos que usaron ranuras de una reserva específica. Esto te ayuda a supervisar cómo las diferentes cargas de trabajo consumen la capacidad reservada.
    • Tiempo de ranura superior a: Filtra los trabajos que consumieron más de una cantidad especificada de milisegundos de ranura. Esta es una métrica clave para identificar las búsquedas que consumen muchos recursos.
    • Duración superior a: Filtra los trabajos que tardaron más de una cantidad de tiempo especificada en completarse. Usa esta opción para encontrar las consultas que se ejecutan más lento de lo esperado.
    • Bytes procesados más de: Filtra los trabajos que analizaron más de una cantidad especificada de datos. Esto te ayuda a identificar las consultas que podrían contribuir a los altos costos de procesamiento de datos.
    • Estadísticas de consultas: Filtra los trabajos que BigQuery identificó como que tienen problemas de rendimiento específicos, como contención de ranuras, capacidad de Shuffle de memoria excedida y cambio en la escala de entrada de datos.
    • Hash de consulta: Filtra los trabajos con un hash de consulta específico. Un hash de consulta identifica la lógica de una consulta, ignorando las diferencias en los comentarios, los valores de los parámetros, las UDF y los literales, lo que te ayuda a encontrar todas las ejecuciones de la misma lógica de consulta. Este campo aparece para las consultas correctas de GoogleSQL que no son aciertos de caché.
    • Etiquetas: Filtra los trabajos según las etiquetas de metadatos personalizadas que tú o tu organización les hayan adjuntado. Esto te permite categorizar y hacer un seguimiento de los trabajos por departamento o aplicación.

Soluciona problemas de rendimiento del trabajo

Para diagnosticar y solucionar problemas relacionados con las consultas, puedes ver las métricas de ejecución, el texto en SQL y las variaciones históricas del rendimiento en la página Detalles del trabajo.

Ver detalles del trabajo

Para ver los detalles de un trabajo y analizar la ejecución de su consulta, haz lo siguiente:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Opcional: Para reducir la cantidad de trabajos que se muestran, filtra los trabajos.

  3. Haz clic en el ID del trabajo que deseas investigar. En el caso de las consultas que no crean un trabajo, aparece el ID de la consulta y el vínculo está inhabilitado. Si haces clic en un ID de trabajo válido, se abrirá la página Detalles del trabajo con la pestaña Rendimiento que se muestra de forma predeterminada.

Información de búsqueda disponible

Para ayudarte a diagnosticar el rendimiento de las consultas, la pestaña Rendimiento en los detalles del trabajo compila la siguiente información y métricas, cuando corresponda:

  • Detalles del trabajo: Información sobre el trabajo, incluido el ID, la hora de creación, los bytes procesados y el uso de ranuras Para obtener más información, consulta Visualiza los detalles del trabajo.
  • Historial de ejecución: Es una lista de las ejecuciones históricas de la búsqueda, agrupadas por hash de la búsqueda. Puedes seleccionar un trabajo de esta lista para compararlo directamente con tu trabajo actual. Para obtener más información, consulta Cómo comparar trabajos.

  • Gráfico de ejecución: Es una representación visual de las etapas de ejecución de la consulta. Expande la sección Execution graph para inspeccionar la contención de ranuras, la capacidad de Shuffle y la escala de entrada de datos. Para obtener más información, consulta Obtén estadísticas de rendimiento de las consultas.

    En el siguiente ejemplo, se muestra un gráfico de ejecución con la asignación de texto SQL habilitada:

    Gráfico de ejecución para trabajos.

  • Carga del sistema durante la ejecución: Es un resumen de los recursos de procesamiento y la configuración de reserva asignados durante la ejecución del trabajo.

Diagnostica las regresiones de rendimiento comparando trabajos y sistemas

La herramienta de comparación de rendimiento te permite analizar las diferencias de rendimiento entre dos trabajos de consulta o en dos intervalos del sistema. El análisis muestra los detalles de las búsquedas, los cambios en el uso de recursos y la configuración del entorno del sistema que difieren significativamente entre tus entornos de referencia y de destino.

Información sobre el análisis comparativo

La herramienta de comparación evalúa el rendimiento en función de las métricas a nivel de la búsqueda y los factores a nivel del sistema. Puedes activar el botón de activación Mostrar solo las diferencias significativas para limitar la vista a las métricas con una varianza superior al 20%.

Las diferencias significativas están codificadas por colores para ayudarte a detectar problemas:

  • Verde: La métrica mejoró (por ejemplo, una duración de la consulta más corta en la ejecución objetivo).
  • Amarillo: La métrica se degradó en menos del 20%.
  • Rojo: La métrica disminuyó en más de un 20%.

Compara dos trabajos

Para comparar un trabajo de referencia con la ejecución de un trabajo objetivo, haz lo siguiente:

  1. Abre la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Opcional: Para reducir la cantidad de trabajos que se muestran, filtra los trabajos.

  3. Haz clic en el ID del trabajo de referencia para abrir la página Detalles del trabajo y selecciona la pestaña Rendimiento.

  4. En el menú Actions, haz clic en Compare Job.

  5. En el campo Trabajo uno (trabajo de referencia), haz clic en Explorar para abrir el panel Trabajos comparables similares.

  6. Selecciona el trabajo objetivo con el que deseas comparar tu modelo de referencia y haz clic en Comparar.

  7. Opcional: Para enfocarte en las principales regresiones del rendimiento, activa Mostrar solo las diferencias significativas. Esto limita la vista a las métricas con una varianza superior al 20%.

Para cambiar los trabajos que se comparan en cualquier momento, haz clic en Explorar en los campos de trabajo de referencia o de destino, y selecciona un trabajo nuevo de la lista de trabajos comparables.

Análisis a nivel de la búsqueda

Después de comparar dos trabajos, puedes ver la sección Análisis a nivel de la consulta, que compara dos ejecuciones de trabajos en tres pestañas:

  • Métricas: Compara las métricas principales de las consultas, como la duración del trabajo, el tiempo de ranura, los bytes procesados y los aceleradores no utilizados.
  • Texto en SQL: Muestra las instrucciones en SQL para ambos trabajos y destaca las diferencias de texto.
  • Gráfico de ejecución: Compara los gráficos de ejecución de ambos trabajos etapa por etapa para identificar dónde se produjeron los cuellos de botella.

Compara dos intervalos del sistema

Los administradores y los analistas pueden analizar métricas de entornos más amplios ejecutando una comparación del rendimiento del sistema. Esta herramienta te permite comparar intervalos históricos en reservas y proyectos específicos para comprender los cambios en la utilización y aislar si la degradación del rendimiento se originó de forma interna o externa a tu carga de trabajo.

Puedes navegar a la vista de comparación del rendimiento del sistema de cualquiera de las siguientes maneras:

  • En la página Detalles del trabajo, después de comparar dos trabajos, haz clic en Ver más en la sección Resultados a nivel del sistema para ver los detalles de la comparación del sistema.
  • Si usas Gemini Cloud Assist para realizar una comparación del sistema, Gemini Cloud Assist generará un vínculo que abrirá los resultados de la comparación del sistema.

Para realizar una comparación a nivel del sistema en diferentes períodos, haz lo siguiente:

  1. En la vista Comparación del rendimiento del sistema, haz clic en Sistema.
  2. Para analizar el rendimiento, selecciona el sistema en el que deseas hacerlo. Para ello, haz clic en Explorar y selecciona un alcance de reserva o proyecto.
  3. Define los períodos de comparación:
    • Intervalo objetivo: Selecciona el período de fecha y hora en el que se producen los problemas de rendimiento y haz clic en Aplicar.
    • Intervalo de referencia: Selecciona la fecha y el período de referencia que actuarán como tu comparativa de rendimiento y haz clic en Aplicar.

Análisis a nivel del sistema

Después de comparar los intervalos, la vista compara la utilización de mapas, las variaciones de simultaneidad y las diferencias de configuración en el entorno seleccionado con respecto a su grupo principal. Esto te ayuda a determinar si la contención de ranuras o las regresiones de configuración afectan tu carga de trabajo. Los datos se generan en tres bloques:

  • Proyecto: Compara la simultaneidad de trabajos, la simultaneidad en cola y el uso total de ranuras a nivel del proyecto.
  • Reservation: Compara la utilización de la reserva, el uso compartido de ranuras inactivas y la simultaneidad de proyectos en las reservas compartidas.
  • Análisis de configuración: Compara la configuración de administración de cargas de trabajo entre las dos ejecuciones, como los límites máximos de tamaño de reserva y las reglas de préstamo de ranuras inactivas.

Usa estadísticas para solucionar problemas de rendimiento de los agentes

Para enviar comentarios o solicitar asistencia para esta función, envía un correo electrónico a bq-performance-troubleshooting+feedback@google.com.

Cuando supervisas tareas de administración o evalúas comparaciones de rendimiento, BigQuery integra diagnósticos de observabilidad subyacentes con Gemini Cloud Assist para convertir el panel de chat en un asistente activo de solución de problemas mientras solucionas anomalías a nivel del trabajo y del sistema.

El acceso a las estadísticas está controlado. Sin los permisos suficientes, es posible que las estadísticas que recibas sean limitadas. Para obtener más información sobre los permisos, consulta Controla el acceso a los recursos con IAM.

Soluciona problemas de rendimiento en el chat

Para inicializar la solución de problemas adaptada al contexto y actuar en función de las estadísticas de rendimiento, haz lo siguiente:

  1. Para abrir el panel de chat de Gemini Cloud Assist y cargar automáticamente el contexto relevante del trabajo o del sistema, haz una de las siguientes acciones:
    • En las páginas Explorador de trabajos o Historial de trabajos, coloca el cursor sobre un trabajo y haz clic en astrophotography_mode Gemini en esa fila de la tabla.
    • En la página Administración de cargas de trabajo, coloca el cursor sobre una reserva y haz clic en astrophotography_mode Gemini en esa fila de la tabla.
    • En Studio, Monitoring o Jobs explorer, haz clic en astrophotography_mode Gemini.
  2. Envía una instrucción en lenguaje natural. Por ejemplo, puedes pedirle a Gemini que explique por qué un trabajo se ejecuta con lentitud, que analice estadísticas específicas del trabajo, que analice el rendimiento de una reserva específica, que solucione problemas de rendimiento del sistema o que compare las variaciones de rendimiento entre dos trabajos históricos similares.
  3. Si se supera un umbral a nivel de la organización o de la reserva, como una fila de espera de ranuras grave debido a un aumento inesperado en la simultaneidad de proyectos activos, revisa el informe de Estadísticas de rendimiento generado. En este informe, se detallan los embudos críticos, como los siguientes:
    • Aumento de la simultaneidad en cola: Aumentos repentinos en las demandas de consultas simultáneas que superan los límites de simultaneidad flexibles o las asignaciones de ranuras de reserva.
    • Mayor simultaneidad de proyectos: Se hace un seguimiento de los proyectos exactos de alta simultaneidad o de las principales cuentas de usuario que generan la carga del sistema en las reservas compartidas o las cuotas a pedido.
  4. Observa la tabla Comparación de métricas clave para rastrear diferencias numéricas precisas, como cambios en la simultaneidad promedio de proyectos, las ranuras de la fila o los límites máximos de ranuras de reserva.

  5. Ejecuta soluciones intercaladas directamente a través de vínculos de transferencia prácticos generados por Gemini Cloud Assist. Estos atajos te redireccionan a herramientas específicas integradas en el producto con contexto completado previamente para responder tus preguntas y resolver problemas:

    • Editar reserva: Abre el panel lateral de administración de cargas de trabajo para ajustar los tamaños máximos de reserva o activar capacidades de ajuste avanzadas.
    • Ver el rendimiento del trabajo en el Explorador de trabajos: Abre la pestaña de detalles del rendimiento para el trabajo en particular.
    • Compara el rendimiento de los trabajos en el Explorador de trabajos: Compara el rendimiento de dos trabajos uno al lado del otro.

Precios

El explorador de trabajos está disponible sin costo adicional. Las consultas que se usan para completar estos gráficos no se facturan y no usan ranuras en reservas de usuarios. Se agota el tiempo de espera de las consultas que procesan demasiados datos.

¿Qué sigue?