Usa el explorador de trabajos administrativos

Como administrador de BigQuery, puedes usar el explorador de trabajos administrativos para supervisar la actividad de los trabajos en tu organización. El explorador de trabajos también proporciona un arreglo de filtros y opciones de orden para identificar y solucionar problemas de trabajos problemáticos. El explorador de trabajos elimina la necesidad de comprender INFORMATION_SCHEMA y te permite ver con rapidez la información del trabajo, como el propietario, el proyecto, el uso de las ranuras, la duración y mucho más, sin necesidad de escribir consultas de INFORMATION_SCHEMA.

También puedes seleccionar trabajos individuales para abrir la página de detalles del trabajo, que proporciona detalles de la consulta, como gráficos de ejecución, texto en SQL y el historial de ejecución para ayudarte a diagnosticar y solucionar problemas relacionados con las consultas. En esta página, puedes comparar dos trabajos para destacar las diferencias significativas entre ellos y abordar posibles problemas de rendimiento.

BigQuery proporciona estadísticas y detalles de los trabajos a través de las siguientes vistas INFORMATION_SCHEMA:

Roles obligatorios

Para obtener los permisos que necesitas para usar el explorador de trabajos administrativos, pídele a tu administrador que te otorgue el rol de IAM de Visualizador de recursos de BigQuery (roles/bigquery.resourceViewer) en tu organización o proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para usar el explorador de trabajos administrativos. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para usar el explorador de trabajos administrativos:

  • Para ver los datos a nivel del proyecto: bigquery.jobs.listAll en el proyecto
  • Para ver los datos a nivel de la organización: bigquery.jobs.listAll en la organización
  • Para filtrar por reservas en tu organización, haz lo siguiente: bigquery.reservations.list en la organización

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Filtrar trabajos

Para filtrar trabajos de las consultas que contienen vistas INFORMATION_SCHEMA.JOBS*, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el menú de navegación, haz clic en Explorador de trabajos.

  3. En la lista Ubicación, selecciona la ubicación de los trabajos que debes ver.

  4. Aplica los Filtros opcionales según sea necesario:

    • Permiso del trabajo. Como el proyecto actual, la organización y tus trabajos.
    • Estado. Como completado, error, activo y en fila.
    • Prioridad del trabajo. Como trabajos interactivos o por lotes.
    • ID de trabajo.
    • Propietario. ID de correo electrónico del propietario del trabajo (solo se aplica cuando el alcance del trabajo es la organización o el proyecto).
    • ID del proyecto: (Solo se aplica cuando el permiso del trabajo es la organización)
    • ID de reserva. (Solo se aplica cuando el permiso del trabajo es la organización)
    • Tiempo de ranura superior a. Trabajos que tardaron más que el tiempo especificado en la ranura.
    • Duración superior a. Trabajos que tardaron más que la duración especificada.
    • Bytes procesados más de. Trabajos que procesaron más bytes que los bytes procesados
    • Estadísticas de consultas. Tipos de estadísticas de consultas, como contención de ranuras, capacidad de Shuffle de memoria excedida y cambio en la escala de entrada de datos.
    • Hash de consulta. El hash de consulta contiene los hashes de la consulta. Es un hash STRING de hexadecimal que ignora los comentarios, los valores de los parámetros, las UDF y los literales. Este campo aparece para las consultas de GoogleSQL que no son aciertos de caché.
    • Etiquetas. Pares key:value que se pueden asignar a un trabajo. Puedes filtrar con una clave, un valor o una combinación key:value.
    • Categoría de trabajo. Es el tipo de consulta, como Estándar o Consulta continua.

Visualiza los detalles de la ejecución de la consulta

Para ver los detalles de la ejecución de consultas de los trabajos, sigue estos pasos:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Para ver los trabajos, haz clic en Explorador de trabajos.

  3. Filtra trabajos para ver trabajos limitados.

  4. Haz clic en un trabajo para el que desees ver los detalles de la ejecución de la consulta.

  5. En el panel Resultados de la consulta, haz clic en la pestaña Gráfico de ejecución para ver los detalles de la ejecución de tu trabajo.

    Gráfico de ejecución para trabajos.

Si deseas obtener información para interpretar las estadísticas, consulta Interpreta las estadísticas de rendimiento de las consultas.

Obtén detalles del trabajo de BigQuery

Para solicitar comentarios o asistencia para esta función, envía un correo electrónico a bq-performance-troubleshooting+feedback@google.com.

En el explorador de trabajos administrativos, puedes ver la página de detalles de BigQuery. La página de detalles del trabajo de BigQuery combina varios detalles de la consulta en una sola página para ayudar a diagnosticar y solucionar problemas relacionados con las consultas. La pestaña Rendimiento compila información de las consultas, incluido el gráfico de ejecución, el texto en SQL y el historial de ejecución.

La pestaña Rendimiento también admite la comparación de consultas, lo que te permite comparar tu uso histórico de la consulta y analizar y resolver cualquier posible degradación del rendimiento. Para obtener más información sobre la comparación de trabajos, consulta Cómo comparar trabajos.

Antes de comenzar

Para obtener los permisos que necesitas para trabajar con los detalles de los trabajos de BigQuery y los detalles a nivel del sistema, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu organización o proyecto:

  • Ver detalles del trabajo: Visualizador de recursos de BigQuery (roles/bigquery.resourceViewer): Es el proyecto en el que se ejecutaron las consultas.
  • Ver detalles a nivel del sistema: Visualizador de recursos de BigQuery (roles/bigquery.resourceViewer): El proyecto de administración

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para trabajar con los detalles de los trabajos de BigQuery y los detalles a nivel del sistema. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para trabajar con los detalles de los trabajos de BigQuery y los detalles a nivel del sistema:

  • Para ver los datos a nivel del proyecto: bigquery.jobs.listAll en el proyecto
  • Para ver los datos a nivel de la organización: bigquery.jobs.listAll en la organización
  • Para filtrar por reservas en tu organización, haz lo siguiente: bigquery.reservations.list en la organización

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Ver detalles del trabajo

Para ver la página de detalles del trabajo, haz lo siguiente:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Opcional: Filtra los trabajos para limitar los trabajos disponibles que se muestran.

  3. Haz clic en el ID del trabajo que quieres ver. En el caso de las consultas que no crean un trabajo, aparece el ID de la consulta y el vínculo está inhabilitado. Para todas las demás consultas, al hacer clic en el ID del trabajo, se muestra la página Detalles del trabajo.

La pestaña Rendimiento se muestra de forma predeterminada. Puedes navegar a las otras pestañas para ver información adicional sobre el trabajo.

Información de la búsqueda disponible

En la siguiente lista, se describen la información y las métricas disponibles en la pestaña Rendimiento.

  • Consulta en SQL: Es el texto de la consulta en SQL que creó el trabajo.

  • Detalles del trabajo: Es la información sobre el trabajo, incluido el ID, la hora de creación, los bytes procesados y mucho más. Para obtener más información, consulta Visualiza los detalles del trabajo.

  • Variación del rendimiento: Es información sobre el rendimiento del trabajo en comparación con una ejecución anterior de la misma consulta. BigQuery compara el trabajo actual con una ejecución anterior con bytes procesados similares (con una diferencia de +/- 5%) y la duración más corta del trabajo, si existe. Si no existe tal ejecución anterior, BigQuery compara el trabajo actual con el promedio de las ejecuciones anteriores de los últimos 30 días. Si no hay ejecuciones anteriores, esta sección indica que no se encontró ningún trabajo similar para la comparación.

  • Historial de ejecución: Es una lista de otras ejecuciones de esta consulta por hash de consulta. En este panel, puedes seleccionar un trabajo para compararlo con el que estás viendo. Para obtener más información sobre cómo comparar trabajos, consulta Cómo comparar trabajos.

  • Carga del sistema durante la ejecución: Es una descripción de los recursos que BigQuery usó para ejecutar el trabajo. Esto incluye información sobre la configuración de reserva que usa este trabajo, si corresponde.

  • Grafo de ejecución: Es el grafo de ejecución de este trabajo. Para obtener más información, consulta Obtén estadísticas de rendimiento de las consultas.

Comparar trabajos

Para solicitar comentarios o asistencia para esta función, envía un correo electrónico a bq-performance-troubleshooting+feedback@google.com.

La comparación del rendimiento del trabajo te permite comparar tu trabajo de referencia con los trabajos objetivo, y el análisis de consultas destaca los detalles del trabajo que difieren significativamente entre los dos trabajos. Esto te ayuda a solucionar posibles problemas de rendimiento entre dos trabajos de consulta.

Entre los detalles importantes que debes tener en cuenta para optimizar tus consultas cuando comparas dos consultas, se incluyen la duración del trabajo, el tiempo de ranura y los bytes procesados.

Antes de comenzar

Para obtener los permisos que necesitas para trabajar con los detalles de los trabajos de BigQuery y los detalles a nivel del sistema, pídele a tu administrador que te otorgue los siguientes roles de IAM en tu organización o proyecto:

  • Ver detalles del trabajo: Visualizador de recursos de BigQuery (roles/bigquery.resourceViewer): Es el proyecto en el que se ejecutaron las consultas.
  • Ver detalles a nivel del sistema: Visualizador de recursos de BigQuery (roles/bigquery.resourceViewer): El proyecto de administración

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para trabajar con los detalles de los trabajos de BigQuery y los detalles a nivel del sistema. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para trabajar con los detalles de los trabajos de BigQuery y los detalles a nivel del sistema:

  • Para ver los datos a nivel del proyecto: bigquery.jobs.listAll en el proyecto
  • Para ver los datos a nivel de la organización: bigquery.jobs.listAll en la organización
  • Para filtrar por reservas en tu organización, haz lo siguiente: bigquery.reservations.list en la organización

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Comprende la comparación del rendimiento de los trabajos

En las siguientes secciones, se describen la página Comparación del rendimiento del trabajo y la información para solucionar problemas que proporciona.

Puedes activar el botón de activación Mostrar solo las diferencias significativas para ver solo las diferencias significativas entre los dos trabajos para todas las métricas incluidas en esta página.

Las diferencias significativas se destacan en verde, amarillo y rojo:

  • Verde: El cambio se mueve en una dirección positiva. Por ejemplo, dado que una duración de consulta más corta es mejor, si el trabajo objetivo se ejecuta más rápido que el trabajo de referencia, se marca como verde.
  • Amarillo: El cambio se mueve en una dirección negativa, pero la diferencia es inferior al 20%.
  • Rojo: El cambio se mueve en una dirección negativa y la diferencia es superior al 20%.

Análisis del nivel de consulta

En el panel Análisis del nivel de consulta, se describen las diferencias entre los dos trabajos a nivel de la consulta. Contiene tres pestañas: Métricas, Texto en SQL y Gráfico de ejecución.

  • En la pestaña Métricas, se describen las métricas de las consultas para los dos trabajos. Usa esta pestaña para determinar si existen discrepancias entre la duración del trabajo, los aceleradores sin usar y otras métricas.

  • En la pestaña Texto SQL, se muestran las dos instrucciones SQL que crearon los trabajos y se destacan las diferencias entre ellas. Usa esta pestaña para determinar si los cambios en las instrucciones SQL afectaron el rendimiento del trabajo.

  • En la pestaña Execution graph, se comparan los gráficos de ejecución de los dos trabajos. Usa esta pestaña para determinar si hubo discrepancias en alguna etapa durante la ejecución de los trabajos.

Análisis del nivel de sistema

En el panel Análisis del sistema, se describen los factores que podrían afectar los dos trabajos a nivel del sistema. Consta de tres secciones: la tabla Project, la tabla Reservation y la tabla Settings.

El panel Análisis a nivel del sistema puede sugerir áreas de mejora en función de las diferencias entre las dos búsquedas.

Por ejemplo, si un trabajo recibió menos ranuras que en ejecuciones anteriores, es posible que se vea afectado por las limitaciones de recursos del sistema. Si se indica esto, verifica las métricas a nivel del proyecto para ver si el proyecto en su totalidad recibió menos ranuras. Si el proyecto no recibió menos ranuras, es probable que se haya producido una contención a nivel del proyecto, como un aumento en la simultaneidad de trabajos. Si el proyecto recibió menos ranuras, verifica el nivel de la reserva para identificar las restricciones.

  • La tabla Project compara los dos trabajos a nivel del proyecto. Usa esta tabla para determinar si es posible realizar alguna optimización a nivel del proyecto.

  • En la tabla Reservation, se comparan los dos trabajos a nivel de la reserva. Usa esta tabla para identificar las diferencias en el uso de las reservas entre las dos consultas que podrían afectar el rendimiento del trabajo.

  • En la tabla Configuración, se comparan los parámetros de configuración de la reserva entre los dos trabajos. Usa esta tabla para detectar cualquier cambio en la configuración de las reservas que podría haber causado un impacto en el rendimiento.

Compara dos trabajos

Para comparar dos trabajos, sigue estos pasos:

  1. Ve a la página Explorador de trabajos.

    Ir al Explorador de trabajos

  2. Opcional: Filtra los trabajos para limitar los trabajos disponibles que se muestran.

  3. Haz clic en el ID del trabajo inicial que deseas ver y comparar. Aparecerá la página Detalles del trabajo.

  4. Haz clic en la pestaña Rendimiento.

  5. Haz clic en Compare Job.

  6. En el campo Trabajo uno (trabajo de referencia), haz clic en Explorar. Aparecerá el panel Trabajos comparables similares.

  7. Identifica el trabajo con el que deseas comparar tu trabajo de referencia y haz clic en Comparar. Aparecerá la comparación del rendimiento de los trabajos.

  8. Para ver solo las diferencias significativas entre los dos trabajos, activa el botón de activación Mostrar solo las diferencias significativas.

Cómo cambiar los trabajos que se comparan

Para cambiar los trabajos que se comparan, sigue estos pasos:

  1. Ve a la página Comparación del rendimiento de los trabajos.

  2. En el campo Trabajo uno (trabajo de referencia), haz clic en Explorar.

  3. En el panel Trabajos comparables similares, identifica el trabajo que deseas comparar y haz clic en Comparar.

Precios

El explorador de trabajos está disponible sin costo adicional. Las consultas que se usan para propagar estos gráficos no se facturan y no usan ranuras en reservas de usuarios. Se agota el tiempo de espera de las consultas que procesan demasiados datos.

¿Qué sigue?