Supervisa y soluciona problemas de cargas de trabajo por lotes

En este documento, se describen las herramientas y los archivos que puedes usar para supervisar y solucionar problemas de las cargas de trabajo por lotes de Managed Service para Apache Spark.

Soluciona problemas de cargas de trabajo desde la consola de Google Cloud

Cuando un trabajo por lotes falla o tiene un rendimiento deficiente, un primer paso recomendado es abrir su página Detalles del trabajo (Detalles del lote) haciendo clic en el ID del trabajo por lotes en la pestaña Spark sin servidores de la página Trabajos en la consola de Google Cloud .

Usa la pestaña Resumen: tu centro de solución de problemas

En la pestaña Resumen, que se selecciona de forma predeterminada cuando se abre la página Detalles del trabajo por lotes, se muestran métricas críticas y registros filtrados para ayudarte a realizar una evaluación inicial rápida del estado del lote. Después de esta evaluación inicial, puedes realizar un análisis más profundo con herramientas más especializadas disponibles en la página Detalles del trabajo por lotes, como la IU de Spark, el Explorador de registros y Gemini Cloud Assist.

Aspectos destacados de las métricas de lotes

Las pestañas Resumen y Supervisión de la página Detalles del trabajo por lotes incluyen gráficos que muestran valores importantes de las métricas de la carga de trabajo por lotes. Los gráficos de métricas se completan después de que finaliza y ofrecen una indicación visual de posibles problemas, como la contención de recursos, el sesgo de datos o la presión de la memoria.

Panel de métricas de Batch.

Tabla de métricas

En la siguiente tabla, se enumeran las métricas de la carga de trabajo de Spark que se muestran en la página Detalles del trabajo por lotes en la consola de Google Cloud y se describe cómo los valores de las métricas pueden proporcionar información sobre el estado y el rendimiento de la carga de trabajo.

Métrica ¿Qué muestra?
Métricas a nivel del ejecutor
Proporción entre el tiempo de GC de la JVM y el tiempo de ejecución Esta métrica muestra la proporción entre el tiempo de GC (recolección de elementos no utilizados) de la JVM y el tiempo de ejecución por ejecutor. Las proporciones altas pueden indicar fugas de memoria dentro de las tareas que se ejecutan en ejecutores específicos o estructuras de datos ineficientes, lo que puede generar una alta deserción de objetos.
Bytes de disco volcados Esta métrica muestra la cantidad total de bytes de disco volcados en diferentes ejecutores. Si un ejecutor muestra una gran cantidad de bytes de disco volcados, esto puede indicar un sesgo de datos. Si la métrica aumenta con el tiempo, esto puede indicar que hay etapas con presión de memoria o fugas de memoria.
Bytes leídos y escritos Esta métrica muestra los bytes escritos en comparación con los bytes leídos por ejecutor. Las grandes discrepancias en los bytes leídos o escritos pueden indicar situaciones en las que las uniones replicadas generan una amplificación de datos en ejecutores específicos.
Registros leídos y escritos Esta métrica muestra los registros leídos y escritos por ejecutor. Una gran cantidad de registros leídos con una pequeña cantidad de registros escritos puede indicar un cuello de botella en la lógica de procesamiento en ejecutores específicos, lo que hace que los registros se lean mientras esperan. Los ejecutores que se retrasan de forma constante en las lecturas y escrituras pueden indicar una contención de recursos en esos nodos o ineficiencias de código específicas del ejecutor.
Proporción entre el tiempo de escritura de Shuffle y el tiempo de ejecución La métrica muestra la cantidad de tiempo que el ejecutor pasó en el entorno de ejecución de shuffle en comparación con el entorno de ejecución general. Si este valor es alto para algunos ejecutores, puede indicar un sesgo de datos o una serialización de datos ineficiente. Puedes identificar las etapas con tiempos de escritura de shuffle largos en la IU de Spark. Busca tareas atípicas dentro de esas etapas que tarden más del tiempo promedio en completarse. Verifica si los ejecutores con tiempos de escritura de shuffle altos también muestran una actividad de E/S de disco alta. Una serialización más eficiente y pasos de partición adicionales podrían ayudar. Las escrituras de registros muy grandes en comparación con las lecturas de registros pueden indicar una duplicación de datos no deseada debido a uniones ineficientes o transformaciones incorrectas.
Métricas a nivel de la aplicación
Avance entre etapas Esta métrica muestra la cantidad de etapas con errores, en espera y en ejecución. Una gran cantidad de etapas con errores o en espera puede indicar un sesgo de datos. Verifica las particiones de datos y depura el motivo de la falla de la etapa con la pestaña Etapas en la IU de Spark.
Ejecutores de Spark por lotes Esta métrica muestra la cantidad de ejecutores que podrían ser necesarios en comparación con la cantidad de ejecutores en ejecución. Una gran diferencia entre los ejecutores requeridos y los que están en ejecución puede indicar problemas de ajuste de escala automático.
Métricas a nivel de la VM
Memoria usada Esta métrica muestra el porcentaje de memoria de la VM que se está usando. Si el porcentaje de la instancia principal es alto, puede indicar que el controlador tiene una limitación de memoria. En el caso de otros nodos de VM, un porcentaje alto puede indicar que los ejecutores tienen memoria insuficiente, lo que puede provocar un alto derrame de disco y un tiempo de ejecución de la carga de trabajo más lento. Usa la IU de Spark para analizar los ejecutores y verificar si hay un tiempo de GC alto y una gran cantidad de fallas en las tareas. También depura el código de Spark para el almacenamiento en caché de conjuntos de datos grandes y la transmisión innecesaria de variables.

Registros del trabajo

La página Detalles del trabajo por lotes incluye una pestaña Registros del trabajo (y aspectos destacados de los registros) en la que se enumeran las advertencias y los errores filtrados de los registros del trabajo (carga de trabajo por lotes). Esta función permite identificar rápidamente los problemas críticos sin necesidad de analizar de forma manual archivos de registro extensos. Puedes seleccionar una Gravedad del registro (por ejemplo, Error) en el menú desplegable y agregar un Filtro de texto para limitar los resultados. Para realizar un análisis más detallado, haz clic en el ícono Ver en el Explorador de registros para abrir los registros del lote seleccionado en el Explorador de registros.

Visualiza los registros de Batch en Cloud Logging
Ver registros de Batch en Cloud Logging

Ejemplo: El Explorador de registros se abre después de elegir Errors en el selector de gravedad en la página Detalles del trabajo por lotes en la consola de Google Cloud .

Explorador de registros de Batch

IU de Spark

La IU de Spark recopila detalles de ejecución de Apache Spark de las cargas de trabajo por lotes de Managed Service para Apache Spark. No se aplican cargos por la función de IU de Spark, que está habilitada de forma predeterminada.

Los datos recopilados por la función de IU de Spark se conservan durante 90 días. Puedes usar esta interfaz web para supervisar y depurar cargas de trabajo de Spark sin tener que crear un servidor de historial persistente.

Roles y permisos de Identity and Access Management necesarios

Se requieren los siguientes permisos para usar la función de IU de Spark con cargas de trabajo por lotes.

  • Permiso de recopilación de datos: dataproc.batches.sparkApplicationWrite. Este permiso se debe otorgar a la cuenta de servicio que ejecuta las cargas de trabajo por lotes. Este permiso se incluye en el rol Managed Service for Apache Spark Worker, que se otorga automáticamente a la cuenta de servicio predeterminada de Compute Engine que Managed Service para Apache Spark usa de forma predeterminada (consulta Cuenta de servicio de Managed Service para Apache Spark). Sin embargo, si especificas una cuenta de servicio personalizada para tu carga de trabajo por lotes, debes agregar el permiso dataproc.batches.sparkApplicationWrite a esa cuenta de servicio (por lo general, otorgándole a la cuenta de servicio el rol Worker de Managed Service para Apache Spark).

  • Permiso de acceso a la IU de Spark: dataproc.batches.sparkApplicationRead. Este permiso se debe otorgar a un usuario para que acceda a la IU de Spark en la consola deGoogle Cloud . Este permiso se incluye en los roles Dataproc Viewer, Dataproc Editor y Dataproc Administrator. Para abrir la IU de Spark en la consola de Google Cloud , debes tener uno de estos roles o un rol personalizado que incluya este permiso.

Abre la IU de Spark

La página de la IU de Spark está disponible en las cargas de trabajo por lotes de la consola de Google Cloud .

  1. En la consola de Google Cloud , ve a la página Trabajos de Managed Service para Apache Spark.

    Ir a los trabajos de Managed Service para Apache Spark

  2. Selecciona la pestaña Serverless Spark y haz clic en un ID de trabajo por lotes para abrir su página Detalles del trabajo.

  3. Haz clic en Ver en la IU de Spark (junto al ID de aplicación de Spark) o en Ver IU de Spark.

El vínculo Ver en la IU de Spark se inhabilita en los siguientes casos:

Registros de Managed Service para Apache Spark

El registro está habilitado de forma predeterminada en Managed Service para Apache Spark, y los registros de cargas de trabajo persisten después de que finaliza una carga de trabajo. Managed Service para Apache Spark recopila registros de cargas de trabajo en Cloud Logging. Puedes acceder a los registros de Managed Service para Apache Spark en el recurso Cloud Dataproc Batch en el Explorador de registros.

Recopilación de diagnósticos en el entorno de ejecución 3.0 y versiones posteriores

Para las cargas de trabajo por lotes que se ejecutan en las versiones 3.0 y posteriores del entorno de ejecución, no se admite la recopilación automatizada de archivos tar de diagnóstico con la propiedad dataproc.diagnostics.enabled. Además, los registros de controladores se transmiten directamente a Cloud Logging y no a los buckets de etapa de pruebas de Cloud Storage.

Para recopilar información de diagnóstico y solucionar problemas de las cargas de trabajo del entorno de ejecución 3.0 y versiones posteriores, usa las siguientes herramientas:

  • Registros de controladores y ejecutores en Cloud Logging: Consulta el recurso Cloud Dataproc Batch (cloud_dataproc_batch) en el Explorador de registros para las entradas de registro dataproc.googleapis.com/output y dataproc.googleapis.com/spark. Para obtener más información, consulta Tipos de registros y consultas de ejemplo de Managed Service para Apache Spark.
  • IU de Spark de Managed Service para Apache Spark: Abre la IU de Spark directamente desde la página Detalles del trabajo por lotes en la consola de Google Cloud para inspeccionar los detalles de la ejecución de la etapa, las métricas de las tareas, el consumo de recursos del ejecutor y los eventos de la línea de tiempo sin necesidad de un servidor de historial persistente (PHS).
  • Investigaciones de Gemini Cloud Assist: Usa Gemini Cloud Assist desde la página Detalles del trabajo por lotes para obtener análisis automatizados de la causa raíz y recomendaciones para solucionar problemas.

Consulta los registros de Managed Service para Apache Spark

El Explorador de registros en la consola de Google Cloud proporciona un panel de consultas para ayudarte a compilar una consulta que examine los registros de cargas de trabajo por lotes. Puedes seguir estos pasos para compilar una consulta que examine los registros de cargas de trabajo por lotes:

  1. Ve al Explorador de registros

  2. Se seleccionará tu proyecto actual. Puedes hacer clic en Define mejor el proyecto de alcance para seleccionar un proyecto diferente.
  3. Define una consulta de registros por lotes.

    • Usa los menús de filtro para filtrar una carga de trabajo por lotes.

      1. En Todos los recursos, selecciona el recurso Lote de Cloud Dataproc.

        1. En el panel Seleccionar recurso, selecciona la UBICACIÓN del lote y, luego, el ID DEL LOTE. Estos parámetros de lote se enumeran en la pestaña Serverless Spark de la página Trabajos de Managed Service para Apache Spark en la consola de Google Cloud .

        2. Haz clic en Aplicar.

        3. En Seleccionar nombres de registro, ingresa dataproc.googleapis.com en el cuadro Buscar nombres de registro para limitar los tipos de registro que se consultarán. Selecciona uno o más de los nombres de archivos de registro que aparecen en la lista.

    • Usa el editor de consultas para filtrar los registros específicos de la VM.

      1. Especifica el tipo de recurso y el nombre del recurso de VM como se muestra en el siguiente ejemplo:

        resource.type="cloud_dataproc_batch"
        labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCH_UUID-VM_SUFFIX"
        
        Notas:

        • VM_NAME_PREFIX: Usa gdpic-rm para las cargas de trabajo por lotes que se ejecutan en las versiones del entorno de ejecución 3.0 y posteriores de Managed Service para Apache Spark; usa gdpic-srvls-batch para las cargas de trabajo por lotes que se ejecutan en versiones anteriores del entorno de ejecución.
        • BATCH_UUID: El UUID del trabajo por lotes aparece en la página Detalles del trabajo (Detalles del lote) por lotes en la consola de Google Cloud , que se abre cuando haces clic en el ID del trabajo por lotes en la pestaña Spark sin servidores de la página Trabajos.

        Los registros de lotes también incluyen el UUID del lote en el nombre del recurso de la VM. Este es un ejemplo de un archivo driver.log por lotes:

  4. Haz clic en Ejecutar consulta.

Tipos de registros y consultas de ejemplo de Managed Service para Apache Spark

En la siguiente lista, se describen los diferentes tipos de registros de Managed Service para Apache Spark y se proporcionan consultas de ejemplo del Explorador de registros para cada tipo de registro.

  1. dataproc.googleapis.com/output: Este archivo de registro contiene el resultado de la carga de trabajo por lotes. Managed Service para Apache Spark transmite el resultado por lotes al espacio de nombres output y establece el nombre de archivo en JOB_ID.driver.log.

    Consulta de ejemplo del Explorador de registros para los registros de salida:

    resource.type="cloud_dataproc_batch"
    resource.labels.location="REGION"
    resource.labels.batch_id="BATCH_ID"
    logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Foutput"
    

  2. dataproc.googleapis.com/spark: El espacio de nombres spark agrega registros de Spark para daemons y ejecutores que se ejecutan en las VMs de instancia principal y de trabajador del clúster de Managed Service para Apache Spark. Cada entrada de registro incluye una etiqueta de componente master, worker o executor para identificar la fuente de registro, como se indica a continuación:

    • executor: Registros de los ejecutores de código de usuario. Por lo general, estos son registros distribuidos.
    • master: Son registros del administrador de recursos principal independiente de Spark, que son similares a los registros de YARN de Managed Service para Apache Spark ResourceManager.
    • worker: Son los registros del trabajador del administrador de recursos independiente de Spark, que son similares a los registros de YARN de Managed Service para Apache Spark NodeManager.

    Consulta de muestra del Explorador de registros para todos los registros en el espacio de nombres spark:

    resource.type="cloud_dataproc_batch"
    resource.labels.location="REGION"
    resource.labels.batch_id="BATCH_ID"
    logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fspark"
    

    Consulta de muestra del Explorador de registros para los registros de componentes independientes de Spark en el espacio de nombres spark:

    resource.type="cloud_dataproc_batch"
    resource.labels.location="REGION"
    resource.labels.batch_id="BATCH_ID"
    logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fspark"
    jsonPayload.component="COMPONENT"
    

  3. dataproc.googleapis.com/startup: El espacio de nombres startup incluye los registros de inicio por lotes (clúster). Se incluyen todos los registros de la secuencia de comandos de inicialización. Los componentes se identifican por etiqueta, por ejemplo:

    startup-script[855]: ... activate-component-spark[3050]: ... enable spark-worker
    
    Consulta de ejemplo del Explorador de registros para los registros de inicio de una VM especificada:
    resource.type="cloud_dataproc_batch"
    resource.labels.location="REGION"
    resource.labels.batch_id="BATCH_ID"
    logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fstartup"
    labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCH_UUID-VM_SUFFIX"
    
  4. dataproc.googleapis.com/agent: El espacio de nombres agent agrega los registros del agente de Managed Service para Apache Spark. Cada entrada de registro incluye una etiqueta de nombre de archivo que identifica la fuente del registro.

    Consulta de ejemplo del Explorador de registros para los registros del agente generados por una VM de trabajador especificada:

    resource.type="cloud_dataproc_batch"
    resource.labels.location="REGION"
    resource.labels.batch_id="BATCH_ID"
    logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fagent"
    labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCHUUID-wWORKER#"
    

  5. El espacio de nombres dataproc.googleapis.com/autoscaler: autoscaler agrega los registros del escalador automático de Managed Service para Apache Spark.

    Consulta de ejemplo del Explorador de registros para los registros del escalador automático generados por una VM de trabajador especificada:

    resource.type="cloud_dataproc_batch"
    resource.labels.location="REGION"
    resource.labels.batch_id="BATCH_ID"
    logName="projects/PROJECT_ID/logs/dataproc.googleapis.com%2Fautoscaler"
    labels."dataproc.googleapis.com/resource_name"="VM_NAME_PREFIX-BATCHUUID-wWORKER#"
    

Para obtener más información, consulta Registros de Managed Service para Apache Spark.

Para obtener información sobre los registros de auditoría de Managed Service para Apache Spark, consulta Registros de auditoría de Managed Service para Apache Spark.

Métricas de cargas de trabajo

Managed Service para Apache Spark proporciona métricas de lotes y de Spark que puedes ver desde el Explorador de métricas o la página Detalles del trabajo por lotes en la consola de Google Cloud .

Métricas de Batch

Las métricas de recursos de batch de Managed Service para Apache Spark proporcionan información sobre los recursos por lotes, como la cantidad de ejecutores por lotes. Las métricas de lotes tienen el prefijo dataproc.googleapis.com/batch.

Ejemplo de métrica de Batch en el Explorador de métricas.

Métricas de Spark

De forma predeterminada, Managed Service para Apache Spark habilita la recopilación de métricas de Spark disponibles, a menos que uses propiedades de recopilación de métricas de Spark para inhabilitar o anular la recopilación de una o más métricas de Spark.

Las métricas de Spark disponibles incluyen métricas de controladores y ejecutores de Spark, y métricas del sistema. Las métricas de Spark disponibles tienen el prefijo custom.googleapis.com/.

Ejemplo de métrica de Spark en el Explorador de métricas.

Configura alertas de métricas

Puedes crear alertas de métricas de Managed Service para Apache Spark para recibir avisos sobre problemas con las cargas de trabajo.

Crea gráficos

Puedes crear gráficos que visualicen las métricas de las cargas de trabajo con el Explorador de métricas en la consola deGoogle Cloud . Por ejemplo, puedes crear un gráfico para mostrar disk:bytes_used y, luego, filtrar por batch_id.

Cloud Monitoring

Monitoring usa metadatos y métricas de las cargas de trabajo para proporcionar información sobre el estado y el rendimiento de las cargas de trabajo de Managed Service para Apache Spark. Las métricas de cargas de trabajo incluyen las métricas de Spark, las métricas de lotes y las métricas de operaciones.

Puedes usar Cloud Monitoring en la consola de Google Cloud para explorar métricas, agregar gráficos, crear paneles y crear alertas.

Crea paneles

Puedes crear un panel para supervisar las cargas de trabajo con métricas de varios proyectos y diferentes productos de Google Cloud . Para obtener más información, consulta Crea y administra paneles personalizados.

Servidor de historial persistente

Managed Service para Apache Spark crea los recursos de procesamiento que se necesitan para ejecutar una carga de trabajo, ejecuta la carga de trabajo en esos recursos y, luego, los borra cuando finaliza la carga de trabajo. Las métricas y los eventos de la carga de trabajo no se conservan después de que se completa una carga de trabajo. Sin embargo, puedes usar un servidor de historial persistente (PHS) para conservar el historial de aplicaciones de cargas de trabajo (registros de eventos) en Cloud Storage.

Para usar un PHS con una carga de trabajo por lotes, haz lo siguiente:

  1. Crea un servidor de historial persistente (PHS) de Managed Service para Apache Spark.

  2. Especifica tu PHS cuando envíes una carga de trabajo.

  3. Usa la puerta de enlace de componentes para conectarte al PHS y ver los detalles de la aplicación, las etapas del programador, los detalles a nivel de la tarea y la información del entorno y del ejecutor.

Ajuste automático

  • Habilita el ajuste automático para Managed Service para Apache Spark: Puedes habilitar el ajuste automático para Managed Service para Apache Spark cuando envías cada carga de trabajo por lotes de Spark recurrente con la consola de Google Cloud , gcloud CLI o la API de Managed Service para Apache Spark.

Console

Sigue estos pasos para habilitar el ajuste automático en cada carga de trabajo por lotes de Spark recurrente:

  1. En la consola de Google Cloud , ve a la página Trabajos de Managed Service para Apache Spark.

    Ir a los trabajos de Managed Service para Apache Spark

  2. Para crear una carga de trabajo por lotes, haz clic en Enviar trabajo y abrir la página Enviar un trabajo.

  3. En Selecciona el tipo de procesamiento para el trabajo, confirma que esté seleccionado Spark sin servidores.

  4. En la sección Detalles del trabajo sin servidores, haz lo siguiente:

    1. Especifica un ID de trabajo o acepta el ID predeterminado.
    2. Selecciona un Perfil de entorno de ejecución (o mantén la Configuración del servicio predeterminada para tu región) y, luego, haz clic en Configurar en la tarjeta Resumen (o haz clic en Crear perfil nuevo en el menú Perfil de entorno de ejecución) para abrir el panel de configuración del perfil de entorno de ejecución.
    3. En el panel de configuración del perfil de entorno de ejecución, expande Configuración adicional y, luego, haz clic en Editar junto a Otras personalizaciones.
    4. En el panel Otras personalizaciones, en Ajuste automático, haz clic en el botón de activación Habilitar y completa el ID de cohorte, que identifica el lote como una de una serie de cargas de trabajo recurrentes. El análisis asistido por Gemini se aplica a la segunda carga de trabajo y a las posteriores que se envían con este ID de cohorte. Por ejemplo, especifica tpch-query1 como el ID de cohorte para una carga de trabajo programada que ejecuta una consulta de TPC-H diaria.
    5. Haz clic en Guardar en el panel Otras personalizaciones y, luego, en Usar configuración (o Guardar perfil nuevo) en el panel de configuración del perfil de entorno de ejecución.
  5. Completa las secciones Archivos y artefactos y Ejecución y propiedades del trabajo en la página Enviar un trabajo según sea necesario y, luego, haz clic en Enviar. Para obtener más información, consulta Envía una carga de trabajo por lotes.

gcloud

Ejecuta el siguiente comando de gcloud CLI gcloud dataproc batches submit de forma local en una ventana de terminal o en Cloud Shell para habilitar el ajuste automático en cada carga de trabajo por lotes de Spark recurrente:

gcloud dataproc batches submit COMMAND \
    --region=REGION \
    --cohort=COHORT \
    other arguments ...

Reemplaza lo siguiente:

  • COMMAND: Es el tipo de carga de trabajo de Spark, como Spark, PySpark, Spark-Sql o Spark-R.
  • REGION: Es la región en la que se ejecutará tu carga de trabajo.
  • COHORT: Es el nombre de la cohorte, que identifica el lote como una de una serie de cargas de trabajo recurrentes. El análisis asistido por Gemini se aplica a la segunda carga de trabajo y a las siguientes que se envían con este nombre de cohorte. Por ejemplo, especifica TPCH Query 1 como el nombre de la cohorte para una carga de trabajo programada que ejecuta una consulta de TPC-H diaria.

API

Incluye el nombre de RuntimeConfig.cohort en una solicitud batches.create para habilitar el ajuste automático en cada carga de trabajo por lotes de Spark recurrente. El ajuste automático se aplica a la segunda carga de trabajo y a las posteriores que se envíen con este nombre de cohorte. Por ejemplo, especifica TPCH-Query1 como el nombre de la cohorte para una carga de trabajo programada que ejecuta una consulta de TPC-H diaria.

Ejemplo:

...
runtimeConfig:
  cohort: TPCH-Query1
...