Supervisa y soluciona problemas relacionados con las sesiones interactivas

En este documento, se describe cómo supervisar y solucionar problemas de las sesiones interactivas de Serverless para Apache Spark con la IU de Spark.

IU de Spark

La IU de Spark recopila detalles de ejecución de Apache Spark de las sesiones interactivas de Serverless para Apache Spark. No se aplican cargos por la función de IU de Spark, que está habilitada de forma predeterminada. Los datos recopilados por la función de IU de Spark se conservan durante 90 días.

Permisos y roles necesarios de Identity and Access Management

Se requieren los siguientes permisos para usar la función de IU de Spark con sesiones interactivas:

  • Permiso de recopilación de datos: dataproc.sessions.sparkApplicationWrite. Este permiso se debe otorgar a la cuenta de servicio que ejecuta sesiones interactivas. Se incluye en el Dataproc Worker rol, que se otorga automáticamente a la cuenta de servicio predeterminada de Compute Engine que Serverless para Apache Spark usa de forma predeterminada. Sin embargo, si especificas una cuenta de servicio personalizada para tu sesión o plantilla de entorno de ejecución de sesión, debes agregar este permiso dataproc.sessions.sparkApplicationWrite a esa cuenta de servicio (por lo general, otorgando a la cuenta de servicio el rol Worker de Dataproc).

  • Permiso de acceso a la IU de Spark: dataproc.sessions.sparkApplicationRead. Este permiso se debe otorgar a un usuario para acceder a la IU de Spark en la Google Cloud consola. Se incluye en los Dataproc Viewer, Dataproc Editor y Dataproc Administrator roles. Para abrir la IU de Spark en la Google Cloud consola, debes tener uno de estos roles o un rol personalizado que incluya este permiso.

Abre la IU de Spark

La página de la IU de Spark está disponible en la Google Cloud consola.

  1. Ve a Sesiones interactivas de Dataproc.

  2. Haz clic en un ID de sesión interactiva para abrir la página Detalles de la sesión interactiva.
  3. Haz clic en Ver IU de Spark en el menú superior.

¿Está inhabilitado el vínculo Ver IU de Spark ? Si no se otorga un permiso obligatorio, o si borras la casilla de verificación Habilitar IU de Spark en la página de detalles de la sesión interactiva o estableces la propiedad spark.dataproc.appContext.enabled en false (valor predeterminado: true) cuando creas una sesión o creas una plantilla de entorno de ejecución de sesión, se inhabilitará el botón Ver IU de Spark.