Surveiller et dépanner les sessions interactives

Ce document explique comment surveiller et résoudre les problèmes liés aux sessions interactives Serverless pour Apache Spark à l'aide de l'UI Spark.

UI Spark

L'UI Spark collecte les détails d'exécution d'Apache Spark à partir des sessions interactives Serverless pour Apache Spark. La fonctionnalité UI Spark est sans frais, qui est activée par défaut. Les données collectées par la fonctionnalité UI Spark sont conservées pendant 90 jours.

Autorisations et rôles Identity and Access Management requis

Les autorisations suivantes sont requises pour utiliser la fonctionnalité UI Spark avec des sessions interactives :

  • Autorisation de collecte de données : dataproc.sessions.sparkApplicationWrite. Cette autorisation doit être accordée au compte de service qui exécute les sessions interactives. Elle est incluse dans le Dataproc Worker rôle, qui est automatiquement accordé au compte de service Compute Engine par défaut qu'utilise Serverless pour Apache Spark par défaut. Toutefois, si vous spécifiez un compte de service personnalisé pour votre session ou votre modèle d'environnement d'exécution de session, vous devez ajouter cette autorisation dataproc.sessions.sparkApplicationWrite à ce compte de service (généralement en lui accordant le rôle Worker Dataproc).

  • Autorisation d'accès à l'UI Spark : dataproc.sessions.sparkApplicationRead. Cette autorisation doit être accordée à un utilisateur pour qu'il puisse accéder à l'UI Spark dans la Google Cloud console. Elle est incluse dans les Dataproc Viewer, Dataproc Editor et Dataproc Administrator rôles. Pour ouvrir l'UI Spark dans la Google Cloud console, vous devez disposer de l'un de ces rôles ou d'un rôle personnalisé qui inclut cette autorisation.

Ouvrir l'UI Spark

La page de l'UI Spark est disponible dans la Google Cloud console.

  1. Accédez à Sessions interactives Dataproc

  2. Cliquez sur un ID de session interactive pour ouvrir la page Détails de la session interactive.
  3. Cliquez sur Afficher l'UI Spark dans le menu du haut.

Le lien Afficher l'UI Spark est-il désactivé ? Si une autorisation requise n'est pas accordée, si vous décochez la case Activer l'UI Spark sur la page des détails de la session interactive ou si vous définissez la propriété spark.dataproc.appContext.enabled sur false (valeur par défaut : true) lorsque vous créez une session ou créez un modèle d'environnement d'exécution de session, le bouton Afficher l'UI Spark est désactivé.