Surveiller et dépanner les sessions interactives

Ce document explique comment surveiller et résoudre les problèmes liés aux sessions interactives de Managed Service pour Apache Spark à l'aide de l'interface utilisateur Spark.

UI Spark

L'UI Spark collecte les détails d'exécution d'Apache Spark à partir des sessions interactives de Managed Service pour Apache Spark. La fonctionnalité d'UI Spark est activée par défaut et n'est pas facturée. Les données collectées par la fonctionnalité d'interface utilisateur Spark sont conservées pendant 90 jours.

Autorisations et rôles Identity and Access Management requis

Vous devez disposer des autorisations suivantes pour utiliser la fonctionnalité d'UI Spark avec des sessions interactives :

  • Autorisation de collecte de données : dataproc.sessions.sparkApplicationWrite. Cette autorisation doit être accordée au compte de service qui exécute les sessions interactives. Il est inclus dans le rôle Managed Service for Apache Spark Worker, qui est automatiquement attribué au compte de service Compute Engine par défaut utilisé par Managed Service pour Apache Spark. Toutefois, si vous spécifiez un compte de service personnalisé pour votre session ou votre profil d'exécution (modèle de session), vous devez ajouter cette autorisation dataproc.sessions.sparkApplicationWrite à ce compte de service (généralement en lui attribuant le rôle Worker de Managed Service pour Apache Spark).

  • Autorisation d'accès à l'UI Spark : dataproc.sessions.sparkApplicationRead. Cette autorisation doit être accordée à un utilisateur pour qu'il puisse accéder à l'interface utilisateur Spark dans la consoleGoogle Cloud . Elle est incluse dans les rôles Dataproc Viewer, Dataproc Editor et Dataproc Administrator. Pour ouvrir l'interface utilisateur Spark dans la console Google Cloud , vous devez disposer de l'un de ces rôles ou d'un rôle personnalisé incluant cette autorisation.

Ouvrir l'UI Spark

La page de l'UI Spark est disponible dans la console Google Cloud .

  1. Accéder aux sessions interactives Managed Service pour Apache Spark

  2. Cliquez sur un ID de session interactive pour ouvrir la page Détails de la session interactive.
  3. Cliquez sur Afficher l'UI Spark dans le menu supérieur.

Le lien Afficher l'UI Spark est-il désactivé ? Si une autorisation requise n'est pas accordée, si vous décochez la case Activer l'UI Spark sur la page d'informations de la session interactive ou si vous définissez la propriété spark.dataproc.appContext.enabled sur false (par défaut : true) lorsque vous créez une session ou créez un profil d'exécution (modèle de session), le bouton Afficher l'UI Spark est désactivé.