Surveiller et dépanner les sessions interactives

Ce document explique comment surveiller et résoudre les problèmes liés aux sessions interactives Managed Service pour Apache Spark à l'aide de l'UI Spark.

UI Spark

L'UI Spark collecte les détails d'exécution d'Apache Spark à partir des sessions interactives Managed Service pour Apache Spark. La fonctionnalité UI Spark est sans frais et activée par défaut. Les données collectées par la fonctionnalité UI Spark sont conservées pendant 90 jours.

Autorisations et rôles Identity and Access Management requis

Les autorisations suivantes sont requises pour utiliser la fonctionnalité UI Spark avec des sessions interactives :

  • Autorisation de collecte de données : dataproc.sessions.sparkApplicationWrite. Cette autorisation doit être accordée au compte de service qui exécute les sessions interactives. Elle est incluse dans le Managed Service for Apache Spark Worker rôle, qui est automatiquement accordé au compte de service Compute Engine par défaut utilisé par Managed Service pour Apache Spark par défaut. Toutefois, si vous spécifiez un compte de service personnalisé pour votre session ou votre modèle d'environnement d'exécution de session, vous devez ajouter cette autorisation dataproc.sessions.sparkApplicationWrite à ce compte de service (généralement en accordant au compte de service le rôle Worker Managed Service pour Apache Spark).

  • Autorisation d'accès à l'UI Spark : dataproc.sessions.sparkApplicationRead. Cette autorisation doit être accordée à un utilisateur pour qu'il puisse accéder à l'UI Spark dans la Google Cloud console. Elle est incluse dans les Dataproc Viewer, Dataproc Editor et Dataproc Administrator rôles. Pour ouvrir l'UI Spark dans la Google Cloud console, vous devez disposer de l'un de ces rôles ou d'un rôle personnalisé qui inclut cette autorisation.

Ouvrir l'UI Spark

La page de l'UI Spark est disponible dans la Google Cloud console.

  1. Accédez à Sessions interactives Managed Service pour Apache Spark.

  2. Cliquez sur un ID de session interactive pour ouvrir la page Détails de la session interactive.
  3. Cliquez sur Afficher l'UI Spark dans le menu supérieur.

Le lien Afficher l'UI Spark est-il désactivé ? Si une autorisation requise n'est pas accordée, si vous décochez la case Activer l'UI Spark sur la page d'informations de la session interactive ou si vous définissez la propriété spark.dataproc.appContext.enabled sur false (valeur par défaut : true) lorsque vous créez une session ou créez un modèle d'environnement d'exécution de session, le bouton Afficher l'UI Spark est désactivé.