Surveiller et dépanner les sessions interactives

Ce document explique comment surveiller et résoudre les problèmes liés aux sessions interactives Managed Service pour Apache Spark à l'aide de l'interface utilisateur Spark.

UI Spark

L'UI Spark collecte les détails d'exécution Apache Spark des sessions interactives Managed Service pour Apache Spark. La fonctionnalité UI Spark, activée par défaut, est sans frais. Les données collectées par la fonctionnalité d'interface utilisateur Spark sont conservées pendant 90 jours.

Autorisations et rôles Identity and Access Management requis

Vous devez disposer des autorisations suivantes pour utiliser la fonctionnalité d'UI Spark avec les sessions interactives :

  • Autorisation de collecte de données : dataproc.sessions.sparkApplicationWrite. Cette autorisation doit être accordée au compte de service qui exécute les sessions interactives. Il est inclus dans le rôle Managed Service for Apache Spark Worker, qui est automatiquement attribué au compte de service Compute Engine par défaut utilisé par Managed Service pour Apache Spark par défaut. Toutefois, si vous spécifiez un compte de service personnalisé pour votre session ou votre modèle de temps d'exécution de session, vous devez ajouter cette autorisation dataproc.sessions.sparkApplicationWrite à ce compte de service (généralement en attribuant au compte de service le rôle Worker Managed Service pour Apache Spark).

  • Autorisation d'accès à l'UI Spark : dataproc.sessions.sparkApplicationRead. Cette autorisation doit être accordée à un utilisateur pour qu'il puisse accéder à l'interface utilisateur Spark dans la consoleGoogle Cloud . Elle est incluse dans les rôles Dataproc Viewer, Dataproc Editor et Dataproc Administrator. Pour ouvrir l'interface utilisateur Spark dans la console Google Cloud , vous devez disposer de l'un de ces rôles ou d'un rôle personnalisé qui inclut cette autorisation.

Ouvrir l'UI Spark

La page de l'interface utilisateur Spark est disponible dans la console Google Cloud .

  1. Accéder aux sessions interactives Managed Service pour Apache Spark

  2. Cliquez sur un ID de session interactive pour ouvrir la page Détails de la session interactive.
  3. Cliquez sur Afficher l'UI Spark dans le menu supérieur.

Le lien Afficher l'UI Spark est-il désactivé ? Si une autorisation requise n'est pas accordée, ou si vous décochez la case Activer l'UI Spark sur la page des détails de la session interactive ou définissez la propriété spark.dataproc.appContext.enabled sur false (par défaut : true) lorsque vous créez une session ou créez un modèle de temps d'exécution de session, le bouton Afficher l'UI Spark sera désactivé.