Monitorare le sessioni interattive e risolvere i relativi problemi

Questo documento descrive come monitorare e risolvere i problemi delle sessioni interattive di Managed Service for Apache Spark utilizzando la UI di Spark.

UI Spark

La UI di Spark raccoglie i dettagli di esecuzione di Apache Spark dalle sessioni interattive di Managed Service for Apache Spark. Non è previsto alcun costo per la funzionalità UI di Spark, che è abilitata per impostazione predefinita. I dati raccolti dalla funzionalità UI di Spark vengono conservati per 90 giorni.

Ruoli e autorizzazioni IAM (Identity and Access Management) richiesti

Per utilizzare la funzionalità UI di Spark con le sessioni interattive sono necessarie le seguenti autorizzazioni:

  • Autorizzazione per la raccolta dei dati: dataproc.sessions.sparkApplicationWrite. Questa autorizzazione deve essere concessa al account di servizio che esegue le sessioni interattive. È inclusa nel Managed Service for Apache Spark Worker ruolo, che viene concesso automaticamente al account di servizio predefinito di Compute Engine utilizzato da Managed Service for Apache Spark per impostazione predefinita. Tuttavia, se specifichi un service account personalizzato per la sessione o il modello di runtime della sessione, devi aggiungere questa autorizzazione dataproc.sessions.sparkApplicationWrite al account di servizio (in genere, concedendo al account di servizio il ruolo Worker di Managed Service for Apache Spark).

  • Autorizzazione di accesso alla UI di Spark: dataproc.sessions.sparkApplicationRead. Questa autorizzazione deve essere concessa a un utente per accedere alla UI di Spark nella Google Cloud console. È inclusa nei ruoli Dataproc Viewer, Dataproc Editor e Dataproc Administrator. Per aprire la UI di Spark nella Google Cloud console, devi disporre di uno di questi ruoli o di un ruolo personalizzato che includa questa autorizzazione.

Apri la UI di Spark

La pagina della UI di Spark è disponibile nella Google Cloud console.

  1. Vai a Sessioni interattive di Managed Service for Apache Spark

  2. Fai clic su un ID sessione interattiva per aprire la pagina Dettagli sessione interattiva.
  3. Fai clic su Visualizza UI Spark nel menu in alto.

Il link Visualizza UI Spark è disattivato? Se non viene concessa un'autorizzazione obbligatoria o se deselezioni la casella di controllo Abilita UI Spark nella pagina dei dettagli della sessione interattiva oppure imposti la proprietà spark.dataproc.appContext.enabled su false (valore predefinito: true) quando crei una sessione o crei un modello di runtime della sessione, il pulsante Visualizza UI Spark sarà disattivato.