Monitorare le sessioni interattive e risolvere i relativi problemi

Questo documento descrive come monitorare e risolvere i problemi delle sessioni interattive di Serverless per Apache Spark utilizzando la UI di Spark.

UI Spark

La UI di Spark raccoglie i dettagli di esecuzione di Apache Spark dalle sessioni interattive di Serverless per Apache Spark. Non è previsto alcun costo per la funzionalità UI di Spark, che è abilitata per impostazione predefinita. I dati raccolti dalla funzionalità UI di Spark vengono conservati per 90 giorni.

Ruoli e autorizzazioni IAM (Identity and Access Management) richiesti

Per utilizzare la funzionalità UI di Spark con le sessioni interattive , sono necessarie le seguenti autorizzazioni:

  • Autorizzazione di raccolta dati: dataproc.sessions.sparkApplicationWrite. Questa autorizzazione deve essere concessa al service account che esegue le sessioni interattive. È inclusa nel Dataproc Worker ruolo, che viene concesso automaticamente al service account predefinito di Compute Engine utilizzato per impostazione predefinita da Serverless per Apache Spark. Tuttavia, se specifichi un service account personalizzato per la sessione o il modello di runtime della sessione, devi aggiungere questa autorizzazione dataproc.sessions.sparkApplicationWrite al service account (in genere, concedendo al service account il ruolo Worker di Dataproc).

  • Autorizzazione di accesso alla UI di Spark: dataproc.sessions.sparkApplicationRead. Questa autorizzazione deve essere concessa a un utente per accedere alla UI di Spark nella Google Cloud console. È inclusa nei Dataproc Viewer, Dataproc Editor e Dataproc Administrator ruoli. Per aprire la UI di Spark nella Google Cloud console, devi disporre di uno di questi ruoli o di un ruolo personalizzato che includa questa autorizzazione.

Aprire la UI di Spark

La pagina della UI di Spark è disponibile nella Google Cloud console.

  1. Vai a Sessioni interattive di Dataproc

  2. Fai clic su un ID sessione interattiva per aprire la pagina Dettagli sessione interattiva.
  3. Fai clic su Visualizza UI Spark nel menu in alto.

Il link Visualizza UI Spark è disattivato? Se non viene concessa un'autorizzazione obbligatoria o se deselezioni la casella di controllo Abilita UI Spark nella pagina dei dettagli della sessione interattiva oppure imposti la proprietà spark.dataproc.appContext.enabled su false (valore predefinito: true) quando crei una sessione o crei un modello di runtime della sessione, il pulsante Visualizza UI Spark sarà disattivato.