Spark-UI
Die Spark-Benutzeroberfläche erfasst Apache Spark-Ausführungsdetails aus interaktiven Sitzungen von Managed Service for Apache Spark. Für die Spark-UI-Funktion, die standardmäßig aktiviert ist, fallen keine Gebühren an. Daten, die von der Spark-UI-Funktion erfasst werden, werden 90 Tage lang aufbewahrt.
Erforderliche IAM-Berechtigungen und -Rollen (Identity and Access Management)
Die folgenden Berechtigungen sind erforderlich, um die Spark-UI-Funktion mit interaktiven Sitzungen zu verwenden:
Berechtigung zur Datenerhebung:
dataproc.sessions.sparkApplicationWrite. Diese Berechtigung muss dem Dienstkonto gewährt werden, das interaktive Sitzungen ausführt. Sie ist in der RolleManaged Service for Apache Spark Workerenthalten, die automatisch dem Compute Engine-Standarddienstkonto zugewiesen wird, das Managed Service for Apache Spark standardmäßig verwendet. Wenn Sie jedoch ein benutzerdefiniertes Dienstkonto für Ihre Sitzung oder Ihr Laufzeitprofil (Sitzungsvorlage) angeben, müssen Sie diesem Dienstkonto die Berechtigungdataproc.sessions.sparkApplicationWritehinzufügen. In der Regel weisen Sie dem Dienstkonto dazu die Rolle „Managed Service for Apache Spark“ (Worker) zu.Zugriffsberechtigung für Spark-UI:
dataproc.sessions.sparkApplicationRead. Diese Berechtigung muss einem Nutzer gewährt werden, damit er in derGoogle Cloud -Konsole auf die Spark-UI zugreifen kann. Sie ist in den RollenDataproc Viewer,Dataproc EditorundDataproc Administratorenthalten. Zum Öffnen der Spark-UI in der Google Cloud -Konsole benötigen Sie eine dieser Rollen oder eine benutzerdefinierte Rolle mit dieser Berechtigung.
Spark-UI öffnen
Die Spark-UI-Seite ist in der Google Cloud Console verfügbar.
Rufen Sie in der Google Cloud Console die Seite Sitzungen für Managed Service for Apache Spark auf.
Klicken Sie auf eine Sitzungs-ID, um die Seite Sitzungsdetails zu öffnen.
Klicken Sie im Menü oben auf Spark-UI ansehen.
Ist der Link Spark-UI ansehen deaktiviert? Wenn eine erforderliche Berechtigung nicht gewährt wurde oder wenn Sie das Kästchen Spark-UI aktivieren auf der Detailseite der interaktiven Sitzung deaktivieren oder das Attribut spark.dataproc.appContext.enabled auf false (Standard: true) setzen, wenn Sie eine Sitzung erstellen oder ein Laufzeitprofil (Sitzungsvorlage) erstellen, ist die Schaltfläche Spark-UI ansehen deaktiviert.