Interaktive Sitzungen überwachen und Fehler beheben

In diesem Dokument wird beschrieben, wie Sie interaktive Sitzungen von Managed Service for Apache Spark mithilfe der Spark-Benutzeroberfläche überwachen und Fehler beheben.

Spark-UI

Die Spark-Benutzeroberfläche erfasst Apache Spark-Ausführungsdetails aus interaktiven Sitzungen von Managed Service for Apache Spark. Für die Spark-UI-Funktion, die standardmäßig aktiviert ist, fallen keine Gebühren an. Daten, die von der Spark-UI-Funktion erfasst werden, werden 90 Tage lang aufbewahrt.

Erforderliche IAM-Berechtigungen und -Rollen (Identity and Access Management)

Die folgenden Berechtigungen sind erforderlich, um die Spark-UI-Funktion mit interaktiven Sitzungen zu verwenden:

  • Berechtigung zur Datenerhebung: dataproc.sessions.sparkApplicationWrite. Diese Berechtigung muss dem Dienstkonto gewährt werden, das interaktive Sitzungen ausführt. Sie ist in der Rolle Managed Service for Apache Spark Worker enthalten, die automatisch dem Compute Engine-Standarddienstkonto zugewiesen wird, das Managed Service for Apache Spark standardmäßig verwendet. Wenn Sie jedoch ein benutzerdefiniertes Dienstkonto für Ihre Sitzung oder Ihr Laufzeitprofil (Sitzungsvorlage) angeben, müssen Sie diesem Dienstkonto die Berechtigung dataproc.sessions.sparkApplicationWrite hinzufügen. In der Regel weisen Sie dem Dienstkonto dazu die Rolle „Managed Service for Apache Spark“ (Worker) zu.

  • Zugriffsberechtigung für Spark-UI: dataproc.sessions.sparkApplicationRead. Diese Berechtigung muss einem Nutzer gewährt werden, damit er in derGoogle Cloud -Konsole auf die Spark-UI zugreifen kann. Sie ist in den Rollen Dataproc Viewer, Dataproc Editor und Dataproc Administrator enthalten. Zum Öffnen der Spark-UI in der Google Cloud -Konsole benötigen Sie eine dieser Rollen oder eine benutzerdefinierte Rolle mit dieser Berechtigung.

Spark-UI öffnen

Die Spark-UI-Seite ist in der Google Cloud Console verfügbar.

  1. Rufen Sie in der Google Cloud Console die Seite Sitzungen für Managed Service for Apache Spark auf.

    Zu Managed Service for Apache Spark-Sitzungen

  2. Klicken Sie auf eine Sitzungs-ID, um die Seite Sitzungsdetails zu öffnen.

  3. Klicken Sie im Menü oben auf Spark-UI ansehen.

Ist der Link Spark-UI ansehen deaktiviert? Wenn eine erforderliche Berechtigung nicht gewährt wurde oder wenn Sie das Kästchen Spark-UI aktivieren auf der Detailseite der interaktiven Sitzung deaktivieren oder das Attribut spark.dataproc.appContext.enabled auf false (Standard: true) setzen, wenn Sie eine Sitzung erstellen oder ein Laufzeitprofil (Sitzungsvorlage) erstellen, ist die Schaltfläche Spark-UI ansehen deaktiviert.