Interaktive Sitzungen überwachen und Fehler beheben

In diesem Dokument wird beschrieben, wie Sie interaktive Sitzungen von Managed Service for Apache Spark mithilfe der Spark-Benutzeroberfläche überwachen und Fehler beheben.

Spark-UI

Die Spark-Benutzeroberfläche erfasst Apache Spark-Ausführungsdetails aus interaktiven Sitzungen von Managed Service for Apache Spark. Für die Spark-UI-Funktion, die standardmäßig aktiviert ist, fallen keine Gebühren an. Daten, die von der Spark-UI-Funktion erfasst werden, werden 90 Tage lang aufbewahrt.

Erforderliche IAM-Berechtigungen und -Rollen (Identity and Access Management)

Die folgenden Berechtigungen sind erforderlich, um die Spark-UI-Funktion mit interaktiven Sitzungen zu verwenden:

  • Berechtigung zur Datenerhebung: dataproc.sessions.sparkApplicationWrite. Diese Berechtigung muss dem Dienstkonto gewährt werden, das interaktive Sitzungen ausführt. Sie ist in der Rolle Managed Service for Apache Spark Worker enthalten, die automatisch dem Compute Engine-Standarddienstkonto zugewiesen wird, das Managed Service for Apache Spark standardmäßig verwendet. Wenn Sie jedoch ein benutzerdefiniertes Dienstkonto für Ihre Sitzung oder Ihr Laufzeitprofil (Sitzungsvorlage) angeben, müssen Sie diesem Dienstkonto die Berechtigung dataproc.sessions.sparkApplicationWrite hinzufügen (normalerweise, indem Sie dem Dienstkonto die Rolle „Managed Service for Apache Spark“ Worker zuweisen).

  • Zugriffsberechtigung für Spark-UI: dataproc.sessions.sparkApplicationRead. Diese Berechtigung muss einem Nutzer gewährt werden, um auf die Spark-UI in derGoogle Cloud Console zuzugreifen. Sie ist in den Rollen Dataproc Viewer, Dataproc Editor und Dataproc Administrator enthalten. Wenn Sie die Spark-UI in der Google Cloud -Konsole öffnen möchten, benötigen Sie eine dieser Rollen oder eine benutzerdefinierte Rolle, die diese Berechtigung enthält.

Spark-UI öffnen

Die Spark-UI-Seite ist in der Google Cloud Console verfügbar.

  1. Zu interaktiven Sitzungen von Managed Service for Apache Spark

  2. Klicken Sie auf eine ID der interaktiven Sitzung, um die Seite Details zur interaktiven Sitzung zu öffnen.
  3. Klicken Sie im Menü oben auf Spark-UI ansehen.

Ist der Link Spark-UI ansehen deaktiviert? Wenn eine erforderliche Berechtigung nicht gewährt wurde oder wenn Sie das Kästchen Spark-UI aktivieren auf der Detailseite der interaktiven Sitzung deaktivieren oder das Attribut spark.dataproc.appContext.enabled auf false (Standard: true) setzen, wenn Sie eine Sitzung erstellen oder ein Laufzeitprofil (Sitzungsvorlage) erstellen, ist die Schaltfläche Spark-UI ansehen deaktiviert.