Interaktive Sitzungen überwachen und Fehler beheben

In diesem Dokument wird beschrieben, wie Sie interaktive Sitzungen von Managed Service for Apache Spark mit der Spark-UI überwachen und Fehler beheben.

Spark-UI

Die Spark-UI erfasst Details zur Apache Spark-Ausführung aus interaktiven Sitzungen von Managed Service for Apache Spark. Für die Spark-UI-Funktion, die standardmäßig aktiviert ist, fallen keine Gebühren an. Von der Spark-UI-Funktion erfasste Daten werden 90 Tage lang aufbewahrt.

Erforderliche Identity and Access Management-Berechtigungen und -Rollen

Die folgenden Berechtigungen sind erforderlich, um die Spark-UI-Funktion mit interaktiven Sitzungen zu verwenden:

  • Berechtigung zur Datenerfassung: dataproc.sessions.sparkApplicationWrite. Diese Berechtigung muss dem Dienstkonto gewährt werden, das interaktive Sitzungen ausführt. Sie ist in der Managed Service for Apache Spark Worker Rolle enthalten, die dem Compute Engine-Standarddienstkonto automatisch gewährt wird, das standardmäßig von Managed Service for Apache Spark verwendet wird. Wenn Sie jedoch ein benutzerdefiniertes Dienstkonto für Ihre Sitzung oder Sitzungslaufzeitvorlageangeben, müssen Sie diesem Dienstkonto die Berechtigung dataproc.sessions.sparkApplicationWrite hinzufügen. In der Regel geschieht dies, indem Sie dem Dienstkonto die Rolle Worker von Managed Service for Apache Spark gewähren.

  • Berechtigung für den Zugriff auf die Spark-UI: dataproc.sessions.sparkApplicationRead. Diese Berechtigung muss einem Nutzer gewährt werden, damit er in der Google Cloud Console auf die Spark-UI zugreifen kann. Sie ist in den Dataproc Viewer, Dataproc Editor und Dataproc Administrator Rollen enthalten. Um die Spark-UI in der Google Cloud Console zu öffnen, benötigen Sie eine dieser Rollen oder eine benutzerdefinierte Rolle, die diese Berechtigung enthält.

Spark-UI öffnen

Die Seite „Spark-UI“ ist in der Google Cloud Console verfügbar.

  1. Rufen Sie die Seite „Interaktive Sitzungen von Managed Service for Apache Spark“ auf.

  2. Klicken Sie auf eine ID der interaktiven Sitzung , um die Seite Details zur interaktiven Sitzung zu öffnen.
  3. Klicken Sie im Menü oben auf Spark-UI ansehen.

Ist der Link Spark-UI ansehen deaktiviert? Wenn eine erforderliche Berechtigung nicht gewährt wird, oder Sie das Kästchen Spark-UI aktivieren auf der Detailseite der interaktiven Sitzung deaktivieren oder die Eigenschaft spark.dataproc.appContext.enabled beim Erstellen einer Sitzung oder einer Sitzungslaufzeitvorlage auf false setzen (Standard: true), wird die Schaltfläche Spark-UI ansehen deaktiviert.