Interaktive Sitzungen überwachen und Fehler beheben

In diesem Dokument wird beschrieben, wie Sie interaktive Serverless for Apache Spark Sitzungen mit der Spark-UI überwachen und Fehler beheben.

Spark-UI

Die Spark-UI erfasst Details zur Apache Spark-Ausführung aus Serverless for Apache Spark interaktiven Sitzungen. Für die Spark-UI-Funktion, die standardmäßig aktiviert ist, fallen keine Gebühren an. Von der Spark-UI-Funktion erfasste Daten werden 90 Tage lang aufbewahrt.

Erforderliche Identity and Access Management-Berechtigungen und -Rollen

Die folgenden Berechtigungen sind erforderlich, um die Spark-UI-Funktion mit interaktiven Sitzungen zu verwenden:

  • Berechtigung zur Datenerfassung: dataproc.sessions.sparkApplicationWrite. Diese Berechtigung muss dem Dienstkonto gewährt werden, das interaktive Sitzungen ausführt. Sie ist in der Dataproc Worker Rolle enthalten, die automatisch dem Compute Engine-Standarddienstkonto gewährt wird, das standardmäßig von Serverless for Apache Spark verwendet wird. Wenn Sie jedoch ein benutzerdefiniertes Dienstkonto für Ihre Sitzung oder Sitzungslaufzeitvorlageangeben, müssen Sie diesem Dienstkonto die Berechtigung dataproc.sessions.sparkApplicationWrite hinzufügen. Dies geschieht in der Regel durch Gewährung der Dataproc-Rolle Worker für das Dienstkonto.

  • Berechtigung für den Zugriff auf die Spark-UI: dataproc.sessions.sparkApplicationRead. Diese Berechtigung muss einem Nutzer gewährt werden, damit er in der Google Cloud Console auf die Spark-UI zugreifen kann. Sie ist in den Dataproc Viewer, Dataproc Editor und Dataproc Administrator Rollen enthalten. Um die Spark-UI in der Google Cloud Console zu öffnen, benötigen Sie eine dieser Rollen oder eine benutzerdefinierte Rolle, die diese Berechtigung enthält.

Spark-UI öffnen

Die Seite „Spark-UI“ ist in der Google Cloud Console verfügbar.

  1. Rufen Sie die Seite „Interaktive Dataproc-Sitzungen“ auf.

  2. Klicken Sie auf eine ID der interaktiven Sitzung , um die Seite Details zur interaktiven Sitzung zu öffnen.
  3. Klicken Sie im Menü oben auf Spark-UI ansehen.

Ist der Link Spark-UI ansehen deaktiviert? Wenn eine erforderliche Berechtigung nicht gewährt wird, oder Sie das Kästchen Spark-UI aktivieren auf der Detailseite der interaktiven Sitzung deaktivieren oder die Eigenschaft spark.dataproc.appContext.enabled beim Erstellen einer Sitzung oder einer Sitzungslaufzeitvorlage auf false setzen (Standard: true), wird die Schaltfläche Spark-UI ansehen deaktiviert.