Monitoring-Dashboard für Dataflow-Projekt

Die webbasierte Monitoring-Oberfläche von Dataflow enthält ein Dashboard, das Ihre Dataflow-Jobs auf Projektebene überwacht. Die Diagramme zeigen Daten für alle Jobs in einem Projekt.

Zum Dashboard

Das Dashboard kann Ihnen bei den folgenden Aufgaben helfen:

  • Erkennen und identifizieren Sie die Quelle von Kontingentfehlern.
  • Erkennen Sie ungewöhnliches horizontales Autoscaling in einem Job.
  • Ermitteln Sie langsame oder hängende Streamingjobs.

Das Dashboard verwendet Cloud Monitoring, um auf Dataflow-Jobmesswerte zuzugreifen. Mit dem Metrics Explorer können Sie die in den Diagrammen angezeigten Informationen anpassen.

Features

Das Dashboard enthält die folgenden Funktionen:

  • Wählen Sie mithilfe von regulären Ausdrücken aus, welche Jobs im Dashboard angezeigt werden.
  • Rufen Sie die Seite mit den Jobdetails über einzelne Diagramme auf.
  • Personalisieren Sie die Dashboard-Widgets und -Diagramme.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Monitoring-Betrachter (roles/monitoring.viewer) zu gewähren, um die Berechtigung zum Aufrufen der Grafikdaten zu erhalten. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigung monitoring.timeSeries.list, die zum Aufrufen der Grafikdaten erforderlich ist.

Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Auf Dashboard zugreifen

So greifen Sie auf das Dashboard zu:

  1. Anmelden bei der Google Cloud Console.
  2. Wählen Sie Ihr Google Cloud Projekt aus.
  3. Öffnen Sie das Navigationsmenü.
  4. Klicken Sie in Analytics auf Dataflow.

  5. Klicken Sie im Navigationsmenü auf Monitoring.

    Zum Dashboard

Dashboardmesswerte

Standardmäßig werden die folgenden Zeitreihendiagramme im Dashboard angezeigt. Weitere Informationen zu den angezeigten Messwerten finden Sie unter Jobmesswerte.

Die folgenden Diagramme gelten für Batch- und Streamingjobs:

  • Ausgeführte Jobs : Zeigt die Anzahl der aktiven Jobs an, die im Projekt ausgeführt werden. Dieses Diagramm zeigt die allgemeine Dataflow-Aktivität im Projekt im Zeitverlauf.
  • Worker pro Job (Top 25) : Zeigt die aktuelle Anzahl der Worker für die 25 am stärksten parallelisierten Jobs. Dieses Diagramm ist nützlich, um die Ressourcenzuweisung zu verstehen und Jobs mit hoher Arbeitslast zu identifizieren. Sie können auch sehen, ob Jobs ein unerwartetes Skalierungsverhalten aufweisen.
  • Gesamtzahl der vCPUs : Zeigt die Gesamtzahl der virtuellen CPUs (vCPUs) an, die in allen Jobs im Projekt verwendet werden. Die Gesamtzahl der vCPUs wirkt sich auf Compute Engine-Kontingente aus.
  • vCPUs pro Job (Top 25) : Zeigt die 25 Jobs an, die die meisten vCPU-Ressourcen verbrauchen. Dieses Diagramm hebt potenziell teure Jobs hervor.
  • Gesamtzahl der vCPUs : Zeigt eine projektweite Aggregation der verwendeten vCPUs. Dieses Diagramm bietet einen allgemeinen Überblick über die Compute Engine-Ressourcen, die von Ihren Jobs verbraucht werden.
  • Fehler durch Kontingentüberschreitung : Meldet alle Fälle, in denen Dataflow- oder Compute Engine-Kontingente erreicht wurden. Dieses Diagramm kann Ihnen helfen, potenzielle Jobfehler oder Skalierungsverlangsamungen zu finden.

Die folgenden Diagramme gelten für Streamingjobs:

  • Durchschnittliche Systemlatenz : Zeigt die durchschnittliche Systemlatenz, die die typische Verzögerung widerspiegelt, die bei der Übertragung von Daten durch Quellphasen auftritt. Dieses Diagramm kann auf potenzielle Engpässe bei der Eingabe hinweisen. Verwenden Sie dieses Diagramm, um Streamingjobs mit ungewöhnlichen Verzögerungen zwischen dem Zeitpunkt, an dem Daten in einer Quelle angezeigt werden, und dem Schreiben in alle Senken zu identifizieren.
  • Systemverzögerung (Top 25) : Zeigt die 25 Streamingpipelines mit der höchsten Systemverzögerung an. Die Systemverzögerung ist die längste Zeit, die Daten verarbeitet werden oder auf die Verarbeitung warten. Dieses Diagramm kann auf potenzielle Engpässe bei der Echtzeitverarbeitung hinweisen.
  • Verzögerung des Datenwasserzeichens pro Stufe (Top 25) : Zeigt die 25 Streamingjobs mit der größten Verzögerung des Wasserzeichens an. Die Verzögerung des Wasserzeichens für eine Stufe ist die Differenz zwischen der letzten Ereigniszeit, die von der Stufe empfangen wurde, und dem Wasserzeichen. Dieses Diagramm kann auf potenzielle Engpässe auf Stufenebene hinweisen. In diesem Diagramm finden Sie Streamingjobs, die möglicherweise langsam oder hängen bleiben. Weitere Informationen finden Sie unter Fehlerbehebung bei langsamen oder hängenden Streamingjobs.
  • SECU-Nutzung (Top 25) : Zeigt die 25 Streamingjobs an, die die meisten Streaming Engine-Recheneinheiten verbrauchen. Mit diesem Diagramm können Sie die Kosten und die Intensität Ihrer Streamingjobs messen, für die die ressourcenbasierte Abrechnung verwendet wird.
  • Nutzerverarbeitungslatenzen (Top 25) : Zeigt die 25 Streamingjobs an, bei denen der nutzerdefinierte Code in den Verarbeitungsphasen am längsten dauert. Mit diesem Diagramm können Sie potenzielle Leistungsengpässe in Ihrer Anwendungslogik finden.
  • Max. Rückstand in Byte (Top 25) : Zeigt die 25 Streamingjobs mit dem größten Volumen an unverarbeiteten Daten an, die in einer beliebigen Phase warten. Dieses Diagramm kann auf eine potenzielle Überlastung der Eingabe oder eine langsame Verarbeitung hinweisen.
  • Schlüssel im Rückstand (Top 25) : Zeigt Streamingjobs mit Rückstand nach der größten Anzahl von Schlüsseln im Rückstand in einer Engpassphase an. Weitere Informationen finden Sie unter Fehlerbehebung bei Engpässen.
  • Mögliche Ursachen für Engpässe (Top 10) : Zeigt die 10 wahrscheinlichsten Ursachen für Engpassphasen in Jobs mit Rückstand. Weitere Informationen finden Sie unter Fehlerbehebung bei Engpässen.

Weitere Informationen zum Arbeiten mit Diagrammen finden Sie unter Im Diagramm aufgeführte Daten untersuchen.

Dashboard personalisieren

Sie können den Inhalt des Dashboards und die in den Diagrammen angezeigten Informationen anpassen. Wenn Sie das Dashboard bearbeiten, wird ein neues benutzerdefiniertes Dashboard erstellt.

Das Dashboard verwendet Cloud Monitoring, um auf Dataflow-Jobmesswerte zuzugreifen. Passen Sie die Diagramme mit den Cloud Monitoring-Tools an.

  1. Öffnen Sie das Dashboard und klicken Sie auf Dashboard anpassen.
  2. Ändern Sie das Dashboard.
  3. Klicken Sie auf Speichern und anschließend auf Benutzerdefiniertes Dashboard anzeigen.

Nachdem Sie ein benutzerdefiniertes Dashboard erstellt haben, wählen Sie im Menü Dashboard die Option Vordefinierte aus, um zum Standard-Dashboard zurückzukehren.

Ein Beispiel für das Hinzufügen eines Diagramms mit benutzerdefinierten Messwerten zum Dashboard finden Sie unter Dataflow-Monitoring-Dashboard anpassen.

Fehlerbehebung

Dieser Abschnitt enthält Anleitungen zur Behebung häufiger Probleme.

Keine Daten verfügbar

Wenn Sie Ihr Dashboard öffnen, wird in einem oder mehreren Diagrammen die folgende Meldung angezeigt:

No data is available for the selected time frame.

Diese Meldung wird angezeigt, wenn der in den Diagrammen abgedeckte Zeitraum keine Daten enthält. Ändern Sie den Zeitraum oder erweitern Sie den Zeitraum, um dieses Problem zu beheben.

Wenn Sie den angezeigten Zeitraum ändern möchten, klicken Sie im Diagramm auf Daten auswerten und verwenden Sie dann die Zeitraumauswahl.

Gelöschte Widgets können nicht wiederhergestellt werden

Wenn Sie ein Widget aus dem Dashboard entfernen, erstellen Sie ein benutzerdefiniertes Dashboard. Nachdem Sie ein benutzerdefiniertes Dashboard erstellt haben, wählen Sie im Menü Dashboard die Option Vordefinierte aus, um zum Standard-Dashboard zurückzukehren.

Diagramme können nicht angezeigt werden

Zum Aufrufen der Diagrammdaten benötigen Sie die Berechtigung monitoring.timeSeries.list. Weitere Informationen finden Sie unter Erforderliche Rollen.

Nächste Schritte