Wenn Sie eine Pipeline mit Dataflow ausführen, können Sie diesen und alle anderen Jobs über die Dataflow-Monitoringoberfläche aufrufen. Über die Monitoringoberfläche können Sie Ihre Dataflow-Jobs ansehen und mit ihnen interagieren.
Sie können in der Google Cloud consoleauf die Dataflow-Monitoringoberfläche zugreifen.
Über die Monitoringoberfläche können Sie unter anderem folgende Aufgaben ausführen:
- Eine Liste der ausgeführten, abgeschlossenen und fehlgeschlagenen Jobs ansehen
- Eine grafische Darstellung der Phasen eines Jobs und des Fortschritts der einzelnen Phasen ansehen
- Diagramme mit Jobmesswerten wie Datenaktualität, Ressourcennutzung und I/O-Anfragen ansehen
- Die geschätzten Kosten eines Jobs überwachen
- Pipeline-Logs ansehen
- Ermitteln, welche Schritte zu einer Pipelineverzögerung führen können
- Ursachen für Latenz in Ihren Quellen und Senken ermitteln
- Pipelinefehler verstehen
Komponenten der Monitoringoberfläche
Die Monitoringoberfläche enthält die folgenden Visualisierungen und Diagramme:
- Dashboard für Projektmonitoring
- Ein Dashboard, das Ihre Dataflow-Jobs auf Projektebene überwacht.
- Jobs
- Eine Liste aller ausgeführten Dataflow-Jobs und aller Jobs, die innerhalb der letzten 30 Tage ausgeführt wurden, zusammen mit ihrem Status, der Region, der verstrichenen Zeit und anderen Informationen.
- Jobgrafik
- Eine grafische Darstellung einer Pipeline. Die Jobgrafik enthält auch eine Jobübersicht, ein Joblog und Informationen zu jedem Schritt in der Pipeline.
- Ausführungsdetails
- Zeigt die Ausführungsphasen eines Jobs, die Datenaktualität für Streamingjobs und den Worker-Fortschritt für Batchjobs an.
- Jobmesswerte
- Diagramme, die Messwerte für die Dauer eines Jobs anzeigen.
- Geschätzte Kosten
- Die geschätzten Kosten Ihres Dataflow-Jobs basierend auf Messwerten zur Ressourcennutzung.
- Empfehlungen
- Empfehlungen zur Verbesserung der Jobleistung, zur Reduzierung der Kosten und zur Fehlerbehebung.
- Autoscaling
- Eine Reihe von Diagrammen, mit denen Sie das Autoscaling-Verhalten von Streamingjobs nachvollziehen können.
- Schlüsselfertige Benachrichtigungen
- Vorkonfigurierte Benachrichtigungsrichtlinien für Streamingjobs, die die Bearbeitungszeit für den Backlog und die Ressourcennutzung überwachen.
- Pipeline-Logs
- Logs, die von Ihrer Pipeline und vom Dataflow-Dienst ausgegeben werden.
- Stichprobenerhebung
- Ein Tool, mit dem Sie Stichprobendaten bei jedem Schritt einer Pipeline beobachten können.
Nächste Schritte
- Schlüsselfertige Benachrichtigungen für die automatisierte Überwachung von Dataflow-Streamingjobs aktivieren
- Mit Cloud Monitoring benutzerdefinierte Benachrichtigungen erstellen und Dataflow-Messwerte ansehen
- Erfahren Sie mehr über das Erstellen produktionsbereiter Datenpipelines
- Erfahren Sie, wie Sie Fehler in Ihrer Pipeline beheben