In Streamingpipelines kann ein langsamer Schritt oder eine langsame Transformation den Durchsatz einschränken und zu einer Ausbreitung von Rückständen führen, wodurch die Gesamtlatenz des Jobs erhöht wird. Der Dataflow Engpassdetektor identifiziert und hebt automatisch die spezifischen Schritte hervor, die Rückstände in der Google Cloud Console verursachen. So können Sie Ausführungsverzembögerungen schnell diagnostizieren und beheben, ohne durch Ausprobieren Fehler zu suchen.
Eine konzeptionelle Übersicht darüber, wie Dataflow Engpässe identifiziert und Rückstände weiterleitet, finden Sie unter Informationen zum Dataflow-Engpass detektor.
Hinweis
Bevor Sie den Engpassdetektor zur Fehlerbehebung verwenden, müssen die folgenden Anforderungen für Ihren Job und Ihr Projekt erfüllt sein:
- Sie haben einen laufenden Streaming-Dataflow-Job.
- Ihr Job wird mit Streaming Engine ausgeführt. Die Engpasserkennung wird für Jobs, die nicht in Streaming Engine ausgeführt werden, nicht unterstützt.
- Sie haben die IAM-Berechtigungen (Identity and Access Management), die zum Aufrufen von Dataflow-Jobs erforderlich sind. Weitere Informationen finden Sie unter Dataflow-IAM-Rollen.
Aktive Engpässe in der Google Cloud Console ansehen
Sie können Benachrichtigungen und Warnungen zu aktiven Engpässen direkt in der Dataflow-Monitoring-Oberfläche ansehen.
Rufen Sie in der Google Cloud Console die Seite Dataflow auf.
Wählen Sie in der Liste der Jobs Ihren Streamingjob aus, um die Detailseite des Jobs zu öffnen.
Sehen Sie sich auf dem Tab Jobgrafik die Ausführungsgrafik an:
- Für Schritte mit aktiven Engpässen wird ein farbiges Warn- oder Benachrichtigungssymbol angezeigt.
- Eine Benachrichtigung gibt an, dass bei diesem Schritt eine Verarbeitungsverzögerung von mehr als fünf Minuten aufgetreten ist.
Klicken Sie auf den Schritt, für den das Warnsymbol angezeigt wird.
Suchen Sie im Bereich Schrittinformationen auf der rechten Seite des Bildschirms den Abschnitt Engpässe. In diesem Abschnitt wird Folgendes angezeigt:
- Die Art des Engpasses. Beispiele: Rückstand, Rückstand ist konstant oder hängt.
- Die wahrscheinliche Ursache, falls sie von der Diagnostik-Engine ermittelt wurde.
- Die Dauer und zugehörige Diagnosedetails.
Ursachen für Engpässe beheben
Um einen Engpass zu beheben, ermitteln Sie im Bereich Schrittinformationen die wahrscheinliche Ursache und folgen Sie der Schritt-für-Schritt-Anleitung für die Ursache unter Engpässe beheben.
Engpässe mit Monitoring überwachen
Wenn Sie programmatische Benachrichtigungen einrichten oder die Engpassaktivität im Zeitverlauf ansehen möchten, verwenden Sie Monitoring. Der Engpassdetektor exportiert die folgenden Messwerte:
dataflow.googleapis.com/job/is_bottleneck: Ein boolescher Wert, der angibt, ob die Phase ein aktiver Engpass ist, zusammen mit Labels, die die Art des Engpasses und die wahrscheinliche Ursache angeben.dataflow.googleapis.com/job/backlogged_keys: Die Anzahl der Schlüssel, die in der Engpassphase gesichert wurden.dataflow.googleapis.com/job/recommended_parallelism: Der empfohlene Parallelitätswert, um den Engpass in der betroffenen Phase zu beheben.
Informationen zum Erstellen von Diagrammen und Benachrichtigungen mit diesen Messwerten finden Sie unter Monitoring für Dataflow verwenden.
Nächste Schritte
- Weitere Informationen zu den Konzepten des Dataflow-Engpassdetektors.
- Folgen Sie der allgemeinen Anleitung zur Fehlerbehebung bei Dataflow Pipelines.