Auf dieser Seite wird erläutert, wie Sie häufige Ursachen von langsamen oder hängenden Dataflow-Batchjobs beheben können.
Wenn der Batchjob langsam läuft oder hängen geblieben ist, verwenden Sie den Tab **Ausführungsdetails**, um weitere Informationen zum Job zu erhalten und die Phase oder den Worker zu ermitteln, der den Engpass verursacht.
Ursache ermitteln
Prüfen Sie, ob beim Starten des Workers Probleme auftreten. Weitere Informationen finden Sie unter Fehler beim Synchronisieren des Pods.
Wenn Sie prüfen möchten, ob die Datenverarbeitung für den Job gestartet wurde, suchen Sie im Job-Nachrichten-Log nach dem folgenden Logeintrag:
All workers have finished the startup processes and began to receive work requestsWenn Sie die Jobleistung zwischen verschiedenen Jobs vergleichen möchten, müssen das Volumen der Eingabedaten, die Worker-Konfiguration, das Autoscaling-Verhalten und Dataflow Shuffle-Einstellungen identisch sein.
Prüfen Sie die Job-Nachrichten-Logs auf Probleme wie Kontingentlimits, Probleme mit der Verfügbarkeit oder die Erschöpfung von IP-Adressen.
Vergleichen Sie auf dem Tab Ausführungsdetails den Phasenfortschritt, um Phasen zu identifizieren, die länger gedauert haben.
Suchen Sie im Job nach Nachzüglern. Weitere Informationen finden Sie unter Fehlerbehebung bei Nachzüglern in Batchjobs.
Prüfen Sie die Messwerte für Durchsatz, CPU- und Arbeitsspeichernutzung.
Prüfen Sie die Worker-Logs auf Warnungen und Fehler.
- Wenn die Worker-Logs Fehler enthalten, sehen Sie sich den Stacktrace an. Prüfen Sie, ob der Fehler durch einen Bug in Ihrem Code verursacht wird.
- Suchen Sie nach Dataflow-Fehlern. Weitere Informationen finden Sie unter Fehlerbehebung bei Dataflow-Fehlern.
- Suchen Sie nach Fehlern aufgrund von Speichermangel, die zu einer hängen gebliebenen Pipeline führen können. Wenn Fehler aufgrund von Speichermangel auftreten, führen Sie die Schritte unter Fehlerbehebung bei Dataflow-Fehlern aufgrund von Speichermangel aus.
- Wenn Sie einen langsamen oder hängen gebliebenen Schritt identifizieren möchten, suchen Sie in den Worker-Logs nach Nachrichten vom Typ
Operation ongoing. Sehen Sie sich den Stacktrace an, um zu sehen, wie viel Zeit für den Schritt aufgewendet wird. Weitere Informationen finden Sie unter Verarbeitung hängen geblieben oder Vorgang läuft.
Wenn Sie Dataflow Shuffle nicht verwenden, prüfen Sie die Shuffler-Logs auf Warnungen und Fehler während des Shuffle-Vorgangs. Wenn ein RPC-Zeitüberschreitungsfehler an Port 12345 oder 12346 auftritt, fehlt Ihrem Job möglicherweise eine Firewallregel. Weitere Informationen finden Sie unter Firewallregeln für Dataflow.
Wenn der Portable Runner aktiviert ist, prüfen Sie die Harness Logs auf Fehler. Weitere Informationen finden Sie unter Fehlerbehebung beim Portable Runner.
Nachzügler identifizieren
Ein Nachzügler ist ein Arbeitselement, das relativ zu anderen Arbeitselementen in der Phase langsam ist. Informationen zum Identifizieren und Korrigieren von Nachzüglern finden Sie unter Fehlerbehebung bei Nachzüglern in Batchjobs.
Langsame oder hängende Phasen identifizieren
Verwenden Sie die Ansicht Phasenfortschritt, um langsame oder hängende Phasen zu ermitteln. Längere Balken weisen darauf hin, dass die Phase länger dauert. Verwenden Sie diese Ansicht, um die langsamsten Phasen in Ihrer Pipeline zu ermitteln.
Nachdem Sie die Engpassphase gefunden haben, können Sie die folgenden Schritte ausführen:
- Identifizieren Sie den verzögerten Worker in der Phase.
- Wenn keine verzögerten Worker vorhanden sind, identifizieren Sie den langsamsten Schritt über den Bereich Phaseninformationen. Verwenden Sie diese Informationen, um Kandidaten für die Optimierung von Nutzercode zu identifizieren.
Späte Worker erkennen
Verwenden Sie die Ansicht Worker-Fortschritt, um einen verzögerten Worker für eine bestimmte Phase zu identifizieren. Diese Ansicht zeigt, ob alle Worker die Arbeit bis zum Ende der Phase verarbeiten oder ob ein einzelner Worker bei einer verzögerten Aufgabe festhängt. Wenn Sie einen verzögerten Worker finden, führen Sie die folgenden Schritte aus:
- Sehen Sie sich die Logdateien für diesen Worker an. Weitere Informationen finden Sie unter Pipelinelogs überwachen und ansehen.
- Sehen Sie sich die CPU-Auslastungsmesswerte und die Details zum Worker-Fortschritt für verzögerte Worker an. Wenn Sie eine ungewöhnlich hohe oder niedrige CPU-Auslastung feststellen, suchen Sie in den Logdateien für diesen Worker nach den folgenden Problemen:
Tools zur Fehlerbehebung
Wenn Sie eine langsame oder hängende Pipeline haben, können Sie mit den folgenden Tools versuchen, das Problem zu diagnostizieren.
- Verwenden Sie Cloud Monitoring für Dataflow, um Vorfälle zu korrelieren und Engpässe zu identifizieren.
- Verwenden Sie zum Überwachen der Pipelineleistung Cloud Profiler.
- Einige Transformationen eignen sich besser für Pipelines mit hohem Volumen als andere. Lognachrichten können eine hängen gebliebene Nutzertransformation in Batch- oder Streamingpipelines identifizieren.
- Weitere Informationen zu hängen gebliebenen Jobs finden Sie unter Dataflow-Jobmesswerte.
Weitere Messwerte, die nicht in der Dataflow -Monitoring-Weboberfläche enthalten sind, finden Sie in der vollständigen Liste der Dataflow-Messwerte unter Google Cloud Messwerte.