Ausführungsdetails

Auf dieser Seite wird beschrieben, wie Sie den Tab Ausführungsdetails in der Dataflow-Monitoringoberfläche verwenden.

Übersicht

Wenn Dataflow einen Job ausführt, werden die Schritte der Pipeline in Phasen umgewandelt. Während jeder Schritt eine einzelne Transformation darstellt, steht eine Phase für eine einzelne Arbeitseinheit, die von Dataflow ausgeführt wird. Zur Optimierung der Pipeline kann Dataflow mehrere Schritte zu einer Phase zusammenfassen.

Auf dem Tab Ausführungsdetails in der Dataflow-Monitoringoberfläche werden Informationen zu den Phasen eines Jobs angezeigt. Sie können den Tab Ausführungsdetails verwenden, um Leistungsprobleme zu beheben, z. B.:

  • Langsame Phasen, die zu Leistungsengpässen führen
  • Phasen, die hängen bleiben und nicht voranschreiten
  • Worker-VMs, die hinter anderen Workern zurückbleiben

Ausführungsdetails ansehen

So rufen Sie die Ausführungsdetails für einen Job auf:

  1. Rufen Sie in der Google Cloud Console die Seite Dataflow > Jobs auf.

    ZU JOBS

  2. Wählen Sie einen Job aus.

  3. Klicken Sie auf den Tab Ausführungsdetails.

  4. Wählen Sie eine der folgenden Ansichten aus:

    • Phasenfortschritt
    • Phasen-Workflow
    • Worker-Fortschritt (nur Batchjobs)

In den folgenden Abschnitten werden die einzelnen Ansichten beschrieben.

Ansicht „Phasenfortschritt“

In der Ansicht Phasenfortschritt können Sie den Gesamtfortschritt des Jobs beobachten und den relativen Fortschritt zwischen den Phasen vergleichen. Das Layout der Ansicht Phasenfortschritt unterscheidet sich zwischen Batchjobs und Streamingjobs.

Phasenfortschritt für Batchjobs

Bei Batchjobs werden in der Ansicht Phasenfortschritt die Jobphasen in der Reihenfolge ihrer Startzeiten angezeigt. Für jede Phase werden die folgenden Elemente angezeigt:

  • Ein Balken mit den Start- und Endzeiten.
  • Ein Liniendiagramm, das den Fortschritt der Phase im Zeitverlauf als Prozentsatz der Gesamtarbeit der Phase zeigt.
  • Die Gesamtzeit, die in der Phase verbracht wurde.

Ein Beispiel für die Ansicht „Phasenfortschritt“ für einen Batchjob.

Wenn Sie filtern möchten, welche Phasen angezeigt werden, klicken Sie auf Phasen filtern. Wenn Sie den kritischen Pfad aufrufen möchten, aktivieren Sie Kritischer Pfad. Der kritische Pfad ist die Abfolge von Phasen, die zur Gesamtlaufzeit des Jobs beitragen. Dazu gehören beispielsweise keine Zweige, die früher als der Gesamtjob abgeschlossen wurden, und keine Eingaben, die die nachgelagerte Verarbeitung nicht verzögert haben.

Im Bereich Phaseninformationen finden Sie detailliertere Informationen zu einer Phase. Wenn Sie die Details für eine Phase aufrufen möchten, klicken Sie auf den Fortschrittsbalken für diese Phase. Im Bereich Phaseninformationen werden die folgenden Informationen zu einer Phase angezeigt:

  • Status
  • Fortschritt in Prozent
  • Start- und Endzeiten
  • Die Pipelineschritte, die diese Phase umfasst
  • Die langsamsten Schritte nach Echtzeit
  • Details zu Nachzüglern

Wenn der Bereich nicht sichtbar ist, klicken Sie auf Bereich „Phaseninformationen“ ein-/ausblenden.

Phasenfortschritt für Streamingjobs

Bei Streamingjobs enthält die Ansicht Phasenfortschritt zwei Visualisierungen der Datenaktualität. Die Datenaktualität ist die Differenz zwischen dem Zeitstempel eines Datenelements und dem Zeitpunkt, zu dem das Element verarbeitet wird. Größere Werte bedeuten, dass die Pipeline länger für die Verarbeitung der Eingabedaten benötigt.

Die erste Visualisierung zeigt die Datenaktualität pro Phase als Liniendiagramm. Wenn Sie die Datenaktualität zu einem bestimmten Zeitpunkt sehen möchten, bewegen Sie den Mauszeiger auf das Diagramm. Wählen Sie den Zeitraum mit der Zeitauswahl aus oder klicken Sie auf das Diagramm und ziehen Sie den Mauszeiger, um den Zeitraum auszuwählen. Wenn Sie filtern möchten, welche Phasen angezeigt werden, klicken Sie auf Phasen filtern.

Im Diagramm werden auch Anomalien in den Daten hervorgehoben:

  • Potenzielle Verlangsamung: Die Datenaktualität überschreitet für das ausgewählte Zeitfenster das 95. Perzentil.
  • Potenzielles Hängenbleiben: Die Datenaktualität überschreitet für das ausgewählte Zeitfenster das 99. Perzentil.

Die zweite Visualisierung zeigt die Phasen als Reihe von Balken. Die Phasen sind in topologischer Reihenfolge angeordnet. Phasen ohne untergeordnete Phasen werden zuerst angezeigt, gefolgt von ihren untergeordneten Phasen. Die Länge der Balken steht für die Datenaktualität. Wenn Sie die Werte für die Datenaktualität zu einem bestimmten Zeitpunkt sehen möchten, klicken Sie auf das Diagramm. Die Balken werden aktualisiert und zeigen die Datenaktualität zum ausgewählten Zeitpunkt.

Die folgende Abbildung zeigt einen Job mit vier Phasen. Zum ausgewählten Zeitstempel liegt die Datenaktualität zwischen 9 und 13 Sekunden.

Die Ansicht „Phasenfortschritt“ für einen Streamingjob mit einer Datenaktualität zwischen 8 und 13 Sekunden.

Die nächste Abbildung zeigt denselben Job mit einem anderen ausgewählten Zeitstempel. Zu diesem Zeitpunkt überschreitet die Datenaktualität für alle Phasen 4 Minuten, was darauf hindeutet, dass die Pipeline möglicherweise hängen bleibt.

Die Ansicht „Phasenfortschritt“ für einen Streamingjob, in der die Datenaktualität mehr als 4 Minuten beträgt.

Im Bereich Phaseninformationen finden Sie detailliertere Informationen zu einer Phase. Wenn Sie die Details für eine Phase aufrufen möchten, klicken Sie auf den Fortschrittsbalken für diese Phase. Im Bereich Phaseninformationen werden die folgenden Informationen zu einer Phase angezeigt:

  • Status
  • Systemverzögerung: Die maximale Zeit, die ein Datenelement auf die Verarbeitung gewartet hat
  • Daten-Wasserzeichen: Die geschätzte Abschlusszeit der Dateneingabe für diese Phase
  • Details zu Nachzüglern
  • Die Pipelineschritte, die diese Phase umfasst

Wenn der Bereich nicht sichtbar ist, klicken Sie auf Bereich „Phaseninformationen“ ein-/ausblenden.

Phasen-Workflow

In der Ansicht Phasen-Workflow werden die Jobphasen als Workflowdiagramm angezeigt. Wenn Sie die Details für eine Phase aufrufen möchten, klicken Sie auf das Feld für diese Phase.

Ansicht „Phasenworkflow“, in der die Hierarchie der Ausführungsphasen eines Jobs angezeigt wird.

Klicken Sie bei Batchjobs auf Kritischer Pfad , um nur die Phasen aufzurufen, die direkt zur Gesamtlaufzeit des Jobs beitragen.

Worker-Fortschritt

Bei Batchjobs werden in der Ansicht Worker-Fortschritt die Worker für eine bestimmte Phase angezeigt. Diese Ansicht ist für Streamingjobs nicht verfügbar. Wenn Sie diese Ansicht aufrufen möchten, wählen Sie Worker-Fortschritt aus und wählen Sie die Phase unter Worker nach Phase filtern aus. Alternativ können Sie diese Ansicht auch in der Ansicht Phasenfortschritt so aktivieren:

  1. Suchen Sie in der Ansicht Phasenfortschritt die Phase, die Sie aufrufen möchten.
  2. Bewegen Sie den Mauszeiger auf den Balken für diese Phase.
  3. Klicken Sie auf der Karte Phase auf Worker ansehen. Die Ansicht Worker-Fortschritt wird mit der vorab ausgewählten Phase angezeigt.

Jeder Balken ist einem Arbeitselement zugeordnet, der für einen Worker geplant ist. Unter jedem Worker finden Sie eine Sparkline, die die CPU-Auslastung auf dem Worker erfasst. Auslastungsprobleme können somit besser erkannt werden.

Die Ansicht „Worker-Fortschritt“. Die Worker haben Balken und Sparklines, die der Arbeitsplanung und CPU-Auslastung entsprechen.

Nächste Schritte