Eifrigen Wasserzeichenfortschritt verwenden

In einer Dataflow-Streamingpipeline können verzögerte oder nicht in der richtigen Reihenfolge vorliegende Datensätze das Wasserzeichen der Pipeline blockieren. Diese Arten von Einträgen entstehen, wenn Zeitabweichungen auftreten, z. B. bei Ereignissen von Offlinegeräten oder Clients mit Zeitabweichung. Ein blockiertes Wasserzeichen verzögert Ihre zeitgerechten Ergebnisse im Zeitfenster und die Timer für die Ereigniszeit und kann zu plötzlichen Spitzen bei der Worker-Auslastung führen, wenn die verzögerten Daten schließlich verarbeitet werden.

Sie können verhindern, dass verzögerte Datensätze Ihre Pipeline blockieren, indem Sie für Ihre Streaming Engine-Jobs die vorzeitige Wasserzeichen-Aktualisierung aktivieren. Wenn Sie diese Funktion aktivieren, verarbeitet Dataflow weiterhin verzögerte Datensätze, aber diese Datensätze blockieren das Wasserzeichen nicht, sodass Ihre Fenster und Timer planmäßig ausgeführt werden können.

Wenn Sie die vorzeitige Aktualisierung von Wasserzeichen aktivieren, können Sie Folgendes erreichen:

  • Vorhersehbare Latenz: Fensteraggregationen werden pünktlich ausgegeben und Timer für die Ereigniszeit werden planmäßig ausgeführt, ohne dass auf die Verarbeitung verzögerter Datensätze gewartet werden muss.
  • Gleichmäßigere Worker-Auslastung: Schließen Sie Fenster und führen Sie Timer kontinuierlich aus, da pünktliche Daten das Wasserzeichen vorantreiben. So vermeiden Sie Spitzen bei der Worker-Auslastung, die durch das gleichzeitige Schließen von Fenstern mit Rückstand entstehen.

Übersicht

In einer Streamingpipeline ist das Wasserzeichen ein Grenzwert, der angibt, dass Dataflow die Daten bis zu diesem Punkt verarbeitet hat. Fensterbasierte Aggregationen geben pünktliche Ergebnisse aus und Ereigniszeit-Timer werden erst ausgeführt, nachdem das Wasserzeichen das Ende des Fensters oder den Zeitstempel des Timers passiert hat.

Standardmäßig basiert das Wasserzeichen auf dem minimalen Zeitstempel des unverarbeiteten Ereignisses und wird nie rückwärts verschoben. Wenn ein Datensatz mit einem Ereigniszeitstempel eingeht, der hinter dem aktuellen Wasserzeichen liegt, wird das Wasserzeichen angehalten, bis die Verarbeitung dieses Datensatzes abgeschlossen ist. Da nachgelagerte Wasserzeichen nicht über vorgelagerte Wasserzeichen hinausgehen können, werden alle nachfolgenden Phasen durch ein blockiertes vorgelagertes Wasserzeichen blockiert. Wenn ein verzögerter Datensatz die Pipeline durchläuft, bleibt das Wasserzeichen jeder Phase so lange hängen, bis die Verarbeitung des Datensatzes in dieser Phase abgeschlossen ist. Selbst wenn Ihre Pipeline ansonsten fehlerfrei ist, verzögert diese Kaskade die Ergebnisse mit Zeitfenstern und die Timer für die Ereigniszeit für pünktliche Daten in allen nachgelagerten Phasen. Wenn die verzögerten Datensätze schließlich gelöscht werden, springen die Wasserzeichen schnell vorwärts, was oft zu einer Reihe von Fensterabschlüssen führt, die die Worker-Auslastung in die Höhe treiben.

Durch die vorzeitige Weiterentwicklung des Wasserzeichens wird dieses Verhalten für Streaming Engine-Jobs geändert, indem verzögerte Datensätze von der Weiterentwicklung des Wasserzeichens entkoppelt werden. Wenn ein Datensatz mit einem Ereigniszeitstempel eingeht, der hinter dem aktuellen Wasserzeichen liegt, verarbeitet Dataflow den Datensatz, ohne das Wasserzeichen der Phase zurückzuhalten. Der Wasserzeichenwert wird basierend auf Ihren pünktlichen Daten weiter erhöht, während verzögerte Datensätze gemäß der Konfiguration der zulässigen Verspätung Ihrer Pipeline verarbeitet und ausgegeben werden.

Wann sollte die vorzeitige Erhöhung des Wasserzeichens verwendet werden?

Die vorzeitige Aktualisierung des Wasserzeichens ist in den folgenden Szenarien effektiv, in denen der Fortschritt des Wasserzeichens durch Datensätze blockiert wird, die nach dem aktuellen Wasserzeichen eintreffen:

  • Verzögerte Datenbursts: Szenarien, in denen Mobilgeräte, IoT-Sensoren oder Netzwerkgeräte stunden- oder tagelang offline sind, Ereignisse lokal zwischenspeichern und bei der Wiederherstellung der Verbindung einen Burst von Verlaufsdaten ausgeben.
  • Nicht geordnete Ereigniszeiten in Pub/Sub: Pub/Sub-Themen, bei denen Nachrichten mit Ereigniszeitstempeln ankommen, die älter als das Quellwasserzeichen sind, oder dünnbesetzte Themen, bei denen das Wasserzeichen eines inaktiven Abos zwischen Nachrichten auf die Echtzeit vorrückt.
  • Wiederherstellung von Kafka-Partitionen: Kafka-Quellen, die mit Ereigniszeit oder CreateTime konfiguriert sind, wobei der Wasserzeichenwert einer Partition voranschreitet, während die Partition inaktiv ist, und die Partition dann einen Rückstand älterer Datensätze erhält.
  • Benutzerdefinierte vergangene Zeitstempel: Nutzertransformationen, die Datensätze mit historischen Zeitstempeln mithilfe von outputWithTimestamp ausgeben.

Verspätete Daten mit fensterbasierten Aggregationen

Ohne die vorzeitige Wasserzeichen-Aktualisierung bleiben Fenster durch ein blockiertes Wasserzeichen geöffnet. Wenn das Wasserzeichen lange genug angehalten wird, können verzögerte Datensätze, die später eintreffen, als pünktlich gezählt werden. Das bietet einen gewissen unbeabsichtigten Schutz vor verspäteten Daten. Bei der vorzeitigen Wasserzeichen-Fortschreibung werden verspätete Datensätze nicht mehr durch das Wasserzeichen blockiert, sodass mehr Datensätze korrekt als verspätet klassifiziert werden. Verspätete Datensätze innerhalb der zulässigen Verspätung werden in verspäteten Bereichen ausgegeben. Verspätete Datensätze nach der zulässigen Verspätung werden aus den Ergebnissen des Fensters ausgeschlossen.

Wann die vorzeitige Wasserzeichen-Aktualisierung nicht gilt

Das vorzeitige Vorrücken des Wasserzeichens behebt nicht die Wasserzeichenverzögerung, die durch die langsame Verarbeitung von pünktlichen Daten verursacht wird. Wenn die Verarbeitung von pünktlichen Datensätzen aufgrund von rechenintensiven Vorgängen, langsamen externen RPCs oder CPU- und Arbeitsspeicherengpässen bei Workern lange dauert, wird der Wasserzeichenwert durch diese langsamen Elemente zurückgehalten. Durch die vorzeitige Wasserzeichen-Fortschreibung werden nur Daten entkoppelt, die sich bereits hinter dem Wasserzeichen befinden. Eine langsame On-Time-Verarbeitung wird nicht beschleunigt.

Unterstützung und Einschränkungen

Alle Apache Beam SDK-Versionen, die auf der Streaming Engine (Java, Python und Go) ausgeführt werden, unterstützen die Eager-Wasserzeichen-Fortschreitung. Es ist kein SDK-Upgrade erforderlich.

Für die vorzeitige Wasserzeichen-Fortschreitung gelten die folgenden Anforderungen und Einschränkungen:

  • Streaming Engine erforderlich: Die Pipeline muss Streaming Engine verwenden.
  • Nur Streamingjobs: Sie können die vorzeitige Wasserzeichen-Fortschreitung nur für Streamingpipelines aktivieren.
  • Zulässige Verspätung: Wenn Sie verspätete Datensätze in fensterbasierten Aggregationen oder zustandsorientierter Verarbeitung verarbeiten möchten, legen Sie die zulässige Verspätung so fest, dass die erwarteten Verzögerungen abgedeckt sind, bevor Sie die vorzeitige Wasserzeichen-Fortschreitung aktivieren. Datensätze, die später als die zulässige Verspätung eingehen, werden verworfen. Weitere Informationen finden Sie unter Verspätete Daten.
  • Begrenzte Quellen: Wenn alle Quellen in einem Streamingjob begrenzt sind, wird der Job nicht automatisch beendet, wenn die Eingabe endet. Beenden Sie den Job per Drain, um ihn zu stoppen.
  • Nur neue oder Ersatzjobs: Sie können den vorzeitigen Wasserzeichenfortschritt bei einem aktiv ausgeführten Job nicht ändern. Wenn Sie die Funktion für eine vorhandene Pipeline aktivieren oder deaktivieren möchten, müssen Sie einen Ersatzjob mit der Option Pipeline aktualisieren bereitstellen.

Hinweis

Führen Sie die folgenden Schritte aus, bevor Sie die vorzeitige Weiterentwicklung von Wasserzeichen aktivieren:

  1. Konfigurieren Sie die zulässige Verspätung, um erwartete Verzögerungen abzudecken.
  2. Prüfen Sie, ob der Trigger, der Akkumulationsmodus und die Verarbeitung von PaneInfo Ihrer Pipeline mit verspäteten Bereichen funktionieren.

Nachdem Sie die vorzeitige Wasserzeichen-Fortschreitung aktiviert haben, überwachen Sie den Zähler droppedDueToLateness unter Benutzerdefinierte Zähler im Bereich Jobinformationen der Google Cloud Console, um zu prüfen, ob die Rate der verworfenen verspäteten Daten für Ihren Anwendungsfall akzeptabel bleibt.

Eifrigen Wasserzeichenfortschritt aktivieren

Wenn Sie die vorzeitige Weiterleitung von Wasserzeichen aktivieren möchten, legen Sie beim Starten einer Pipeline die Dienstoption enable_eager_watermark_advancement fest:

Java

--dataflowServiceOptions=enable_eager_watermark_advancement

Python

--dataflow_service_options=enable_eager_watermark_advancement

Go

--dataflow_service_options=enable_eager_watermark_advancement

gcloud

Wenn Sie eine Vorlage mit dem Befehl gcloud dataflow jobs run oder eine flexible Vorlage mit dem Befehl gcloud dataflow flex-template run ausführen, fügen Sie die Flags --enable-streaming-engine und --additional-experiments ein:

gcloud dataflow flex-template run JOB_NAME \
    --template-file-gcs-location=TEMPLATE_LOCATION \
    --region=REGION \
    --enable-streaming-engine \
    --additional-experiments=enable_eager_watermark_advancement

Ersetzen Sie die folgenden Werte:

  • JOB_NAME: der Name Ihres Dataflow-Jobs
  • TEMPLATE_LOCATION: der Cloud Storage-Pfad zu Ihrer Spezifikationsdatei für die flexible Vorlage
  • REGION: die Region, in der der Job ausgeführt wird

Terraform

Legen Sie additional_experiments für die Ressource google_dataflow_flex_template_job oder google_dataflow_job fest:

resource "google_dataflow_flex_template_job" "pipeline" {
  # ...
  enable_streaming_engine = true
  additional_experiments  = ["enable_eager_watermark_advancement"]
}

REST

Verwenden Sie das Feld additionalExperiments im Objekt RuntimeEnvironment oder im Objekt FlexTemplateRuntimeEnvironment, wenn Sie eine flexible Vorlage starten:

{
  "additionalExperiments": ["enable_eager_watermark_advancement"]
}

Console

  1. Rufen Sie in der Google Cloud Console die Dataflow-Seite Jobs auf.

    ZU JOBS

  2. Klicken Sie auf Job aus Vorlage erstellen.

  3. Wählen Sie im Menü Dataflow-Vorlage eine Vorlage aus.

  4. Maximieren Sie Optionale Parameter.

  5. Geben Sie im Feld Zusätzliche Tests den Wert enable_eager_watermark_advancement ein.

  6. Klicken Sie auf Job ausführen.

Prüfen, ob die vorzeitige Erhöhung des Wasserzeichens aktiviert ist

Wenn ein Job gestartet oder aktualisiert wird und die vorzeitige Weiterentwicklung von Wasserzeichen aktiviert ist, enthalten die Joblogs die folgende Meldung:

Eager watermark advancement is enabled for this job.

Wenn ein Update die vorzeitige Weiterleitung von Wasserzeichen aktiviert oder deaktiviert, enthalten die Joblogs eine Meldung wie die folgende:

Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true

Sie können auch den Abschnitt Pipelineoptionen im Bereich Jobinformationen prüfen. Die Option enable_eager_watermark_advancement wird in der Zeile dataflowServiceOptions oder in der Zeile experiments angezeigt, wenn Sie sie als Experiment festgelegt haben.

Eifrigen Wasserzeichenfortschritt deaktivieren

Sie können die vorzeitige Wasserzeichen-Fortschreitung für einen aktiven Job nicht deaktivieren. Wenn Sie das Feature für eine vorhandene Pipeline deaktivieren möchten, starten Sie einen Ersatzjob mit der Pipelineoption --update und lassen Sie enable_eager_watermark_advancement in den Ersatzoptionen weg. Weitere Informationen finden Sie unter Streamingpipeline aktualisieren. Da sich der Wasserzeichenwert nie rückwärts bewegt, wird der Wasserzeichenwert des Ersatzjobs vom Wasserzeichenwert des vorherigen Jobs fortgesetzt und das standardmäßige Fortschrittsverhalten wird fortgesetzt.

Fortschritt des Eager-Wasserzeichens überwachen

Für Jobs, bei denen die vorzeitige Wasserzeichen-Fortschreibung aktiviert ist, meldet Dataflow die folgenden stufenbezogenen Messwerte an Cloud Monitoring. Verwenden Sie diese Messwerte zusammen mit dem Standardmesswert dataflow.googleapis.com/job/per_stage_data_watermark_age (Datenaktualität), um verzögerte Daten und die Wasserzeichenlatenz zu bewerten:

  • dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data: Das Alter des Datenwasserzeichens der Phase, wenn die vorzeitige Wasserzeichenweitergabe deaktiviert wäre. Der Unterschied zwischen diesem Messwert und per_stage_data_watermark_age ist die Wasserzeichenlatenz, die durch die vorzeitige Wasserzeichenaktualisierung entfernt wird.
  • dataflow.googleapis.com/job/per_stage_oldest_pending_element_age: das Alter des ältesten ausstehenden Elements in oder vor der Phase, einschließlich verzögerter Datensätze. Bei Pipelines mit fensterbasierten Aggregationen entspricht die Differenz zwischen diesem Messwert und per_stage_data_watermark_age ungefähr dem Abstand des ältesten verzögerten Datensatzes zum Wasserzeichen. Wenn sich diese Differenz der zulässigen Verspätung nähert, besteht die Gefahr, dass verzögerte Datensätze verworfen werden. Prüfen Sie, ob verspätete Datensätze verworfen wurden. Sehen Sie sich dazu den Zähler droppedDueToLateness unter Benutzerdefinierte Zähler in derGoogle Cloud -Console an (siehe Vorbereitung).

Beide Messwerte werden in Sekunden angegeben und enthalten das Label stage. Weitere Informationen finden Sie unter Monitoring verwenden.

Nächste Schritte