In una pipeline di streaming Dataflow, i record in ritardo o non in ordine possono bloccare il watermark della pipeline. Questi tipi di record derivano da casi in cui si verificano discrepanze temporali, ad esempio eventi provenienti da dispositivi offline o client con sfasamento dell'orologio. Un watermark bloccato ritarda i risultati con finestra temporale e i timer del tempo dell'evento e può causare picchi improvvisi nell'utilizzo dei worker quando i dati ritardati vengono finalmente cancellati.
Puoi impedire che i record in ritardo blocchino la pipeline attivando l'avanzamento eager del watermark per i job Streaming Engine. Quando attivi questa funzionalità, Dataflow continua a elaborare i record in ritardo, ma questi record non bloccano il watermark, consentendo l'esecuzione delle finestre e dei timer come pianificato.
L'abilitazione dell'avanzamento eager del watermark ti aiuta a ottenere i seguenti risultati:
- Latenza prevedibile: genera aggregazioni con finestre in tempo e esegui timer di event-time in base alla pianificazione senza attendere che i record in ritardo terminino l'elaborazione.
- Utilizzo più fluido dei worker: chiudi le finestre ed esegui i timer in modo costante man mano che i dati on-time fanno avanzare il watermark, evitando picchi di utilizzo dei worker dovuti alla chiusura simultanea delle finestre in arretrato.
Panoramica
In una pipeline di streaming, la filigrana è una soglia che indica che Dataflow ha monitorato che i dati fino a questo punto sono stati elaborati. Le aggregazioni con finestra generano risultati puntuali e i timer del tempo dell'evento vengono eseguiti solo dopo che la filigrana supera la fine della finestra o il timestamp del timer.
Per impostazione predefinita, il watermark si basa sul timestamp minimo dell'evento non elaborato e non si sposta mai indietro. Quando un record arriva con un timestamp dell'evento precedente al watermark corrente, il watermark si blocca fino al termine dell'elaborazione del record. Poiché i watermark downstream non possono avanzare oltre i watermark upstream, un watermark upstream bloccato blocca ogni fase successiva. Man mano che un record in ritardo si sposta nella pipeline, il watermark di ogni fase rimane bloccato finché l'elaborazione del record non viene completata in quella fase. Anche se la pipeline è in buone condizioni, questa cascata ritarda i risultati con finestra e i timer del tempo dell'evento per i dati puntuali in tutte le fasi downstream. Quando i record in ritardo vengono finalmente cancellati, i watermark avanzano rapidamente, spesso attivando una serie di chiusure di finestre che aumenta l'utilizzo dei worker.
L'avanzamento rapido del watermark modifica questo comportamento per i job di Streaming Engine disaccoppiando i record in ritardo dalla progressione del watermark. Quando un record arriva con un timestamp dell'evento precedente al watermark attuale, Dataflow elabora il record senza trattenere il watermark della fase. Il watermark continua ad avanzare in base ai dati puntuali, mentre i record in ritardo vengono elaborati e restituiti in base alla configurazione del ritardo consentito della pipeline.
Quando utilizzare l'avanzamento eager del watermark
L'avanzamento rapido della filigrana è efficace nei seguenti scenari in cui l'avanzamento della filigrana è bloccato da record che arrivano dopo la filigrana corrente:
- Picchi di dati ritardati: scenari in cui dispositivi mobili, sensori IoT o apparecchiature di rete vanno offline per ore o giorni, memorizzano gli eventi nel buffer localmente e generano un picco di dati storici al momento della riconnessione.
- Timestamp degli eventi non in ordine in Pub/Sub: argomenti Pub/Sub in cui i messaggi arrivano con timestamp degli eventi precedenti al watermark di origine o argomenti con pochi dati in cui il watermark di una sottoscrizione inattiva avanza al tempo reale tra i messaggi.
- Recupero delle partizioni Kafka: origini Kafka configurate con l'ora dell'evento o
CreateTime, in cui il watermark di una partizione avanza mentre la partizione è inattiva e la partizione riceve un backlog di record meno recenti. - Timestamp passati personalizzati: trasformazioni utente che generano record con timestamp storici utilizzando
outputWithTimestamp.
Dati in ritardo con aggregazioni con finestre
Senza l'avanzamento eager della filigrana, una filigrana bloccata mantiene aperte le finestre. Se la filigrana rimane bloccata per un periodo di tempo sufficiente, i record ritardati che arrivano in un secondo momento possono essere conteggiati come puntuali, il che fornisce una protezione involontaria contro i dati in ritardo. Con l'avanzamento eager del watermark, i record in ritardo non bloccano più il watermark, quindi un numero maggiore di record viene classificato correttamente come in ritardo. I record in ritardo entro il ritardo consentito vengono visualizzati in riquadri in ritardo, mentre i record in ritardo successivi vengono esclusi dai risultati della finestra.
Quando non viene applicato l'avanzamento eager della filigrana
L'avanzamento rapido del watermark non risolve il ritardo del watermark causato dalla lentezza dell'elaborazione dei dati puntuali. Se le trasformazioni richiedono molto tempo per elaborare i record on-time a causa di operazioni ad alta intensità di calcolo, RPC esterne lente o colli di bottiglia della CPU e della memoria dei worker, la filigrana viene trattenuta da questi elementi lenti. L'avanzamento eager della filigrana disaccoppia solo i dati che sono già dietro la filigrana. Non accelera l'elaborazione on-time lenta.
Supporto e limitazioni
Tutte le versioni dell'SDK Apache Beam eseguite su Streaming Engine (Java, Python e Go) supportano l'avanzamento eager del watermark. Non è necessario eseguire l'upgrade dell'SDK.
L'avanzamento eager della filigrana presenta i seguenti requisiti e limitazioni:
- Streaming Engine obbligatorio: la pipeline deve utilizzare Streaming Engine.
- Solo job di streaming: puoi attivare l'avanzamento eager della watermark solo per le pipeline di streaming.
- Ritardo consentito: per gestire i record in ritardo nelle aggregazioni con finestre o nell'elaborazione stateful, imposta il ritardo consentito in modo da coprire i ritardi previsti prima di attivare l'avanzamento eager del watermark. I record successivi al ritardo consentito vengono ignorati. Per maggiori dettagli, vedi Dati in ritardo.
- Origini limitate: se tutte le origini di un job di flussi di dati sono limitate, il job non termina automaticamente quando l'input termina. Per interrompere il job, svuotalo.
- Solo job nuovi o sostitutivi: non puoi modificare l'avanzamento eager del watermark su un job in esecuzione attiva. Per attivare o disattivare la funzionalità per una pipeline esistente, devi eseguire il deployment di un job sostitutivo utilizzando l'opzione di aggiornamento della pipeline.
Prima di iniziare
Prima di attivare l'avanzamento eager della filigrana, segui questi passaggi:
- Configura il ritardo consentito per coprire i ritardi previsti.
- Verifica che il trigger, la modalità di accumulo e la gestione di
PaneInfodella pipeline funzionino con i riquadri in ritardo.
Dopo aver attivato l'avanzamento eager del watermark, monitora il contatore droppedDueToLateness in Contatori personalizzati nel riquadro Informazioni job della console Google Cloud per verificare che i dati in ritardo ignorati rimangano a un tasso accettabile per il tuo caso d'uso.
Attiva l'avanzamento eager del watermark
Per attivare l'avanzamento eager del watermark, imposta l'opzione di servizio enable_eager_watermark_advancement quando avvii una pipeline:
Java
--dataflowServiceOptions=enable_eager_watermark_advancement
Python
--dataflow_service_options=enable_eager_watermark_advancement
Vai
--dataflow_service_options=enable_eager_watermark_advancement
gcloud
Quando esegui un template utilizzando il comando gcloud dataflow jobs run o un template flessibile utilizzando il comando gcloud dataflow flex-template run, includi i flag --enable-streaming-engine e --additional-experiments:
gcloud dataflow flex-template run JOB_NAME \
--template-file-gcs-location=TEMPLATE_LOCATION \
--region=REGION \
--enable-streaming-engine \
--additional-experiments=enable_eager_watermark_advancement
Sostituisci i seguenti valori:
JOB_NAME: il nome del job DataflowTEMPLATE_LOCATION: il percorso Cloud Storage del file di specifica del template flessibileREGION: la regione in cui viene eseguito il job
Terraform
Imposta additional_experiments sulla risorsa google_dataflow_flex_template_job o google_dataflow_job:
resource "google_dataflow_flex_template_job" "pipeline" {
# ...
enable_streaming_engine = true
additional_experiments = ["enable_eager_watermark_advancement"]
}
REST
Utilizza il campo additionalExperiments nell'oggetto RuntimeEnvironment o nell'oggetto FlexTemplateRuntimeEnvironment quando avvii un template flessibile:
{
"additionalExperiments": ["enable_eager_watermark_advancement"]
}
Console
Nella console Google Cloud , vai alla pagina Job di Dataflow.
Fai clic su Crea job da modello.
Seleziona un modello dal menu Modello Dataflow.
Espandi Parametri facoltativi.
Nel campo Esperimenti aggiuntivi, inserisci
enable_eager_watermark_advancement.Fai clic su Esegui job.
Verifica che l'avanzamento eager della filigrana sia abilitato
Quando un job viene avviato o aggiornato con l'avanzamento eager del watermark abilitato, i log del job contengono il seguente messaggio:
Eager watermark advancement is enabled for this job.
Quando un aggiornamento attiva o disattiva l'avanzamento eager del watermark, i log del job contengono un messaggio simile al seguente:
Eager watermark advancement setting changed during a job update. Old setting: false, New setting: true
Puoi anche controllare la sezione Opzioni pipeline del riquadro Informazioni job.
L'opzione enable_eager_watermark_advancement viene visualizzata nella riga dataflowServiceOptions o nella riga experiments se la imposti come esperimento.
Disattiva l'avanzamento eager della filigrana
Non puoi disattivare l'avanzamento eager del watermark su un job in esecuzione attiva. Per disattivare la funzionalità per una pipeline esistente, avvia un job di sostituzione utilizzando l'opzione della pipeline --update e ometti enable_eager_watermark_advancement dalle opzioni di sostituzione. Per saperne di più, consulta Aggiorna una pipeline di streaming.
Poiché la watermark non torna mai indietro, quella del job sostitutivo continua da quella del job precedente e riprende il comportamento di avanzamento predefinito.
Monitora l'avanzamento della filigrana eager
Per i job per cui è abilitato l'avanzamento eager del watermark, Dataflow segnala le seguenti metriche per fase a Cloud Monitoring. Utilizza queste metriche insieme alla metrica standard dataflow.googleapis.com/job/per_stage_data_watermark_age (aggiornamento dei dati) per valutare i dati ritardati e la latenza del watermark:
dataflow.googleapis.com/job/per_stage_data_watermark_age_with_late_data: l'età della filigrana dei dati della fase se l'avanzamento della filigrana eager fosse disattivato. La differenza tra questa metrica eper_stage_data_watermark_ageè la latenza del watermark che viene rimossa dall'avanzamento eager del watermark.dataflow.googleapis.com/job/per_stage_oldest_pending_element_age: l'età dell'elemento in attesa più vecchio nella fase o a monte della fase, inclusi i record in ritardo. Per le pipeline con aggregazioni con finestra, la differenza tra questa metrica eper_stage_data_watermark_ageapprossima il ritardo del record ritardato meno recente rispetto al watermark. Se questa differenza si avvicina al ritardo consentito, i record in ritardo rischiano di essere eliminati. Per verificare se sono stati eliminati record in ritardo, controlla il contatoredroppedDueToLatenessin Contatori personalizzati nella consoleGoogle Cloud (vedi Prima di iniziare).
Entrambe le metriche sono riportate in secondi e includono un'etichetta stage. Per saperne di più, consulta Utilizza Monitoring.
Passaggi successivi
- Scopri di più su watermark e dati in ritardo.
- Scopri come aggiornare una pipeline di streaming.
- Risolvi i problemi relativi ai job di flussi di dati lenti o bloccati.