Metriche dei job Dataflow

Dataflow raccoglie le metriche per i tuoi job, che possono aiutarti a eseguire il debug degli errori, risolvere i problemi di prestazioni o ottimizzare la pipeline. L'interfaccia di monitoraggio di Dataflow mostra le visualizzazioni di queste metriche. Puoi anche utilizzare Cloud Monitoring per creare avvisi o query di Metrics Explorer.

Accedi alle metriche dei job

Per visualizzare le metriche di un job, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Dataflow > Job.

    Vai a Job

  2. Seleziona un job.

  3. Fai clic sulla scheda Metriche job.

  4. Seleziona una metrica da visualizzare.

  5. Per accedere a ulteriori informazioni nei grafici delle metriche dei job, fai clic su Esplora i dati.

Ogni metrica è organizzata nelle seguenti dashboard:

Per un elenco completo delle metriche di Dataflow, consulta metriche diGoogle Cloud .

Supporto e limitazioni

Quando utilizzi le metriche di Dataflow, tieni presente i seguenti dettagli.

  • A volte i dati dei job non sono disponibili in modo intermittente. Quando mancano dati, vengono visualizzati spazi vuoti nei grafici di monitoraggio dei job.

  • Alcuni di questi grafici sono specifici per le pipeline di streaming.

  • Per scrivere i dati delle metriche, un service account gestito dall'utente deve disporre dell'autorizzazione API IAM monitoring.timeSeries.create. Questa autorizzazione è inclusa nel ruolo Dataflow Worker.

  • Il servizio Dataflow segnala il tempo di CPU prenotato al termine dei job. Per i job illimitati (in modalità flusso), il tempo di CPU prenotato viene segnalato solo dopo l'annullamento o l'errore dei job. Pertanto, le metriche dei job non includono il tempo di CPU prenotato per i job di flussi di dati.

Metriche di scalabilità automatica

La scalabilità automatica orizzontale consente a Dataflow di scegliere il numero appropriato di istanze worker per il tuo job, aggiungendo o rimuovendo worker in base alle esigenze.

La sezione Scalabilità automatica della scheda Metriche job mostra il numero di worker e il numero target di worker nel tempo. Se il job utilizza Streaming Engine, mostra anche il numero minimo e massimo di worker.

Una visualizzazione dei dati che mostra il numero di worker in una pipeline.

Per visualizzare la cronologia delle modifiche della scalabilità automatica, fai clic su Altra cronologia. Viene visualizzata una tabella con informazioni sulla cronologia dei worker del job.

Tabella che mostra la cronologia dei worker di una pipeline.

Per visualizzare ulteriori informazioni sulla scalabilità automatica per i job di flussi di dati, fai clic sulla scheda Scalabilità automatica. Per saperne di più, consulta Monitora la scalabilità automatica di Dataflow.

Metriche della panoramica

Le seguenti metriche vengono visualizzate in Metriche di panoramica.

Aggiornamento dei dati

Questa metrica si applica solo ai job di flussi di dati.

L'aggiornamento dei dati è la differenza tra il momento in cui un elemento di dati viene elaborato (tempo di elaborazione) e il timestamp dell'elemento di dati (ora dell'evento). Valori più elevati indicano un ritardo maggiore tra l'ora dell'evento e l'ora di elaborazione.

Il grafico della aggiornamento dei dati mostra il valore massimo di aggiornamento dei dati in qualsiasi momento. Dataflow elabora più elementi in parallelo, quindi il grafico riflette l'elemento con il ritardo maggiore rispetto all'ora dell'evento.

Se alcuni dati di input non sono ancora stati elaborati, il watermark di output potrebbe essere ritardato, il che influisce sulla aggiornamento dei dati. Una differenza significativa tra il tempo del watermark e il tempo dell'evento potrebbe indicare un'operazione lenta o bloccata. Per saperne di più, consulta Watermark e dati in ritardo nella documentazione di Apache Beam.

La dashboard include i seguenti due grafici:

  • Aggiornamento dei dati per fase
  • Aggiornamento dei dati

Nell'immagine seguente, l'area evidenziata mostra una grande differenza tra l'ora dell'evento e l'ora del watermark di output, il che indica un'operazione lenta.

Una visualizzazione di dati che mostra l'aggiornamento dei dati in una pipeline di streaming.

I seguenti problemi potrebbero causare valori elevati per questa metrica:

  • Colli di bottiglia delle prestazioni: se la pipeline ha fasi con una latenza di sistema elevata o log che indicano trasformazioni bloccate, la pipeline potrebbe presentare problemi di prestazioni che potrebbero aumentare l'aggiornamento dei dati. Per ulteriori indagini, consulta Risolvi i problemi relativi ai job di flussi di dati lenti o bloccati.
  • Colli di bottiglia delle origini dati: se le origini dati hanno backlog in crescita, i timestamp degli eventi degli elementi potrebbero divergere dal watermark mentre attendono di essere elaborati. I backlog di grandi dimensioni sono spesso causati da colli di bottiglia delle prestazioni o da problemi delle origini dati che vengono rilevati meglio monitorando le origini utilizzate dalla pipeline.
    • Le origini non ordinate come Pub/Sub possono produrre watermark bloccati anche se l'output è elevato. Questa situazione si verifica perché gli elementi non vengono generati in ordine di timestamp e la watermark si basa sul timestamp minimo non elaborato.
  • Tentativi frequenti: se visualizzi errori che indicano che l'elaborazione degli elementi non è riuscita e che sono in corso nuovi tentativi, è possibile che i timestamp meno recenti degli elementi per cui sono stati eseguiti nuovi tentativi aumentino l'aggiornamento dei dati. L'elenco degli errori comuni di Dataflow può aiutarti a risolvere i problemi.

Se attivi l'avanzamento eager del watermark per il tuo job, Dataflow genera anche le seguenti metriche per fase in Metrics Explorer:

  • job/per_stage_data_watermark_age_with_late_data: l'età della filigrana dei dati della fase se l'avanzamento della filigrana eager fosse disattivato.
  • job/per_stage_oldest_pending_element_age: l'età dell'elemento in attesa più vecchio nella fase o a monte della fase, inclusi i record in ritardo.

Per saperne di più, consulta Monitora l'avanzamento del watermark eager.

Per i job di flussi di dati aggiornati di recente, le informazioni sullo stato del job e sulla watermark potrebbero non essere disponibili. L'operazione di aggiornamento apporta diverse modifiche che richiedono alcuni minuti per essere propagate all'interfaccia di monitoraggio di Dataflow. Prova ad aggiornare l'interfaccia di monitoraggio cinque minuti dopo aver aggiornato il job.

Latenza di sistema

Questa metrica si applica solo ai job di flussi di dati.

La latenza del sistema è il numero massimo attuale di secondi in cui un elemento di dati è stato elaborato o è in attesa di elaborazione. La metrica include il tempo di attesa degli elementi all'interno di un'origine. Ad esempio, se una destinazione di output smette di accettare richieste di scrittura per un periodo di tempo, i dati potrebbero accumularsi nell'origine, causando un aumento della latenza del sistema. Se le operazioni di scrittura riprendono e la pipeline riesce a recuperare, la latenza del sistema torna al livello di riferimento.

I seguenti casi sono considerazioni aggiuntive:

  • Per più origini e sink, la latenza di sistema è il tempo massimo che un elemento attende all'interno di un'origine prima di essere scritto in tutti i sink.
  • A volte, un'origine non fornisce un valore per il periodo di tempo in cui un elemento attende al suo interno. Inoltre, l'elemento potrebbe non avere metadati per definire l'ora dell'evento. In questo scenario, la latenza del sistema viene calcolata dal momento in cui la pipeline riceve l'elemento per la prima volta.

La dashboard include i seguenti due grafici:

  • Latenza di sistema per fase
  • Latenza di sistema

Una visualizzazione di dati che mostra la latenza di sistema in una pipeline di streaming.

Throughput

Il throughput è il volume di dati elaborati in un determinato momento. La dashboard include i seguenti grafici:

  • Throughput per passaggio in elementi al secondo
  • Throughput per passaggio in byte al secondo

Una visualizzazione dei dati che mostra la velocità effettiva di quattro passaggi in una pipeline.

Conteggio log errori del worker

Il Conteggio log errori del worker mostra la frequenza degli errori osservati in tutti i worker in un momento qualsiasi.

Un riepilogo di ogni errore registrato e del numero di volte in cui si è verificato.

Metriche dei flussi di dati

Le seguenti metriche vengono visualizzate in Metriche di streaming.

Backlog

Questa metrica si applica solo ai job di flussi di dati.

La dashboard Backlog fornisce informazioni sugli elementi in attesa di elaborazione. La dashboard include i seguenti due grafici:

  • Secondi di backlog (solo Streaming Engine)
  • Byte di backlog (con e senza Streaming Engine)

Il grafico Secondi di backlog mostra una stima del tempo in secondi necessario per smaltire il backlog attuale se non arrivano nuovi dati e il throughput non cambia. Il tempo di backlog stimato viene calcolato sia dal throughput sia dai byte di backlog dell'origine di input che devono ancora essere elaborati. Questa metrica viene utilizzata dalla funzionalità di scalabilità automatica in modalità flusso per determinare quando fare lo scale up o lo scale down.

Una visualizzazione dei dati che mostra il grafico dei secondi di backlog in una pipeline di streaming.

Il grafico Byte di backlog mostra la quantità di input non elaborato noto per una fase in byte. Questa metrica confronta i byte rimanenti da consumare in ogni fase con le fasi upstream. Affinché questa metrica generi report accurati, ogni origine importata dalla pipeline deve essere configurata correttamente. Le origini integrate come Pub/Sub e BigQuery sono già supportate, ma le origini personalizzate richiedono un'implementazione aggiuntiva. Per maggiori dettagli, consulta Scalabilità automatica per origini non limitate personalizzate.

Una visualizzazione dei dati che mostra il grafico dei byte di backlog in una pipeline di streaming.

Elaborazione

Questa metrica si applica solo ai job di flussi di dati.

Quando esegui una pipeline Apache Beam sul servizio Dataflow, le attività della pipeline vengono eseguite sulle VM worker. La dashboard Elaborazione fornisce informazioni sul tempo di elaborazione delle attività sulle VM worker. La dashboard include i seguenti due grafici:

  • Mappa termica delle latenze di elaborazione utente
  • Latenze di elaborazione utente per fase

La mappa termica delle latenze di elaborazione utente mostra le latenze massime delle operazioni per le distribuzioni del 50°, 95° e 99° percentile. Utilizza la mappa termica per verificare se eventuali operazioni long-tail causano un'elevata latenza complessiva del sistema o influiscono negativamente sull'aggiornamento complessivo dei dati.

Per risolvere un problema upstream prima che diventi un problema downstream, imposta una policy di avviso per latenze elevate nel 50° percentile.

Una visualizzazione dei dati che mostra il grafico della mappa termica delle latenze di elaborazione utente per una pipeline di streaming.

Il grafico Latenze di elaborazione utente per fase mostra il 99° percentile di tutte le attività elaborate dai worker, suddivise per fase. Se il codice utente causa un collo di bottiglia, questo grafico mostra quale fase lo contiene. Per eseguire il debug della pipeline, segui questi passaggi:

  1. Utilizza il grafico per trovare una fase con una latenza insolitamente elevata.

  2. Nella pagina dei dettagli del job, nella scheda Dettagli esecuzione, per Visualizzazione grafico, seleziona Workflow fase. Nel grafico Workflow delle fasi, trova la fase con una latenza insolitamente elevata.

  3. Per trovare le operazioni utente associate, fai clic sul nodo della fase nel grafico.

  4. Per trovare ulteriori dettagli, vai a Cloud Profiler e utilizzalo per eseguire il debug dell'analisi dello stack nell'intervallo di tempo corretto. Cerca le operazioni utente che hai identificato nel passaggio precedente.

Una visualizzazione dei dati che mostra il grafico delle latenze di elaborazione utente per fase per una pipeline di streaming.

Durate per stato dell'elemento di lavoro attivo

Questa metrica si applica solo ai job di flussi di dati.

La metrica Durate per stato dell'elemento di lavoro attivo (worker/time_per_active_work_item_state) fornisce informazioni sulla latenza relative alle fasi chiave del ciclo di vita di un elemento di lavoro. A differenza delle metriche aggregate di alto livello, questa valutazione consente di attribuire con precisione la latenza suddividendo le latenze a livello di fase in fasi distinte. Ad esempio, puoi esaminare la latenza in base a fasi come il recupero dei dati (READ), l'esecuzione del codice utente (ACTIVE) e la persistenza dello stato (COMMIT).

Supporto delle versioni del runner

Sebbene la metrica sia completamente supportata sul runner Java di flussi di dati, è parzialmente supportata sul runner portatile.

Questa tabella riassume gli stati di latenza e il relativo supporto da parte del runner.

Stato della latenza Supporto di Streaming Java Runner Supporto di Portable Runner
GET_WORK Supportato Non supportata
QUEUED Supportato Supportato
ACTIVE Supportato Supportato
READ Supportato Supportato
COMMIT Supportato Supportato

Definizioni degli stati di latenza e risoluzione dei problemi

Le sezioni seguenti definiscono ogni stato di latenza e includono informazioni per la risoluzione dei problemi.

GET_WORK

  • Questo è il tempo impiegato da un worker utente per richiedere elementi di lavoro e dal backend Dataflow per assegnarli e consegnarli.
  • Per le fasi ETL tipiche, un tempo stabile di 0-1 secondi indica una connessione integra. I valori effettivi variano in base alla complessità del workload e al volume dei dati.

QUEUED

  • Questo è il tempo che un elemento di lavoro trascorre nel buffer locale del worker prima che un thread sia disponibile per l'elaborazione.
  • Se le latenze di QUEUED superano 1 secondo, il lavoro arriva più velocemente di quanto i thread possano elaborarlo. Per le fasi ETL tipiche, le latenze inferiori a 1 secondo sono considerate normali. I valori effettivi variano a seconda della complessità del workload e del volume dei dati.

ACTIVE

  • Questo è il tempo impiegato per l'esecuzione del codice DoFn.
  • La latenza ACTIVE si riferisce al tempo impiegato per elaborare un bundle di elementi, non un singolo elemento.
  • Aumenti improvvisi di questo valore di latenza potrebbero indicare una limitazione da parte di chiamate RPC esterne o casi limite costosi dal punto di vista computazionale. Utilizza le metriche di DoFn per identificare la DoFns specifica che causa il ritardo.

READ

  • Questo è il tempo impiegato per recuperare i dati, incluse le letture esplicite dello stato e le letture implicite durante un'operazione GroupByKey.
  • Un tempo di READ elevato è spesso causato da letture di grandi dimensioni su una singola chiave. Esamina i pattern di accesso allo stato o utilizza stato e timer per evitare di bloccare i thread.

COMMIT

  • Questo è il tempo impiegato per inviare i risultati (aggiornamenti di stato ed elementi di output) al backend di Dataflow e ricevere una conferma.
  • Un tempo di COMMIT elevato è spesso causato dalla scrittura di payload di grandi dimensioni o dall'aggiornamento di oggetti di stato di grandi dimensioni. Verifica la presenza di hot key utilizzando lo stato del collo di bottiglia.

Parallelismo

Questa metrica si applica solo ai job di Streaming Engine.

Il grafico Elaborazione parallela mostra il numero approssimativo di chiavi in uso per il trattamento dati per ogni fase. Dataflow scala in base al parallelismo di una pipeline.

Quando Dataflow esegue una pipeline, l'elaborazione viene distribuita su più macchine virtuali (VM) di Compute Engine, note anche come worker. Il servizio Dataflow parallelizza e distribuisce automaticamente la logica di elaborazione della pipeline ai worker. L'elaborazione di una determinata chiave viene serializzata, pertanto il numero totale di chiavi per una fase rappresenta il parallelismo massimo disponibile in quella fase.

Le metriche di parallelismo possono essere utili per trovare hot key o colli di bottiglia per pipeline lente o bloccate.

Una visualizzazione dei dati che mostra il grafico dell'elaborazione parallela in una pipeline di streaming.

Persistenza

Questa metrica si applica solo ai job di flussi di dati.

La dashboard Persistenza fornisce informazioni sulla frequenza con cui lo spazio di archiviazione permanente viene scritto e letto da una determinata fase della pipeline in byte al secondo. I byte letti e scritti includono le operazioni relative allo stato utente e lo stato per shuffle persistenti, rimozione di duplicati, input secondari e monitoraggio dei watermark. I codificatori e la memorizzazione nella cache della pipeline influiscono sui byte letti e scritti. I byte di archiviazione potrebbero differire dai byte elaborati a causa dell'utilizzo dello spazio di archiviazione interno e della memorizzazione nella cache.

La dashboard include i seguenti due grafici:

  • Scrittura spazio di archiviazione
  • Lettura spazio di archiviazione

Una visualizzazione dei dati che mostra il grafico di scrittura dello spazio di archiviazione per una pipeline di streaming.

Duplicati

Questa metrica si applica solo ai job di flussi di dati.

Il grafico Duplicati mostra il numero di messaggi in fase di elaborazione in una determinata fase che sono stati filtrati come duplicati. Dataflow supporta molte origini e destinazioni che garantiscono l'invio at least once. Lo svantaggio della distribuzione at least once è che può generare duplicati. Dataflow utilizza la distribuzione exactly once, il che significa che i duplicati vengono filtrati automaticamente. Le fasi downstream non devono rielaborare gli stessi elementi, il che garantisce che lo stato e gli output non vengano influenzati. La pipeline può essere ottimizzata per le risorse e le prestazioni riducendo il numero di prodotti duplicati prodotti in ogni fase.

Una visualizzazione dei dati che mostra il grafico dei duplicati in una pipeline di streaming.

Timer

Questa metrica si applica solo ai job di flussi di dati.

La dashboard Timer fornisce informazioni sul numero di timer in attesa e sul numero di timer già elaborati in una determinata fase della pipeline. Poiché le finestre si basano sui timer, questa metrica ti consente di monitorare l'avanzamento delle finestre.

La dashboard include i seguenti due grafici:

  • Timer in attesa per fase
  • Timer in elaborazione per fase

Questi grafici mostrano la frequenza con cui le finestre sono in attesa o in fase di elaborazione in un momento specifico. Il grafico Timer in attesa per fase indica quante finestre sono in ritardo a causa di colli di bottiglia. Il grafico Timer elaborati per fase indica quante finestre stanno raccogliendo elementi.

Questi grafici mostrano tutti i timer dei job, quindi se i timer vengono utilizzati altrove nel codice, vengono visualizzati anche in questi grafici.

Una visualizzazione dei dati che mostra il numero di timer in attesa in una determinata fase.

Una visualizzazione dei dati che mostra il numero di timer già elaborati in una determinata fase.

Metriche risorsa

Le seguenti metriche vengono visualizzate in Metriche delle risorse.

Utilizzo CPU

L'utilizzo della CPU è la quantità di CPU utilizzata divisa per la quantità di CPU disponibile per l'elaborazione. Questa metrica per worker viene visualizzata come percentuale. La dashboard include i seguenti quattro grafici:

  • Utilizzo CPU (tutti i worker)
  • Utilizzo della CPU (statistiche)
  • Utilizzo CPU (primi 4)
  • Utilizzo CPU (ultimi 4)

Una visualizzazione dei dati animata che mostra l'utilizzo della CPU per un worker Dataflow.

Utilizzo della memoria

L'utilizzo della memoria è la quantità stimata di memoria utilizzata dai worker in byte al secondo. La dashboard include i seguenti due grafici:

  • Utilizzo massimo della memoria da parte del worker (byte al secondo stimati)
  • Utilizzo della memoria (byte/sec stimati)

Il grafico Utilizzo massimo della memoria dei worker fornisce informazioni sui worker che utilizzano la maggior parte dell'utilizzo della memoria nel job Dataflow in ogni momento. Se, in punti diversi di un job, il worker che utilizza la quantità massima di memoria cambia, la stessa riga del grafico mostra i dati di più worker. Ogni punto dati della linea mostra i dati relativi al worker che utilizza la quantità massima di memoria in quel momento. Il grafico confronta la memoria stimata utilizzata dal worker con il limite di memoria in byte.

Puoi utilizzare questo grafico per risolvere i problemi di memoria esaurita (OOM). Gli arresti anomali dei worker per memoria esaurita non sono mostrati in questo grafico.

Il grafico Utilizzo della memoria mostra una stima della memoria utilizzata da tutti i worker nel job Dataflow rispetto al limite di memoria in byte.

Metriche di input e output

Se il job Dataflow in modalità flusso legge o scrive record utilizzando Pub/Sub, la scheda Metriche job mostra le metriche per le letture o le scritture di Pub/Sub.

Tutte le metriche di input dello stesso tipo vengono combinate, così come tutte le metriche di output. Ad esempio, tutte le metriche Pub/Sub sono raggruppate in una sezione. Ogni tipo di metrica è organizzato in una sezione separata. Per modificare le metriche visualizzate, seleziona la sezione a sinistra che meglio rappresenta le metriche che stai cercando. Le immagini seguenti mostrano tutte le sezioni disponibili.

Un'immagine di esempio che mostra le sezioni di input e output separate per un job Dataflow.

I due grafici seguenti vengono visualizzati sia nella sezione Metriche di input sia nella sezione Metriche di output.

Una serie di grafici che mostrano le metriche di input e output per un job Dataflow.

Richieste al secondo

Le richieste al secondo indicano la frequenza delle richieste API per leggere o scrivere dati dall'origine o dal sink nel tempo. Se questa frequenza scende a zero o diminuisce in modo significativo per un periodo di tempo prolungato rispetto al comportamento previsto, la pipeline potrebbe non essere in grado di eseguire determinate operazioni. Inoltre, potrebbero non esserci dati da leggere. In questo caso, esamina i passaggi del job con un watermark di sistema elevato. Inoltre, esamina i log dei worker per individuare errori o indicazioni su un'elaborazione lenta.

Un grafico che mostra il numero di richieste API per leggere o scrivere dati dall'origine o dal sink nel tempo.

Errori di risposta al secondo per tipo di errore

Errori di risposta al secondo per tipo di errore è la frequenza delle richieste API non riuscite per la lettura o la scrittura di dati da parte dell'origine o del sink nel tempo. Se questi errori si verificano di frequente, queste richieste API potrebbero rallentare l'elaborazione. Queste richieste API non riuscite devono essere esaminate. Per risolvere questi problemi, consulta i codici di errore di input e output generali. Consulta anche la documentazione specifica sui codici di errore utilizzata dall'origine o dal sink, ad esempio i codici di errore di Pub/Sub.

Un grafico che mostra la percentuale di richieste API non riuscite per la lettura o la scrittura di dati da parte dell'origine o del sink nel tempo.

Per saperne di più sugli scenari in cui puoi utilizzare queste metriche per il debug, consulta Strumenti per il debug in "Risolvi i problemi relativi ai job lenti o bloccati".

Usa Cloud Monitoring

Dataflow è completamente integrato con Cloud Monitoring. Utilizza Cloud Monitoring per le seguenti attività:

  • Crea avvisi quando il job supera una soglia definita dall'utente.
  • Utilizza Esplora metriche per creare query e regolare l'intervallo di tempo delle metriche.
  • Visualizzare le metriche che non vengono visualizzate nell'interfaccia di monitoraggio di Dataflow.

Per istruzioni sulla creazione di avvisi e sull'utilizzo di Metrics Explorer, consulta Utilizza Cloud Monitoring per le pipeline Dataflow.

Per l'elenco completo delle metriche di Dataflow, consulta la documentazione sulle metriche diGoogle Cloud .

Crea avvisi di Cloud Monitoring

Cloud Monitoring ti consente di creare avvisi quando il job Dataflow supera una soglia definita dall'utente. Per creare un avviso di Cloud Monitoring da un grafico delle metriche, fai clic su Crea policy di avviso.

Se non riesci a visualizzare i grafici di monitoraggio o a creare avvisi, potresti aver bisogno di ulteriori autorizzazioni di Monitoring.

Visualizza in Esplora metriche

Puoi visualizzare i grafici delle metriche di Dataflow in Esplora metriche, dove puoi creare query e regolare il periodo di tempo delle metriche.

Per visualizzare i grafici di Dataflow in Metrics Explorer, nella visualizzazione Metriche job, apri Altre opzioni del grafico e fai clic su Visualizza in Esplora metriche.

Quando modifichi il periodo di tempo delle metriche, puoi selezionare una durata predefinita o un intervallo di tempo personalizzato per analizzare il job.

Per impostazione predefinita, per i job di flussi di dati e i job batch in corso, vengono visualizzate le metriche delle sei ore precedenti per quel job. Per i job di flussi di dati interrotti o completati, la visualizzazione predefinita mostra l'intero runtime della durata del job.

Metriche di I/O di Dataflow

In Esplora metriche puoi visualizzare le seguenti metriche di I/O di Dataflow:

Metriche DoFn

Per i job di flussi di dati che utilizzano Streaming Engine e non utilizzano il Portable Runner, puoi visualizzare le seguenti metriche per i singoli DoFns definiti dall'utente:

  • job/dofn_latency_average: il tempo medio di elaborazione dei messaggi per un singolo DoFn nell'ultima finestra di 3 minuti, in millisecondi.
  • job/dofn_latency_max: il tempo massimo di elaborazione dei messaggi per un singolo DoFn nell'ultima finestra di 3 minuti, in millisecondi.
  • job/dofn_latency_min: il tempo minimo di elaborazione dei messaggi per un singolo DoFn nell'ultima finestra di 3 minuti, in millisecondi.
  • job/dofn_latency_num_messages: il numero di messaggi elaborati da un singolo DoFn negli ultimi 3 minuti.
  • job/dofn_latency_total: il tempo totale di elaborazione dei messaggi per tutti i messaggi in un singolo DoFn nell'ultima finestra di 3 minuti, in millisecondi.
  • job/oldest_active_message_age: da quanto tempo è in corso l'elaborazione del messaggio attivo meno recente all'interno di un DoFn, in millisecondi.

Queste metriche richiedono l'SDK Apache Beam versione 2.53.0 o successive. Per visualizzare queste metriche, utilizza Esplora metriche.

Puoi utilizzare queste metriche per scoprire quali DoFns contribuiscono maggiormente alla latenza di elaborazione nei tuoi job. Ad esempio, se un job è bloccato, utilizza la metrica job/oldest_active_message_age per trovare la DoFn con il messaggio attivo meno recente. L'immagine seguente mostra un DoFn con un picco elevato in questa metrica:

Un grafico che mostra un DoFn con un outlier per il messaggio attivo meno recente.

Per visualizzare il nome di DoFn, tieni il puntatore sopra la linea del grafico.

Passaggi successivi