Nelle pipeline di streaming, un passaggio o una trasformazione lenti possono limitare la velocità effettiva e causare la propagazione del backlog, aumentando la latenza complessiva del job. Il rilevatore di colli di bottiglia di Dataflow identifica e mette in evidenza automaticamente i passaggi specifici che causano i backlog nella Google Cloud console, aiutandoti a diagnosticare e risolvere rapidamente i ritardi di esecuzione senza eseguire il debug per tentativi.
Per una panoramica concettuale di come Dataflow identifica i colli di bottiglia e propaga i backlog, consulta Informazioni sul rilevatore di colli di bottiglia di Dataflow.
Prima di iniziare
Prima di utilizzare il rilevatore di colli di bottiglia per la risoluzione dei problemi, assicurati che il job e il progetto soddisfino i seguenti requisiti:
- Hai un job di streaming Dataflow in esecuzione.
- Il job viene eseguito utilizzando Streaming Engine. Il rilevamento dei colli di bottiglia non è supportato per i job che non vengono eseguiti su Streaming Engine.
- Disponi delle autorizzazioni Identity and Access Management (IAM) necessarie per visualizzare i job di Dataflow. Per saperne di più, consulta Ruoli IAM di Dataflow.
Visualizzare i colli di bottiglia attivi nella Google Cloud console
Puoi visualizzare le notifiche e gli avvisi relativi ai colli di bottiglia attivi direttamente nell'interfaccia di monitoraggio di Dataflow.
Nella Google Cloud console, vai alla pagina Dataflow.
Nell'elenco dei job, seleziona il job di streaming per aprire la pagina dei dettagli del job.
Nella scheda Grafico del job, esamina il grafico di esecuzione:
- I passaggi che riscontrano colli di bottiglia attivi mostrano un'icona di avviso o di avviso colorata.
- Un avviso indica che in questo passaggio si è verificato un ritardo di elaborazione di oltre cinque minuti.
Fai clic sul passaggio che mostra l'icona di avviso.
Nel riquadro Informazioni sul passaggio sul lato destro dello schermo, individua la sezione Colli di bottiglia. In questa sezione vengono visualizzati:
- Il tipo di collo di bottiglia. Ad esempio, in ritardo, il backlog è stabile o bloccato.
- La probabile causa, se identificata dal motore di diagnostica.
- La durata e i dettagli diagnostici correlati.
Risolvere le cause dei colli di bottiglia
Per risolvere un collo di bottiglia, identifica la probabile causa nel riquadro Informazioni sul passaggio e segui le indicazioni passo passo per la causa in Risolvere i problemi relativi ai colli di bottiglia.
Monitorare i colli di bottiglia con Monitoring
Se vuoi configurare avvisi programmatici o visualizzare l'attività dei colli di bottiglia nel tempo, utilizza Monitoring. Il rilevatore di colli di bottiglia esporta le seguenti metriche:
dataflow.googleapis.com/job/is_bottleneck: un valore booleano che indica se la fase è un collo di bottiglia attivo, insieme alle etichette che specificano il tipo di collo di bottiglia e la probabile causa.dataflow.googleapis.com/job/backlogged_keys: il numero di chiavi di cui è stato eseguito il backup nella fase di collo di bottiglia.dataflow.googleapis.com/job/recommended_parallelism: il valore di parallelismo consigliato per alleviare il collo di bottiglia nella fase interessata.
Per informazioni sulla creazione di grafici e avvisi utilizzando queste metriche, consulta Utilizzare Monitoring per Dataflow.
Passaggi successivi
- Scopri di più sui concetti del rilevatore di colli di bottiglia di Dataflow.
- Segui la guida generale per la risoluzione dei problemi e il debug delle pipeline di Dataflow.