Dans les pipelines de flux, une étape ou une transformation lente peut limiter le débit et entraîner une propagation des tâches en attente, ce qui augmente la latence globale des tâches. Le détecteur de goulots d'étranglement Dataflow identifie et met automatiquement en évidence les étapes spécifiques qui provoquent des tâches en attente dans la Google Cloud console. Vous pouvez ainsi diagnostiquer et résoudre rapidement les retards d'exécution sans débogage par essais et erreurs.
Pour obtenir une présentation conceptuelle de la façon dont Dataflow identifie les goulots d'étranglement et propage les tâches en attente, consultez À propos du détecteur de goulots d'étranglement Dataflow.
Avant de commencer
Avant d'utiliser le détecteur de goulots d'étranglement pour résoudre les problèmes, assurez-vous que votre tâche et votre projet répondent aux exigences suivantes :
- Vous disposez d'une tâche Dataflow en flux continu en cours d'exécution.
- Votre tâche est exécutée à l'aide de Streaming Engine. La détection des goulots d'étranglement n'est pas compatible avec les tâches qui ne s'exécutent pas sur Streaming Engine.
- Vous disposez des autorisations Identity and Access Management (IAM) requises pour afficher les tâches Dataflow. Pour en savoir plus, consultez Rôles IAM Dataflow.
Afficher les goulots d'étranglement actifs dans la Google Cloud console
Vous pouvez afficher les notifications et les alertes de goulot d'étranglement actifs directement dans l'interface de surveillance Dataflow.
Dans la Google Cloud console, accédez à la page Dataflow.
Dans la liste des tâches, sélectionnez votre tâche en flux continu pour ouvrir la page d'informations de la tâche.
Sous l'onglet Graphique de la tâche, examinez le graphique d'exécution :
- Les étapes qui rencontrent des goulots d'étranglement actifs affichent une icône d'avertissement ou d'alerte colorée.
- Une alerte indique qu'un délai de traitement de plus de cinq minutes s'est produit à cette étape.
Cliquez sur l'étape qui affiche l'icône d'avertissement.
Dans le panneau Informations sur l'étape à droite de l'écran, recherchez la section Goulots d'étranglement. Cette section affiche les éléments suivants :
- Le type de goulot d'étranglement. Par exemple, en retard, tâches en attente stables ou bloquées.
- La cause probable, si elle est identifiée par le moteur de diagnostic.
- La durée et les détails de diagnostic associés.
Résoudre les causes des goulots d'étranglement
Pour résoudre un goulot d'étranglement, identifiez la cause probable dans le panneau Informations sur l'étape et suivez les instructions détaillées pour la cause dans Résoudre les goulots d'étranglement.
Surveiller les goulots d'étranglement avec Monitoring
Si vous souhaitez configurer des alertes programmatiques ou afficher l'activité des goulots d'étranglement au fil du temps, utilisez Monitoring. Le détecteur de goulots d'étranglement exporte les métriques suivantes :
dataflow.googleapis.com/job/is_bottleneck: valeur booléenne indiquant si l'étape est un goulot d'étranglement actif, ainsi que des libellés spécifiant le type de goulot d'étranglement et la cause probable.dataflow.googleapis.com/job/backlogged_keys: nombre de clés sauvegardées dans l'étape de goulot d'étranglement.dataflow.googleapis.com/job/recommended_parallelism: valeur de parallélisme recommandée pour atténuer le goulot d'étranglement dans l'étape concernée.
Pour savoir comment créer des graphiques et des alertes à l'aide de ces métriques, consultez Utiliser Monitoring pour Dataflow.
Étape suivante
- En savoir plus sur les concepts du détecteur de goulots d'étranglement Dataflow.
- Suivez le guide général pour résoudre les problèmes et déboguer les pipelines Dataflow.