Cette page explique comment utiliser l'onglet Détails de l'exécution dans l'interface de surveillance Dataflow.
Présentation
Lorsque Dataflow exécute une tâche, il convertit les étapes du pipeline en phases. Alors que chaque étape représente une transformation individuelle, une phase représente une seule unité de travail effectuée par Dataflow. Pour optimiser le pipeline, Dataflow peut fusionner plusieurs étapes en une seule phase.
L'onglet Détails de l'exécution de l'interface de surveillance Dataflow affiche des informations sur les phases d'une tâche. Vous pouvez utiliser l'onglet Détails de l'exécution pour résoudre les problèmes de performances, tels que :
- Les phases lentes qui entraînent des goulots d'étranglement au niveau des performances
- Les phases bloquées qui ne progressent pas
- Les VM de nœud de calcul qui sont en retard par rapport aux autres nœuds de calcul
Afficher les détails de l'exécution
Pour afficher les détails d'exécution d'une tâche, procédez comme suit :
Dans la Google Cloud console, accédez à Dataflow > Tâches.
Sélectionnez une tâche.
Cliquez sur l'onglet Détails de l'exécution.
Sélectionnez l'une des vues suivantes :
- Progression de la phase
- Workflow de la phase
- Progression du nœud de calcul (tâches par lot uniquement)
Les sections suivantes décrivent chacune de ces vues.
Vue Progression de la phase
La vue Progression de la phase vous permet d'observer la progression globale de la tâche et de comparer la progression relative entre les phases. La mise en page de la vue Progression de la phase diffère entre les tâches par lot et les tâches en flux continu.
Progression de la phase pour les tâches par lot
Pour les tâches par lot, la vue Progression de la phase affiche les phases de la tâche dans l'ordre de leur heure de début. Pour chaque phase, elle affiche les éléments suivants :
- Une barre indiquant les heures de début et de fin.
- Un graphique en courbes indiquant la progression de la phase au fil du temps en pourcentage du travail total de la phase.
- Le temps total passé dans la phase.
Pour filtrer les phases affichées, cliquez sur Filtrer les phases. Pour afficher le chemin critique, activez Chemin critique. Le chemin critique est la séquence de phases qui contribuent à l'exécution globale de la tâche. Par exemple, il exclut les branches qui se sont terminées plus tôt que la tâche globale et les entrées qui n'ont pas retardé le traitement en aval.
Le panneau Informations sur la phase affiche des informations plus détaillées sur une phase. Pour afficher les détails d'une phase, cliquez sur la barre de progression de cette phase. Le panneau Informations sur la phase affiche les informations suivantes sur une phase :
- État
- Progression en pourcentage
- Heures de début et de fin
- Les étapes du pipeline que cette phase englobe
- Les étapes les plus lentes par durée d'exécution
- Les détails sur les retardataires
Si le panneau n'est pas visible, cliquez sur Activer/désactiver le panneau "Informations sur la phase".
Progression de la phase pour les tâches en flux continu
Pour les tâches en flux continu, la vue Progression de la phase comporte deux visualisations de la fraîcheur des données. La fraîcheur des données correspond à la différence entre l'horodatage d'un élément de données et le moment où le}élément est traité. Plus les valeurs sont élevées, plus le pipeline met de temps à traiter les données d'entrée.
La première visualisation affiche la fraîcheur des données par phase sous forme de graphique en courbes. Pour afficher la fraîcheur des données à un instant précis, maintenez le pointeur sur le graphique. Pour sélectionner la période, utilisez le sélecteur de date et d'heure ou cliquez sur le graphique et faites glisser le pointeur pour sélectionner la période. Pour filtrer les phases affichées, cliquez sur Filtrer les phases.
Le graphique met également en évidence les anomalies dans les données :
- Lenteur potentielle : la fraîcheur des données dépasse le 95e centile pour la période sélectionnée.
- Blocage potentiel : la fraîcheur des données dépasse le 99e centile pour la période sélectionnée.
La deuxième visualisation affiche les phases sous forme de série de barres. Les phases sont organisées dans l'ordre topologique. Les phases sans descendants sont affichées en premier, suivies de leurs descendants. La longueur des barres représente la fraîcheur des données. Pour afficher les valeurs de fraîcheur des données à un point spécifique, cliquez sur le graphique. Les barres sont mises à jour pour afficher la fraîcheur des données à l'heure sélectionnée.
L'image suivante montre une tâche comportant quatre phases. À l'horodatage sélectionné, la fraîcheur des données varie de 9 à 13 secondes.
L'image suivante montre la même tâche avec un horodatage différent sélectionné. À ce stade, la fraîcheur des données pour toutes les phases dépasse 4 minutes, ce qui indique que le pipeline est peut-être bloqué.
Le panneau Informations sur la phase affiche des informations plus détaillées sur une phase. Pour afficher les détails d'une phase, cliquez sur la barre de progression de cette phase. Le panneau Informations sur la phase affiche les informations suivantes sur une phase :
- État
- Retard du système : délai d'attente maximal enregistré pour le traitement d'un élément de données
- Filigrane des données: heure de fin estimée de la saisie des données pour cette phase
- Les détails sur les retardataires
- Les étapes du pipeline que cette phase englobe
Si le panneau n'est pas visible, cliquez sur Activer/désactiver le panneau "Informations sur la phase".
Workflow de la phase
La vue Workflow de la phase affiche les phases de la tâche sous forme de graphique de workflow. Pour afficher les détails d'une phase, cliquez sur la case correspondante.
Pour les tâches par lot, cliquez sur Chemin critique pour n'afficher que les phases qui contribuent directement à l'exécution globale de la tâche.
Progression du nœud de calcul
Pour les tâches par lot, la vue Progression du nœud de calcul affiche les nœuds de calcul pour une phase donnée. Cette vue n'est pas disponible pour les tâches en flux continu. Pour accéder à cette vue, sélectionnez Progression du nœud de calcul , puis la phase dans Filtrer les nœuds de calcul par phase. Vous pouvez également activer cette vue à partir de la vue Progression de la phase comme suit :
- Dans la vue Progression de la phase, identifiez la phase que vous souhaitez afficher.
- Maintenez le pointeur sur la barre de cette phase.
- Dans la fiche Phase, cliquez sur Afficher les nœuds de calcul. La vue Progression du nœud de calcul s'affiche avec la phase présélectionnée.
Chaque barre correspond à un élément de travail programmé pour un nœud de calcul. Vous trouverez sous chaque nœud de calcul un graphique sparkline retraçant l'utilisation du processeur sur ce nœud de calcul, ce qui vous aide à repérer plus facilement les problèmes d'utilisation.
Étape suivante
- En savoir plus sur la résolution des problèmes liés aux pipelines Dataflow.
- Découvrez les différents composants de l'interface utilisateur Web de surveillance de Dataflow.