Tableau de bord de surveillance des projets Dataflow

L'interface de surveillance Web de Dataflow comprend un tableau de bord qui surveille vos jobs Dataflow au niveau du projet. Les graphiques affichent les données de toutes les jobs d'un projet.

Accéder au tableau de bord

Le tableau de bord peut vous aider dans les tâches suivantes :

  • Détecter et identifier la source des erreurs de quota.
  • Détecter l'autoscaling horizontal anormal dans un job.
  • Identifier les jobs de traitement en flux continu lents ou bloqués.

Le tableau de bord utilise Cloud Monitoring pour accéder aux métriques de jobs Dataflow. Pour personnaliser les informations affichées dans les graphiques, utilisez l'explorateur de métriques.

Fonctionnalités

Le tableau de bord inclut les fonctionnalités suivantes :

  • Choisissez les jobs qui apparaissent dans le tableau de bord à l'aide d'expressions régulières.
  • Accédez à la page des détails du job à partir de graphiques individuels.
  • Personnalisez les widgets et les graphiques du tableau de bord.

Rôles requis

Pour obtenir l'autorisation dont vous avez besoin pour afficher les données du graphique, demandez à votre administrateur de vous accorder le rôle IAM Lecteur Monitoring (roles/monitoring.viewer). Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient l'autorisation monitoring.timeSeries.list, qui est nécessaire pour afficher les données du graphique.

Vous pouvez également obtenir cette autorisation avec des rôles personnalisés ou d'autres rôles prédéfinis.

Accéder au tableau de bord

Pour accéder au tableau de bord, procédez comme suit :

  1. Connectez-vous à la console Google Cloud .
  2. Sélectionnez votre projet Google Cloud Platform.
  3. Ouvrez le menu de navigation.
  4. Dans Analyse, cliquez sur Dataflow.

  5. Dans le menu de navigation Dataflow, cliquez sur Surveillance.

    Accéder au tableau de bord

Métriques du tableau de bord

Par défaut, les graphiques de série temporelle suivants s'affichent dans le tableau de bord. Pour en savoir plus sur les métriques affichées, consultez Métriques du job.

Les graphiques suivants s'appliquent aux jobs de traitement par lot et par flux :

  • Exécuter des jobs Affiche le nombre de jobs actifs en cours d'exécution dans le projet. Ce graphique indique l'activité Dataflow globale dans le projet au fil du temps.
  • Nœuds de calcul par job (25 principaux) Affiche le nombre actuel de nœuds de calcul pour les 25 jobs les plus parallélisés. Ce graphique est utile pour comprendre l'allocation des ressources et identifier les tâches à forte charge de travail. Vous pouvez également voir si les jobs présentent un comportement de scaling inattendu.
  • Nombre total de vCPU Affiche le nombre total de processeurs virtuels (vCPU) utilisés dans tous les jobs du projet. Le nombre total de vCPU affecte les quotas Compute Engine.
  • vCPU par job (25 principaux) Affichez les 25 jobs qui consomment le plus de ressources de processeur virtuel. Ce graphique met en évidence les tâches potentiellement coûteuses.
  • Nombre total de vCPU Affiche un agrégat à l'échelle du projet des vCPU utilisés. Ce graphique offre une vue d'ensemble des ressources Compute Engine consommées par vos jobs.
  • Erreurs de dépassement de quota Signale toutes les instances où les quotas Dataflow ou les quotas Compute Engine ont été atteints. Ce graphique peut vous aider à identifier les échecs de jobs potentiels ou les ralentissements de scaling.

Les graphiques suivants s'appliquent aux jobs de traitement par flux :

  • Latence moyenne du système : Affiche la latence du système moyenne, qui reflète le délai habituel que subissent les données lorsqu'elles passent par les étapes sources. Ce graphique peut indiquer des goulots d'étranglement potentiels au niveau des entrées. Utilisez ce graphique pour identifier les jobs de traitement en flux continu qui présentent un délai inhabituel entre le moment où les données apparaissent dans une source et celui où elles sont écrites dans tous les récepteurs.
  • Retard du système (25 principaux) Affiche les 25 pipelines de flux présentant le plus grand retard du système, c'est-à-dire la durée maximale pendant laquelle les données sont traitées ou en attente de traitement. Ce graphique peut indiquer des goulots d'étranglement potentiels au niveau du traitement en temps réel.
  • Retard de watermark par étape (25 principaux). Affiche les 25 jobs de flux continu présentant le plus grand retard de filigrane. Le décalage du filigrane pour une étape correspond à la différence entre la dernière heure d'événement reçue par l'étape et le filigrane. Ce graphique peut indiquer des goulots d'étranglement potentiels au niveau de chaque étape. Utilisez ce graphique pour identifier les jobs de traitement en flux continu qui peuvent être lents ou bloqués. Pour en savoir plus, consultez Résoudre les problèmes liés aux jobs de traitement en flux continu lents ou bloqués.
  • Utilisation de SECU (25 principaux) Affiche les 25 jobs de traitement de flux qui consomment le plus d'unités de calcul Streaming Engine. Utilisez ce graphique pour mesurer le coût et l'intensité de vos jobs de traitement en flux continu qui utilisent la facturation basée sur les ressources.
  • Latences de traitement des utilisateurs (25 principaux) Affiche les 25 jobs de streaming pour lesquels le code défini par l'utilisateur dans les étapes de traitement prend le plus de temps. Utilisez ce graphique pour identifier les éventuels goulots d'étranglement des performances dans la logique de votre application.
  • Nombre maximal d'octets en attente (25 premiers) : Affiche les 25 jobs de traitement en flux continu présentant le plus grand volume de données non traitées en attente à une étape donnée. Ce graphique peut indiquer une surcharge d'entrée ou un traitement lent.
  • Clés en attente (25 principales) Affiche les jobs de flux continu en attente, classés selon le nombre de clés en attente dans une étape de goulot d'étranglement. Pour en savoir plus, consultez Résoudre les problèmes de goulots d'étranglement.
  • Causes probables des goulots d'étranglement (10 principales) Affiche les 10 causes les plus probables des étapes de goulot d'étranglement dans les jobs en attente. Pour en savoir plus, consultez Résoudre les problèmes de goulots d'étranglement.

Pour en savoir plus sur l'utilisation des graphiques, consultez Explorer les données représentées graphiquement.

Personnaliser le tableau de bord

Vous pouvez personnaliser le contenu du tableau de bord et les informations affichées dans les graphiques. Lorsque vous modifiez le tableau de bord, un tableau de bord personnalisé est créé.

Le tableau de bord utilise Cloud Monitoring pour accéder aux métriques de jobs Dataflow. Utilisez les outils Cloud Monitoring pour personnaliser les graphiques.

  1. Ouvrez le tableau de bord, puis cliquez sur Personnaliser le tableau de bord.
  2. Modifier votre tableau de bord
  3. Cliquez sur Enregistrer, puis sur Afficher le tableau de bord personnalisé.

Après avoir créé un tableau de bord personnalisé, pour revenir au tableau de bord par défaut, sélectionnez Prédéfini dans le menu Tableau de bord.

Pour obtenir un exemple d'ajout d'un graphique de métriques personnalisées au tableau de bord, consultez Personnaliser le tableau de bord de surveillance Dataflow.

Dépannage

Cette section fournit des instructions permettant de résoudre des problèmes courants.

Aucune donnée disponible

Lorsque vous ouvrez votre tableau de bord, un ou plusieurs graphiques affichent le message suivant :

No data is available for the selected time frame.

Ce message s'affiche lorsque la période couverte dans les graphiques ne comporte aucune donnée. Pour résoudre ce problème, modifiez ou étendez la période.

Pour modifier la période affichée, cliquez sur Explorer les données sur le graphique, puis utilisez le sélecteur de période.

Impossible de restaurer les widgets supprimés

Lorsque vous supprimez un widget du tableau de bord, vous créez un tableau de bord personnalisé. Après avoir créé un tableau de bord personnalisé, pour revenir au tableau de bord par défaut, sélectionnez Prédéfini dans le menu Tableau de bord.

Impossible d'afficher les graphiques

Pour afficher les données du graphique, vous devez disposer de l'autorisation monitoring.timeSeries.list. Pour en savoir plus, consultez la section Rôles requis.

Étapes suivantes