Créer des alertes de pipeline

Les alertes de pipeline dans Cloud Data Fusion vous permettent de suivre l'état d'exécution et de surveiller l'état du workflow. Ces notifications vous aident à détecter immédiatement les défaillances du pipeline.

Vous pouvez configurer des alertes à l'aide de deux services différents, en fonction de l'étape de votre déploiement. Les alertes Cloud Data Fusion sont configurées lors de la conception du pipeline par lot et ne peuvent pas être ajoutées ni modifiées après le déploiement. En revanche, vous pouvez créer des alertes basées sur les journaux via Cloud Monitoring dans la console Google Cloud à tout moment, avant ou après le déploiement du pipeline.

Avant de commencer

Vous devez disposer d'une instance Cloud Data Fusion. Pour en savoir plus, consultez Créer une instance publique.

Ajouter une alerte dans Cloud Data Fusion

  1. Ouvrez votre instance.

    1. Dans la console Google Cloud , accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Accédez à la page Studio où vous concevez votre pipeline.

  3. Cliquez sur Configurer > Alertes de pipeline > Ajouter.

  4. Sélectionnez et configurez l'alerte. Pour en savoir plus sur la configuration des alertes, consultez Alertes de pipeline par lot.

  5. Après avoir configuré l'alerte, cliquez sur Valider pour vérifier qu'elle ne contient pas d'erreurs, puis sur Confirmer.

Créer une alerte dans Monitoring

  1. Activez Cloud Logging dans votre instance Cloud Data Fusion.

  2. Créer une alerte basée sur les journaux

    1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

      Accéder à l'explorateur de journaux

      Cette page vous permet de stocker, d'interroger, de mettre à jour et de supprimer des données.

    2. Saisissez la requête suivante :

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Remplacez PROJECT_ID par l'ID de votre projet.

    3. Cliquez sur Créer une alerte et configurez l'alerte.

Une alerte n'est générée que lorsque le pipeline s'exécute sur un cluster Managed Service pour Apache Spark et échoue. En cas d'échec de la création d'un cluster Managed Service pour Apache Spark, l'alerte n'est pas générée.

Étapes suivantes