Afficher les journaux de pipeline avancés dans Cloud Logging

En activant Cloud Logging pour vos clusters Cloud Data Fusion Managed Service pour Apache Spark, vous pouvez accéder à des enregistrements d'exécution précis au-delà des métriques de pipeline standards. Vous pouvez utiliser ces journaux avancés pour résoudre les échecs d'exécution, inspecter le comportement des pilotes et des exécuteurs, et déboguer des transformations de données complexes.

Activer Cloud Logging pour Managed Service pour Apache Spark

Pour afficher les problèmes liés aux pipelines et aux clusters dans Cloud Logging, activez les journaux avancés dans les instances Cloud Data Fusion nouvelles ou existantes. Pour activer les journaux avancés dans une instance existante, procédez comme suit :

  1. Dans la console Google Cloud , accédez à la page Instances de Cloud Data Fusion.

    Accéder à la page "Instances"

  2. Cliquez sur le nom de l'instance.

  3. Dans la section Surveillance et journalisation avancées, pour Dataproc Cloud Logging, cliquez sur Modifier.

  4. Dans la fenêtre Cloud Logging, cochez la case Activer Cloud Logging.

  5. Cliquez sur Enregistrer.

Afficher les journaux

Chaque exécution de pipeline Cloud Data Fusion se voit attribuer un RunID unique. Après avoir déployé et exécuté votre pipeline, recherchez son RunID. Ensuite, dans Logging, utilisez le RunID pour afficher les journaux de votre pipeline.

Obtenir l'ID d'exécution du pipeline

  1. Accédez à votre instance :

    1. Dans la console Google Cloud , accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Cliquez sur Lister.
  3. Cliquez sur le pipeline pour lequel vous souhaitez obtenir l'ID d'exécution.
  4. Cliquez sur Résumé.
  5. Dans la section Historique des exécutions, cliquez sur Table.
  6. Pour copier l'ID d'exécution, effectuez un clic droit sur RunID, puis cliquez sur Copier.

Afficher les journaux dans l'explorateur de journaux

  1. Dans la console Google Cloud , accédez à la page Cloud Logging > Explorateur de journaux :

    Accéder à l'explorateur de journaux

  2. Dans le menu déroulant Toutes les ressources, sélectionnez Cluster Cloud Dataproc> cdap-PIPELINE_NAME-YOUR_RUNID.

Facultatif : Filtrer les journaux

Utilisez les menus de filtre pour filtrer vos journaux. Vous pouvez filtrer les journaux par niveau de gravité ou par composant, par exemple datafusion-pipeline-logs.

Facultatif : Télécharger les journaux

Cliquez sur Télécharger les journaux.

Pour en savoir plus, consultez Télécharger des entrées de journal.

Étapes suivantes