Afficher les journaux de pipeline avancés dans Cloud Logging

Cette page explique comment activer Cloud Logging pour vos clusters Cloud Data Fusion Managed Service pour Apache Spark et comment accéder aux journaux de pipeline avancés.

Activer Cloud Logging pour Managed Service pour Apache Spark

Pour afficher les problèmes liés aux pipelines et aux clusters dans Cloud Logging, activez les journaux avancés dans les instances Cloud Data Fusion nouvelles ou existantes. Pour activer les journaux avancés dans une instance existante, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page Instances de Cloud Data Fusion.

    Accéder à la page "Instances"

  2. Cliquez sur le nom de l'instance.

  3. Dans la section Surveillance et journalisation avancées, pour Dataproc Cloud Logging, cliquez sur Modifier.

  4. Dans la fenêtre Cloud Logging, cochez la case Activer Cloud Logging.

  5. Cliquez sur Enregistrer.

Afficher les journaux

Chaque exécution de pipeline Cloud Data Fusion se voit attribuer un RunID unique. Une fois votre pipeline déployé et exécuté, recherchez son RunID. Ensuite, dans Logging, utilisez le RunID pour afficher les journaux de votre pipeline.

Obtenir l'ID d'exécution du pipeline

  1. Accédez à votre instance :

    1. Dans la console Google Cloud , accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Cliquez sur Liste.
  3. Cliquez sur le pipeline pour lequel vous souhaitez obtenir l'ID d'exécution.
  4. Cliquez sur Résumé.
  5. Dans la section Historique d'exécution, cliquez sur Table.
  6. Pour copier l'ID d'exécution, effectuez un clic droit sur RunID, puis cliquez sur Copier.

Afficher les journaux dans l'explorateur de journaux

  1. Dans la Google Cloud console, accédez à la page Cloud Logging > Explorateur de journaux :

    Accéder à l'explorateur de journaux

  2. Dans le menu déroulant Toutes les ressources, sélectionnez Cluster Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

Facultatif : Filtrer les journaux

Utilisez les menus de filtre pour filtrer vos journaux. Vous pouvez filtrer les journaux par niveau de gravité ou par composant, par exemple datafusion-pipeline-logs.

Facultatif : Télécharger les journaux

Cliquez sur Télécharger les journaux.

Pour plus d'informations, consultez la section Télécharger les entrées de journal.

Étape suivante