Afficher les DAG, les exécutions de DAG et les tâches

Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (1re génération héritée)

Cette page explique comment obtenir des informations sur les DAG dans votre environnement.

Méthodes pour afficher des informations sur les DAG

Managed Airflow propose plusieurs façons d'obtenir des informations détaillées sur les DAG dans votre environnement :

  • L'interface utilisateur DAG est une section de Google Cloud l'interface de la console pour Managed Airflow dédiée à l'affichage et à la surveillance des DAG, des exécutions de DAG, et des tâches individuelles.
  • L'interface utilisateur Airflow est l'interface Web intégrée d'Airflow.
  • La CLI Airflow est l'interface de ligne de commande d'Airflow. Vous pouvez obtenir des informations sur les DAG en exécutant des commandes de CLI Airflow avec gcloud.

À propos de l'interface utilisateur DAG de Managed Airflow

L'interface utilisateur DAG est une section de Google Cloud l'interface de la console pour Managed Airflow dédiée à l'affichage et à la surveillance des DAG, des exécutions de DAG, et des tâches individuelles.

Dans l'interface utilisateur DAG, vous pouvez :

  • afficher la liste des DAG dans votre environnement, y compris les intervalles de planification, les états des DAG et les descriptions ;

  • suspendre, relancer et déclencher des DAG ;

  • afficher les détails des exécutions de DAG, y compris les exécutions réussies, actives et ayant échoué, ainsi que le temps écoulé depuis la dernière exécution terminée. Pour chaque DAG, vous pouvez consulter l'historique des exécutions de DAG et des instances de tâches associées à ce DAG particulier, y compris les journaux des tâches exécutées ;

  • filtrer les détails des exécutions de DAG. Par exemple, vous pouvez sélectionner un intervalle de temps et créer des requêtes pour sélectionner les informations dont vous avez besoin ;

  • afficher des informations détaillées sur les DAG et les tâches individuels. Cela inclut des diagrammes de DAG visualisés, des informations sur les tâches d'un DAG, le code source du DAG et des informations supplémentaires sur les DAG.

Avant de commencer

  • Assurez-vous que votre compte dispose d'un rôle qui peut accéder à l'interface utilisateur DAG et afficher les détails des DAG. Pour plus d'informations, consultez la section Contrôle des accès.

  • L'interface utilisateur DAG est compatible avec Managed Airflow 2.0.1 et versions ultérieures.

    Afficher la liste des DAG pour votre environnement

    Console

    L'onglet DAG de votre environnement affiche la liste des DAG, ainsi que les détails des exécutions de DAG pour chaque DAG.

    Pour afficher la liste des DAG :

    1. Dans la Google Cloud console, accédez à la page Environnements.

      Accéder à la page Environnements

    2. Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.

    Vous pouvez utiliser des filtres pour afficher les détails uniquement pour certains DAG ou pour certaines conditions. Exemple :

    1. Sélectionnez le champ Filtres.
    2. Dans la liste déroulante, sélectionnez la propriété ID du DAG.
    3. Spécifiez l'identifiant du DAG. Les résultats n'affichent les détails que pour le DAG sélectionné.
    4. (Facultatif) Pour inclure d'autres DAG, ajoutez des opérateurs OR suivis des ID de DAG.
    5. (Facultatif) Pour filtrer d'autres conditions, ajoutez d'autres propriétés dans le champ Filtres. Par exemple, vous pouvez filtrer les DAG dont les exécutions ont échoué en spécifiant Failed runs:>0.

    Interface utilisateur Airflow

    Pour afficher la liste des DAG dans l'interface utilisateur Airflow :

    1. Dans la Google Cloud console, accédez à la page Environnements.

      Accéder à la page Environnements

    2. Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.

    3. Connectez-vous avec le compte Google disposant des autorisations appropriées.

    4. Dans l'interface utilisateur Airflow, sur la page DAG, une liste des DAG de votre environnement s'affiche.

    gcloud

    Exécutez la commande de CLI Airflow dags list :

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

    Remplacez :

    • ENVIRONMENT_NAME par le nom de l'environnement.
    • LOCATION par la région dans laquelle se trouve l'environnement.

    Afficher l'historique des exécutions de DAG et des tâches

    Console

    L'onglet Exécutions de la page Détails du DAG affiche l'historique des exécutions de DAG pour un DAG individuel.

    Pour afficher l'historique des exécutions de DAG :

    1. Dans la Google Cloud console, accédez à la page Environnements.

      Accéder à la page Environnements

    2. Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.

    3. Sélectionnez un DAG.

    4. Sur la page Détails du DAG, accédez à l'onglet Exécutions.

    5. Sélectionnez une exécution de DAG dans la liste pour afficher les détails de l'exécution de DAG, tels que l'état des instances de tâches pour cette exécution de DAG, le nombre de tentatives et la durée d'exécution. Vous pouvez sélectionner des tâches individuelles pour afficher les journaux des instances de tâches.

    Interface utilisateur Airflow

    Pour afficher la liste des DAG dans l'interface utilisateur Airflow :

    1. Dans la Google Cloud console, accédez à la page Environnements.

      Accéder à la page Environnements

    2. Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.

    3. Connectez-vous avec le compte Google disposant des autorisations appropriées.

    4. Dans l'interface utilisateur Airflow, dans le menu, sélectionnez Parcourir > Exécutions de DAG. La page Exécutions de DAG affiche les exécutions de DAG pour votre environnement. Vous pouvez cliquer sur le lien de la colonne ID d'exécution pour obtenir des informations supplémentaires sur les tâches.

    gcloud

    Exécutez la commande de CLI Airflow dags list-runs :

      gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

    Remplacez :

    • ENVIRONMENT_NAME par le nom de l'environnement.
    • LOCATION par la région dans laquelle se trouve l'environnement.
    • DAG_ID par le nom du DAG.

    Vous pouvez obtenir des informations supplémentaires sur les instances de tâches en exécutant les commandes de CLI Airflow tasks state et tasks states-for-dag-run.

    Pour en savoir plus, consultez Accéder à la CLI Airflow et la documentation de référence de la CLI Airflow.

    Afficher les diagrammes de DAG

    Console

    L'onglet Diagramme de la page Détails du DAG affiche la visualisation d'un DAG avec les dépendances des tâches.

    Pour afficher le diagramme d'un DAG :

    1. Dans la Google Cloud console, accédez à la page Environnements.

      Accéder à la page Environnements

    2. Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.

    3. Sélectionnez un DAG.

    4. Sur la page Détails du DAG, accédez à l'onglet Diagramme.

    5. (Facultatif) Pour afficher des informations supplémentaires sur les tâches, sélectionnez des tâches individuelles dans le diagramme.

    Interface utilisateur Airflow

    Pour afficher le diagramme d'un DAG dans l'interface Web Airflow :

    1. Dans la Google Cloud console, accédez à la page Environnements.

      Accéder à la page Environnements

    2. Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.

    3. Connectez-vous avec le compte Google disposant des autorisations appropriées.

    4. Dans l'interface utilisateur Airflow, sur la page DAG, une liste des DAG de votre environnement s'affiche.

    5. Pour votre DAG, dans la colonne Liens, cliquez sur le lien Graphique.

    Afficher le code source du DAG et des informations supplémentaires sur les DAG

    Console

    Vous pouvez afficher le code source de vos DAG et des informations supplémentaires telles que les identifiants de DAG et les liens vers les fichiers de définition de DAG dans le bucket de l'environnement.

    1. Dans la Google Cloud console, accédez à la page Environnements.

      Accéder à la page Environnements

    2. Dans la colonne Liste des DAG, cliquez sur le lien DAG correspondant à votre environnement.

    3. Sélectionnez un DAG.

    4. Pour afficher le code source du DAG, accédez à l'onglet Diagramme.

    5. Pour afficher des informations supplémentaires sur le DAG, accédez à l'onglet Source.

    Interface utilisateur Airflow

    Pour afficher le diagramme d'un DAG dans l'interface Web Airflow :

    1. Dans la Google Cloud console, accédez à la page Environnements.

      Accéder à la page Environnements

    2. Dans la colonne Serveur Web Airflow, cliquez sur le lien Airflow correspondant à votre environnement.

    3. Connectez-vous avec le compte Google disposant des autorisations appropriées.

    4. Dans l'interface Web Airflow, sur la page DAG, cliquez sur le nom de votre DAG.

    5. Sur la page contenant les détails du DAG, accédez aux onglets disponibles pour afficher des informations supplémentaires sur le DAG.

    Étape suivante