Planifier des DAG Airflow

Ce document explique comment planifier des graphes orientés acycliques (DAG) Airflow à partir de Managed Airflow 3 sur la page Scheduling (Planification) de BigQuery, y compris comment déclencher des DAG manuellement et comment afficher l'historique et les journaux des exécutions de DAG passées.

À propos de la gestion des DAG Airflow dans BigQuery

La page Scheduling (Planification) de BigQuery fournit des outils permettant de planifier les DAG Airflow qui s'exécutent dans vos environnements Managed Airflow 3.

Les DAG Airflow que vous planifiez dans BigQuery sont exécutés dans un ou plusieurs environnements Managed Airflow de votre projet. La page Scheduling (Planification) de BigQuery combine les informations de tous les DAG Airflow de votre projet.

Lors d'une exécution de DAG, Airflow planifie et exécute des tâches individuelles qui composent un DAG dans une séquence définie par le DAG. Sur la page Scheduling (Planification) de BigQuery, vous pouvez afficher l'état des exécutions de DAG passées, explorer les journaux détaillés de toutes les exécutions de DAG et de toutes les tâches de ces exécutions de DAG, et afficher des informations sur les DAG.

Pour en savoir plus sur les concepts de base d'Airflow, tels que les DAG Airflow, les exécutions de DAG, les tâches ou les opérateurs, consultez la page Concepts de base de la documentation Airflow.

Pour en savoir plus sur les environnements Managed Airflow, consultez la page Présentation de Managed Airflow 3 dans la documentation Managed Airflow.

Avant de commencer

  1. activer l'API Cloud Composer ;

    Rôles requis pour activer les API

    Pour activer les API, vous avez besoin du rôle IAM Administrateur d'utilisation du service (roles/serviceusage.serviceUsageAdmin), qui contient l'autorisation serviceusage.services.enable. Découvrez comment attribuer des rôles.

    Activer l'API

  2. Assurez-vous que votre Google Cloud projet comporte au moins un environnement Managed Airflow 3 avec au moins un fichier DAG déjà importé :

Autorisations requises

Pour obtenir les autorisations nécessaires pour planifier des DAG Airflow, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour planifier des DAG Airflow. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour planifier des DAG Airflow :

  • Pour afficher les DAG Airflow et leurs détails : composers.dags.list, composer.environments.list
  • Pour déclencher et suspendre les DAG Airflow : composers.dags.list, composer.environments.list, composer.dags.execute

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus sur IAM dans Managed Airflow 3, consultez Contrôle des accès avec IAM dans la documentation Managed Airflow.

Déclencher manuellement un DAG Airflow

Lorsque vous déclenchez manuellement un DAG Airflow, Airflow exécute le DAG une seule fois, indépendamment de la planification spécifiée pour le DAG.

Pour déclencher manuellement un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page Scheduling (Planification).

    Accéder à la page Scheduling (Planification)

  2. Effectuez l'une des opérations suivantes :

    • Cliquez sur le nom du DAG sélectionné, puis sur la page DAG details (Détails du DAG), cliquez sur Trigger DAG (Déclencher le DAG).

    • Sur la ligne contenant le DAG sélectionné, cliquez sur View actions (Afficher les actions) dans la colonne Actions, puis cliquez sur Trigger DAG (Déclencher le DAG).

Afficher les journaux et les détails d'exécution des DAG Airflow

Pour afficher les détails d'un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page Scheduling (Planification).

    Accéder à la page Scheduling (Planification)

  2. Cliquez sur le nom du DAG sélectionné.

  3. Sur la page DAG details (Détails du DAG), sélectionnez l'onglet Details (Détails).

  4. Pour afficher les exécutions de DAG passées, sélectionnez l'onglet Runs (Exécutions).

    1. Facultatif : Par défaut, l'onglet Runs (Exécutions) affiche les exécutions de DAG des 10 derniers jours. Pour filtrer les exécutions de DAG selon une autre période, dans le menu déroulant 10 days (10 jours), sélectionnez une période, puis cliquez sur OK.

    2. Facultatif : Pour afficher des colonnes supplémentaires avec les détails d'exécution du DAG dans la liste de toutes les exécutions de DAG, cliquez sur Column display options (Options d'affichage des colonnes), puis sélectionnez les colonnes et cliquez sur OK.

    3. Pour afficher les détails et les journaux d'une exécution de DAG sélectionnée, sélectionnez une exécution de DAG.

  5. Pour afficher une visualisation du DAG avec les dépendances des tâches, sélectionnez l'onglet Diagram (Diagramme).

    1. Pour afficher les détails d'une tâche, sélectionnez-la dans le diagramme.

  6. Pour afficher le code source du DAG, sélectionnez l'onglet Code.

  7. Facultatif : Pour actualiser les données affichées, cliquez sur Refresh (Actualiser).

Afficher tous les DAG Airflow

Pour afficher les DAG Airflow de tous les environnements Managed Airflow 3 de votre Google Cloud projet, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page Scheduling (Planification).

    Accéder à la page Scheduling (Planification)

  2. Facultatif : Pour afficher des colonnes supplémentaires avec les détails du DAG, cliquez sur Column display options (Options d'affichage des colonnes), puis sélectionnez les colonnes et cliquez sur OK.

Suspendre un DAG Airflow

Pour suspendre un DAG Airflow sélectionné, procédez comme suit :

  1. Dans la Google Cloud console, accédez à la page Scheduling (Planification).

    Accéder à la page Scheduling (Planification)

  2. Effectuez l'une des opérations suivantes :

    • Cliquez sur le nom du DAG sélectionné, puis sur la page DAG details (Détails du DAG), cliquez sur Pause DAG (Suspendre le DAG).

    • Sur la ligne contenant le DAG sélectionné, cliquez sur View actions (Afficher les actions) dans la colonne Actions, puis cliquez sur Pause DAG (Suspendre le DAG).

Dépannage

Pour obtenir des instructions sur le dépannage des DAG Airflow, consultez la page Dépannage des DAG Airflow dans la documentation Managed Airflow.

Étape suivante