Gérer les pipelines d'orchestration

Vous pouvez gérer les pipelines d'orchestration déployés dans des environnements d'exécuteur à l'aide des commandes Google Cloud CLI.

À propos des environnements de déploiement

Votre projet peut comporter un ou plusieurs environnements de déploiement. La configuration de chaque environnement de déploiement définit la manière dont les pipelines et les ressources appartenant à cet environnement sont déployés. Par exemple, vous pouvez avoir un environnement de déploiement pour le développement et un autre pour la production. Ces environnements de déploiement peuvent avoir des ensembles de pipelines distincts et s'exécuter dans différents environnements d'exécuteur.

Chaque environnement de déploiement doit disposer d'un environnement d'exécuteur. Managed Airflow est le moteur d'orchestration qui exécute vos pipelines une fois qu'ils sont déployés. Un environnement d'exécuteur est un environnement Managed Airflow que vous avez attribué à votre environnement de déploiement.

À propos des bundles de pipelines

Les pipelines d'orchestration sont déployés dans des bundles de pipelines. Un bundle de pipelines contient un ou plusieurs pipelines et des éléments de pipeline qui partagent un cycle de déploiement commun.

Chaque bundle peut avoir plusieurs versions. Lorsque vous déployez un bundle, tous les pipelines et les scripts associés du package de bundle d'une version spécifique sont déployés ensemble. Si une exécution de pipeline est déclenchée, tous les pipelines et éléments de pipeline resteront dans la version du bundle qui a été utilisée pour démarrer l'exécution, même si vous déployez une nouvelle version entre-temps.

Afficher la liste des pipelines

gcloud

Pour afficher la liste des pipelines d'orchestration dans un environnement de déploiement, exécutez la commande Google Cloud CLI suivante dans le répertoire où se trouve le fichier deployment.yaml :

gcloud beta orchestration-pipelines list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --owner OWNER_NAME

Remplacez les éléments suivants :

  • DEPLOYMENT_ENVIRONMENT: liste les pipelines dans l'environnement de déploiement spécifié.

    Vous pouvez également exécuter cette commande pour un environnement d'exécuteur spécifique runner environment. Dans ce cas, remplacez l'argument --environment par l'argument --runner et spécifiez l'ID de ressource complet de votre environnement d'exécuteur. Exemple : //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • (Facultatif) BUNDLE_NAME : liste les pipelines appartenant au bundle spécifié.

  • (Facultatif) OWNER_NAME : si spécifié, liste les pipelines appartenant au propriétaire spécifié.

Exemple :

gcloud beta orchestration-pipelines list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --owner example-pipeline-owner

Console

Pour afficher la liste des pipelines d'orchestration dans un environnement de déploiement :

  1. Dans la Google Cloud console, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Pipelines d'orchestration. L'onglet affiche la liste de tous les pipelines déployés dans votre environnement.

Afficher la description détaillée d'un pipeline

gcloud

Pour afficher la description d'un pipeline spécifique, exécutez la commande suivante dans gcloud CLI :

gcloud beta orchestration-pipelines describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Remplacez les éléments suivants :

  • DEPLOYMENT_ENVIRONMENT : environnement de déploiement du pipeline.

    Vous pouvez également exécuter cette commande pour un environnement d'exécuteur spécifique runner environment. Dans ce cas, remplacez l'argument --environment par l'argument --runner et spécifiez l'ID de ressource complet de votre environnement d'exécuteur. Exemple : //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME : bundle auquel appartient le pipeline.

  • PIPELINE_NAME : nom du pipeline.

Exemple :

gcloud beta orchestration-pipelines list \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --environment example-deployment-environment

Console

  1. Dans la Google Cloud console, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Pipelines d'orchestration. L'onglet affiche la liste de tous les pipelines déployés dans votre environnement.

  4. Cliquez sur le nom du pipeline. La page Détails du pipeline s'ouvre :

    • L'onglet Détails affiche des informations détaillées sur le pipeline, telles que son ID, son état et le SHA du commit source.
    • L'onglet Graphique affiche un graphique qui décrit les actions individuelles du pipeline. Cliquez sur les nœuds du graphique pour afficher des informations détaillées sur chaque action.
    • L'onglet Source YAML affiche la définition du pipeline.
    • L'onglet Historique des exécutions affiche l'historique et l'état des exécutions du pipeline.

Déployer un bundle de pipelines

Cette commande déploie des bundles de pipelines et des éléments de pipeline en fonction de la configuration de déploiement fournie. Assurez-vous d'avoir déjà configuré le déploiement du pipeline avant d'exécuter cette commande.

Pour déployer un bundle de pipelines pour un environnement de déploiement :

  • Déployer les modifications validées : une fois que vous avez validé les modifications apportées à vos éléments de pipeline, définitions de pipeline et configuration de déploiement, vous pouvez déployer une nouvelle version du bundle de pipelines dans l'environnement d'exécuteur. L'ID du nouveau bundle sera associé au commit dans votre dépôt. Ce type de déploiement est généralement destiné à être exécuté dans le cadre d'une intégration et d'une diffusion continues. Par exemple, via le workflow GitHub Actions.

  • Déployer une version de bundle locale : déployez les versions actuelles des éléments de pipeline, des définitions de pipeline et de la configuration de déploiement. Le nouvel ID du bundle sera marqué comme déploiement local. Ce type de déploiement est destiné à des fins de développement.

Pour déployer les modifications validées, exécutez la commande suivante dans gcloud CLI :

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \

Pour déployer une version locale, utilisez l'argument --local :

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \
  --local

Remplacez les éléments suivants :

  • DEPLOYMENT_ENVIRONMENT : environnement de déploiement du pipeline.

Exemple :

gcloud beta orchestration-pipelines deploy \
  --environment example-deployment-environment

L'exemple de résultat contient l'état du déploiement.

--- Pipeline Deployment Status ---
Pipeline 'example-pipeline': [OK] (Status: HEALTHY)

--- Pipeline Deployment full details ---
...

Déclencher une exécution manuelle d'un pipeline

Vous pouvez déclencher une exécution manuelle d'un pipeline d'orchestration spécifique :

  • Le bundle de pipelines doit déjà être déployé avant que vous ne le déclenchiez.

  • Vous ne pouvez déclencher que la dernière version déployée du pipeline dans le bundle. Une fois l'exécution déclenchée, les pipelines exécuteront toujours toutes leurs tâches dans la version du bundle avec laquelle ils ont été démarrés, même si vous importez une version de code plus récente entre-temps.

Pour déclencher une exécution manuelle, exécutez la commande suivante dans gcloud CLI :

gcloud beta orchestration-pipelines trigger \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Remplacez les éléments suivants :

  • DEPLOYMENT_ENVIRONMENT : environnement de déploiement du pipeline.

    Vous pouvez également exécuter cette commande pour un environnement d'exécuteur spécifique runner environment. Dans ce cas, remplacez l'argument --environment par l'argument --runner et spécifiez l'ID de ressource complet de votre environnement d'exécuteur. Exemple : //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME : bundle auquel appartient le pipeline.

  • PIPELINE_NAME : nom du pipeline.

Exemple :

gcloud beta orchestration-pipelines trigger \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Répertorier l'historique des exécutions d'un pipeline

gcloud

Pour afficher l'historique des exécutions d'un seul pipeline d'orchestration, y compris les exécutions de toutes les versions précédentes du pipeline, exécutez la commande suivante dans gcloud CLI :

gcloud beta orchestration-pipelines runs list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

Remplacez les éléments suivants :

  • DEPLOYMENT_ENVIRONMENT: environnement de déploiement dans lequel se trouve le pipeline.

    Vous pouvez également exécuter cette commande pour un environnement d'exécuteur spécifique runner environment. Dans ce cas, remplacez l'argument --environment par l'argument --runner et spécifiez l'ID de ressource complet de votre environnement d'exécuteur. Exemple : //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME : bundle auquel appartient le pipeline.

  • PIPELINE_NAME : nom du pipeline.

Exemple :

gcloud beta orchestration-pipelines runs list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Console

  1. Dans la Google Cloud console, accédez à la page Environnements.

    Accéder à la page Environnements

  2. Dans la liste des environnements, cliquez sur le nom de votre environnement. La page Détails de l'environnement s'ouvre.

  3. Accédez à l'onglet Pipelines d'orchestration. L'onglet affiche la liste de tous les pipelines déployés dans votre environnement.

  4. Cliquez sur le nom du pipeline. La page Détails du pipeline s'ouvre.

  5. Accédez à l'onglet Historique des exécutions. L'onglet affiche l'historique et l'état des exécutions du pipeline.

  6. Cliquez sur un ID d'exécution de DAG pour accéder à la page d'informations de l'exécution du DAG.

Répertorier les détails d'une exécution de pipeline

Pour afficher les détails d'une seule exécution de pipeline d'orchestration, exécutez la commande suivante dans gcloud CLI :

gcloud beta orchestration-pipelines runs describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \
  --run-id RUN_ID

Remplacez les éléments suivants :

  • DEPLOYMENT_ENVIRONMENT: environnement de déploiement dans lequel se trouve le pipeline.

    Vous pouvez également exécuter cette commande pour un environnement d'exécuteur spécifique runner environment. Dans ce cas, remplacez l'argument --environment par l'argument --runner et spécifiez l'ID de ressource complet de votre environnement d'exécuteur. Exemple : //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME : bundle auquel appartient le pipeline.

  • PIPELINE_NAME : nom du pipeline.

  • RUN_ID : identifiant de l'exécution du pipeline. Vous pouvez obtenir cet ID à partir de la liste des exécutions.

Exemple :

gcloud beta orchestration-pipelines runs describe \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --run-id scheduled__2026-04-20T02:00:00+00:00

Exemple de résultat :

pipelineRuns:
- actions:
  - end_date: '2026-04-21T02:02:31.947672Z'
    execution_date: '2026-04-20T02:00:00Z'
    max_retries: 1
    metadata:
      airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
      airflow_task_instances:
      - end_date: '2026-04-21T02:02:31.947672Z'
        execution_date: '2026-04-20T02:00:00Z'
        max_retries: 1
        name: new_pyspark_task_1775735209136
        start_date: '2026-04-21T02:00:17.256040Z'
        state: SUCCEEDED
        try_number: 1
    name: new_pyspark_task_1775735209136
    start_date: '2026-04-21T02:00:17.256040Z'
    state: SUCCEEDED
    try_number: 1
  bundle_id: example-pipeline-bundle
  end_date: '2026-04-21T02:02:32.455241Z'
  execution_date: '2026-04-20T02:00:00Z'
  metadata:
    airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
  pipeline_id: example-pipeline
  pipeline_run_id: scheduled__2026-04-20T02:00:00+00:00
  start_date: '2026-04-21T02:00:00.952825Z'
  state: SUCCEEDED
  type: SCHEDULED
  version: 33816e2690e93d03ee7b67d16765d9825549636c

Mettre en pause les exécutions de pipeline planifiées

Une fois mis en pause, le pipeline ne s'exécute pas selon sa programmation. Vous pouvez déclencher une exécution manuelle du pipeline pour ces pipelines. Cela mettra en pause le pipeline et créera une exécution manuelle du pipeline en dehors de la programmation. Redémarrez le pipeline pour activer sa programmation.

Pour mettre en pause toutes les exécutions de pipeline planifiées, exécutez la commande suivante dans gcloud CLI :

gcloud beta orchestration-pipelines pause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

Remplacez les éléments suivants :

  • DEPLOYMENT_ENVIRONMENT: environnement de déploiement dans lequel se trouve le pipeline.

    Vous pouvez également exécuter cette commande pour un environnement d'exécuteur spécifique runner environment. Dans ce cas, remplacez l'argument --environment par l'argument --runner et spécifiez l'ID de ressource complet de votre environnement d'exécuteur. Exemple : //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME : bundle auquel appartient le pipeline.

  • PIPELINE_NAME : nom du pipeline.

Exemple :

gcloud beta orchestration-pipelines pause \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

Réactiver les exécutions de pipeline planifiées

Pour réactiver les exécutions de pipeline planifiées, exécutez la commande suivante dans gcloud CLI :

gcloud beta orchestration-pipelines unpause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

Remplacez les éléments suivants :

  • DEPLOYMENT_ENVIRONMENT: environnement de déploiement dans lequel se trouve le pipeline.

    Vous pouvez également exécuter cette commande pour un environnement d'exécuteur spécifique runner environment. Dans ce cas, remplacez l'argument --environment par l'argument --runner et spécifiez l'ID de ressource complet de votre environnement d'exécuteur. Exemple : //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment.

  • BUNDLE_NAME : bundle auquel appartient le pipeline.

  • PIPELINE_NAME : nom du pipeline.