オーケストレーション パイプラインを管理する

Google Cloud CLI コマンドを使用して、ランナー環境にデプロイされたオーケストレーション パイプラインを管理できます。

デプロイ環境について

プロジェクトには 1 つ以上のデプロイ環境 を設定できます。各デプロイ環境の構成では、この環境に属するパイプラインとリソースのデプロイ方法を定義します。たとえば、開発用のデプロイ環境と、本番環境用のデプロイ環境を設定できます。これらのデプロイ環境には、別々のパイプライン セットを設定し、異なるランナー環境で実行できます。

各デプロイ環境にはランナー環境 が必要です。 Managed Airflow は、パイプラインがデプロイされた後に実行するオーケストレーション エンジンです。ランナー環境は、デプロイ環境に割り当てた Managed Airflow 環境です。

パイプライン バンドルについて

オーケストレーション パイプラインはパイプライン バンドル にデプロイされます。パイプライン バンドルには、共通のデプロイ サイクルを共有する 1 つ以上のパイプラインとパイプライン アセットが含まれています。

各バンドルには複数のバージョン を設定できます。バンドルをデプロイすると、特定のバージョンのバンドル パッケージ内のすべてのパイプラインと付随するスクリプトが一緒にデプロイされます。パイプライン実行がトリガーされると、新しいバージョンをデプロイしても、すべてのパイプラインとパイプライン アセットは実行の開始に使用されたバンドル バージョンのままになります。

パイプラインのリストを表示する

gcloud

デプロイ環境内のオーケストレーション パイプラインのリストを表示するには、deployment.yaml ファイルがあるディレクトリで次の Google Cloud CLI コマンドを実行します。

gcloud beta orchestration-pipelines list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --owner OWNER_NAME

次のように置き換えます。

  • DEPLOYMENT_ENVIRONMENT: 指定したデプロイ環境内のパイプラインを一覧表示します。

    別の方法として、特定の ランナー環境に対してこのコマンドを実行することもできます。この場合は、--environment 引数を --runner 引数に置き換え、ランナー環境の完全なリソース ID を指定します。例: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • （省略可）BUNDLE_NAME: 指定したバンドルに属するパイプラインを一覧表示します。

  • （省略可）OWNER_NAME: 指定すると、指定したオーナーに属するパイプラインを一覧表示します。

例:

gcloud beta orchestration-pipelines list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --owner example-pipeline-owner

コンソール

デプロイ環境内のオーケストレーション パイプラインのリストを表示するには:

  1. コンソール Google Cloud で、[Environments] ページに移動します。

    [環境] に移動

  2. 環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。

  3. [Orchestration Pipelines] タブに移動します。このタブには、環境にデプロイされているすべてのパイプラインのリストが表示されます。

パイプラインの詳細な説明を表示する

gcloud

特定のパイプラインの説明を表示するには、gcloud CLI で次のコマンドを実行します。

gcloud beta orchestration-pipelines describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

次のように置き換えます。

  • DEPLOYMENT_ENVIRONMENT: パイプラインのデプロイ環境。

    別の方法として、特定の ランナー環境に対してこのコマンドを実行することもできます。この場合は、--environment 引数を --runner 引数に置き換え、ランナー環境の完全なリソース ID を指定します。例: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME: パイプラインが属するバンドル。

  • PIPELINE_NAME: パイプラインの名前。

例:

gcloud beta orchestration-pipelines list \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --environment example-deployment-environment

コンソール

  1. コンソール Google Cloud で、[Environments] ページに移動します。

    [環境] に移動

  2. 環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。

  3. [Orchestration Pipelines] タブに移動します。このタブには、環境にデプロイされているすべてのパイプラインのリストが表示されます。

  4. パイプラインの名前をクリックします。[パイプラインの詳細] ページが開きます。

    • [詳細] タブには、パイプライン ID、ステータス、ソース commit SHA など、パイプラインに関する詳細情報が表示されます。
    • [グラフ] タブには、パイプラインの個々のアクションの概要を示すグラフが表示されます。グラフノードをクリックすると、各アクションの詳細情報が表示されます。
    • [YAML ソース] タブには、パイプライン定義が表示されます。
    • [実行履歴] タブには、パイプライン実行の履歴とステータスが表示されます。

パイプライン バンドルをデプロイする

このコマンドは、指定されたデプロイ構成に従ってパイプライン バンドルとパイプライン アセットをデプロイします。 このコマンドを実行する前に、パイプラインのデプロイを 構成していることを確認してください。

デプロイ環境にパイプライン バンドルをデプロイするには:

  • コミットされた変更をデプロイする: パイプライン アセット、パイプライン定義、デプロイ構成に変更をコミットしたら、パイプライン バンドルの新しいバージョンをランナー環境にデプロイできます。新しいバンドルの ID は、リポジトリ内の commit にリンクされます。このデプロイタイプは、通常、CI/CD の一部として実行することを目的としています。たとえば、GitHub Actions ワークフローを使用します。

  • ローカル バンドル バージョンをデプロイする: パイプライン アセット、パイプライン定義、デプロイ構成の現在のバージョンをデプロイします。新しいバンドル ID はローカル デプロイとしてマークされます。このデプロイタイプは開発を目的としています。

コミットされた変更をデプロイするには、gcloud CLI で次のコマンドを実行します。

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \

ローカル バージョンをデプロイするには、--local 引数を使用します。

gcloud beta orchestration-pipelines deploy \
  --environment DEPLOYMENT_ENVIRONMENT \
  --local

次のように置き換えます。

  • DEPLOYMENT_ENVIRONMENT: パイプラインのデプロイ環境。

例:

gcloud beta orchestration-pipelines deploy \
  --environment example-deployment-environment

出力例には、デプロイ ステータスが含まれます。

--- Pipeline Deployment Status ---
Pipeline 'example-pipeline': [OK] (Status: HEALTHY)

--- Pipeline Deployment full details ---
...

パイプラインの手動実行をトリガーする

特定のオーケストレーション パイプラインの手動実行をトリガーできます。

  • パイプライン バンドルは、トリガーする前にデプロイされている必要があります。

  • トリガーできるのは、バンドル内のパイプラインの最新のデプロイ バージョンのみです。実行がトリガーされると、その間に新しいバンドル バージョンのコードをアップロードしても、パイプラインは常に開始されたバンドル バージョンですべてのタスクを実行します。

手動実行をトリガーするには、gcloud CLI で次のコマンドを実行します。

gcloud beta orchestration-pipelines trigger \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

次のように置き換えます。

  • DEPLOYMENT_ENVIRONMENT: パイプラインのデプロイ環境。

    別の方法として、特定の ランナー環境に対してこのコマンドを実行することもできます。この場合は、--environment 引数を --runner 引数に置き換え、ランナー環境の完全なリソース ID を指定します。例: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME: パイプラインが属するバンドル。

  • PIPELINE_NAME: パイプラインの名前。

例:

gcloud beta orchestration-pipelines trigger \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

パイプラインの実行履歴を一覧表示する

gcloud

以前のすべてのパイプライン バージョンでの実行など、単一のオーケストレーション パイプラインの実行履歴を表示するには、gcloud CLI で次のコマンドを実行します。

gcloud beta orchestration-pipelines runs list \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME

次のように置き換えます。

  • DEPLOYMENT_ENVIRONMENT: パイプラインがあるデプロイ環境。

    別の方法として、特定の ランナー環境に対してこのコマンドを実行することもできます。この場合は、--environment 引数を --runner 引数に置き換え、ランナー環境の完全なリソース ID を指定します。例: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME: パイプラインが属するバンドル。

  • PIPELINE_NAME: パイプラインの名前。

例:

gcloud beta orchestration-pipelines runs list \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

コンソール

  1. コンソール Google Cloud で、[Environments] ページに移動します。

    [環境] に移動

  2. 環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。

  3. [Orchestration Pipelines] タブに移動します。このタブには、環境にデプロイされているすべてのパイプラインのリストが表示されます。

  4. パイプラインの名前をクリックします。[パイプラインの詳細] ページが開きます。

  5. [実行履歴] タブに移動します。このタブには、パイプライン実行の履歴とステータスが表示されます。

  6. DAG 実行 ID をクリックして、DAG 実行の詳細ページに移動します。

パイプライン実行の詳細を一覧表示する

単一のオーケストレーション パイプライン実行の詳細を表示するには、gcloud CLI で次のコマンドを実行します。

gcloud beta orchestration-pipelines runs describe \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \
  --run-id RUN_ID

次のように置き換えます。

  • DEPLOYMENT_ENVIRONMENT: パイプラインがあるデプロイ環境。

    別の方法として、特定の ランナー環境に対してこのコマンドを実行することもできます。この場合は、--environment 引数を --runner 引数に置き換え、ランナー環境の完全なリソース ID を指定します。例: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME: パイプラインが属するバンドル。

  • PIPELINE_NAME: パイプラインの名前。

  • RUN_ID: パイプライン実行の識別子。この ID は、 実行リストから取得できます。

例:

gcloud beta orchestration-pipelines runs describe \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline \
  --run-id scheduled__2026-04-20T02:00:00+00:00

出力例:

pipelineRuns:
- actions:
  - end_date: '2026-04-21T02:02:31.947672Z'
    execution_date: '2026-04-20T02:00:00Z'
    max_retries: 1
    metadata:
      airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
      airflow_task_instances:
      - end_date: '2026-04-21T02:02:31.947672Z'
        execution_date: '2026-04-20T02:00:00Z'
        max_retries: 1
        name: new_pyspark_task_1775735209136
        start_date: '2026-04-21T02:00:17.256040Z'
        state: SUCCEEDED
        try_number: 1
    name: new_pyspark_task_1775735209136
    start_date: '2026-04-21T02:00:17.256040Z'
    state: SUCCEEDED
    try_number: 1
  bundle_id: example-pipeline-bundle
  end_date: '2026-04-21T02:02:32.455241Z'
  execution_date: '2026-04-20T02:00:00Z'
  metadata:
    airflow_dag_id: example-pipeline-bundle__v__33816e2690e93d03ee7b67d16765d9825549636c__example-pipeline
  pipeline_id: example-pipeline
  pipeline_run_id: scheduled__2026-04-20T02:00:00+00:00
  start_date: '2026-04-21T02:00:00.952825Z'
  state: SUCCEEDED
  type: SCHEDULED
  version: 33816e2690e93d03ee7b67d16765d9825549636c

スケジュールされたパイプライン実行を一時停止する

一時停止すると、パイプラインはスケジュールどおりに実行されません。このようなパイプラインに対して、手動でパイプライン実行を トリガーできます。これにより、パイプラインは一時停止したままになり、スケジュール外で手動パイプライン実行が作成されます。パイプラインの一時停止を解除して、スケジュールを有効にします。

スケジュールされたすべてのパイプライン実行を一時停止するには、gcloud CLI で次のコマンドを実行します。

gcloud beta orchestration-pipelines pause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

次のように置き換えます。

  • DEPLOYMENT_ENVIRONMENT: パイプラインがあるデプロイ環境。

    別の方法として、特定の ランナー環境に対してこのコマンドを実行することもできます。この場合は、--environment 引数を --runner 引数に置き換え、ランナー環境の完全なリソース ID を指定します。例: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME: パイプラインが属するバンドル。

  • PIPELINE_NAME: パイプラインの名前。

例:

gcloud beta orchestration-pipelines pause \
  --environment example-deployment-environment \
  --bundle example-pipeline-bundle \
  --pipeline example-pipeline

スケジュールされたパイプライン実行の一時停止を解除する

スケジュールされたパイプライン実行の一時停止を解除するには、gcloud CLI で次のコマンドを実行します。

gcloud beta orchestration-pipelines unpause \
  --environment DEPLOYMENT_ENVIRONMENT \
  --bundle BUNDLE_NAME \
  --pipeline PIPELINE_NAME \

次のように置き換えます。

  • DEPLOYMENT_ENVIRONMENT: パイプラインがあるデプロイ環境。

    別の方法として、特定の ランナー環境に対してこのコマンドを実行することもできます。この場合は、--environment 引数を --runner 引数に置き換え、ランナー環境の完全なリソース ID を指定します。例: //composer.googleapis.com/projects/example-project/locations/us-central1/environments/example-runner-environment。

  • BUNDLE_NAME: パイプラインが属するバンドル。

  • PIPELINE_NAME: パイプラインの名前。