Orchestration Pipelines を使用してデータ パイプラインと AI パイプラインを実行し、リソースをプロビジョニングする

Managed Airflow（第 3 世代） | Managed Airflow（第 2 世代） | Managed Airflow（以前の第 1 世代）

このページでは、Orchestration Pipelines と Managed Airflow の関係について説明します。

Orchestration Pipelines について

Orchestration Pipelinesは、 Google Cloudでデータ パイプラインと AI パイプラインをシームレスに管理するために最適化された、統合された宣言型オーケストレーションと自動デプロイ フレームワークです。

Orchestration Pipelines を使用すると、宣言型の YAML ベースのドメイン固有言語（DSL）を使用して、パイプラインとそのデプロイ構成を定義できます。このフレームワークは基盤となるインフラストラクチャを抽象化するため、Orchestration Pipelines がデプロイ、バージョニング、オーケストレーションを処理する間、データと AI ワークフローのロジックに集中できます。

Orchestration Pipelines の Managed Airflow 環境について

Managed Airflow は、パイプラインのデプロイ後にパイプラインを実行するオーケストレーション エンジンです。Managed Airflow 環境は、パイプライン定義の一部として割り当てます。この環境は、Orchestration Pipelines ではランナー環境と呼ばれます。

オーケストレーション パイプラインのメリット:

  1. Airflow の専門家ではない組織内のチームが、DAG を記述したり Airflow を構成したりすることなく、ワークフローを作成して実行できるようにします。たとえば、エフェメラル Managed Service for Apache Spark クラスタでノートブックを実行し、DAG コードを記述せずに、実行のスケジュール、リソース、構成パラメータをすべて YAML で指定できます。

  2. Orchestration Pipelines のすべての構成とデプロイは、YAML と gcloud CLI コマンドに基づいています。すべての Airflow DAG は自動生成され、Airflow、Managed Airflow 環境、環境バケットとのやり取りは必要ありません。アセット ファイルが配置されている通常の Git リポジトリで、ワークフローを開発してデプロイできます。

  3. YAML 定義は、すべてのバージョンの Airflow で機能します。Airflow のバージョン間の変更や、インストールされているパッケージの違いに合わせてコードを調整する必要はありません。たとえば、Airflow 2 から Airflow 3 に移行する場合、パイプラインを移行する必要はありません。

  4. Orchestration Pipelines は Google Cloud Data Agent Kit 拡張機能と統合されているため、エージェントベースの作成とトラブルシューティングを使用できます。このエージェントを使用すると、パイプラインを記述し、デプロイを簡素化し、同じ拡張機能でパイプラインのステータスを確認できます。

Orchestration Pipelines の仕組み

Orchestration Pipelines は、次のようなさまざまなアクションとGoogle Cloud サービスをサポートしています。

  • Managed Service for Apache Spark で PySpark スクリプトを実行する。
  • Managed Service for Apache Spark でノートブック ファイルを実行する。
  • BigQuery または Managed Service for Apache Spark で SQL クエリを実行する。
  • Dataform または dbt フレームワークでデータ処理パイプラインを実行する。
  • Python スクリプトの実行。

Orchestration Pipelines の一般的なワークフローは次のとおりです。

  1. パイプラインは、 Google Cloud サービスのいずれかを使用して実行する必要がある一連のアクションとして定義します。
  2. パイプライン アクションのリソース構成を定義します。たとえば、特定の構成を持つエフェメラル Managed Service for Apache Spark クラスタで特定のアクションを実行するように指定できます。
  3. （省略可）プロビジョニングされたリソース メカニズムを使用して、まだ存在しない場合に自動的にプロビジョニングする必要があるリソースを定義します。たとえば、特定の構成の静的 Managed Service for Apache Spark クラスタを作成するように指定できます。
  4. 実行するアクションを含むパイプライン定義ファイルを Git リポジトリに追加します。
  5. 個々のパイプライン アクション（スクリプト ファイルやノートブック ファイルなど）のアセットを Git リポジトリに追加します。

  6. gcloud CLI コマンドを使用して、パイプラインを Managed Airflow 環境にデプロイします。Orchestration Pipelines は、パイプラインを実行する DAG ファイルを自動的に作成します。

    スタンドアロンの Airflow DAG とは異なり、これらの DAG は自動的に生成されるため、管理する必要はありません。パイプライン実行のステータスを確認し、gcloud CLI コマンドでパイプラインを管理できます。

  7. 環境はスケジュールに基づいてパイプラインを実行します。

次のステップ