Orchestration Pipelines を使用してデータ パイプラインと AI パイプラインを実行し、リソースをプロビジョニングする

Managed Airflow（第 3 世代） | Managed Airflow（第 2 世代） | Managed Airflow（従来の第 1 世代）

このページでは、Orchestration Pipelines と Managed Airflow の関係について説明します。

Orchestration Pipelines について

Orchestration Pipelines は、データ パイプラインと AI パイプラインをシームレスに管理するように最適化された、統合された宣言型のオーケストレーションと 自動デプロイのフレームワークです Google Cloud。

Orchestration Pipelines では、宣言型の YAML ベースのドメイン固有言語（DSL）を使用して、パイプラインとそのデプロイ構成を定義できます。このフレームワークは基盤となるインフラストラクチャを抽象化するため、Orchestration Pipelines がデプロイ、バージョン管理、オーケストレーションを処理している間、データと AI ワークフローのロジックに集中できます。

Orchestration Pipelines の Managed Airflow 環境について

Managed Airflow は、パイプラインがデプロイされた後に実行するオーケストレーション エンジンです。パイプライン定義の一部として Managed Airflow 環境を割り当てます。この環境は、Orchestration Pipelines ではランナー環境と呼ばれます。

Orchestration Pipelines のメリット:

  1. Airflow の専門家ではない組織内のチームでも、DAG を記述したり Airflow を構成したりすることなく、ワークフローを作成して実行できます。 たとえば、エフェメラル Managed Service for Apache Spark クラスタでノートブックを実行し、DAG コードを記述せずに、実行のスケジュール、リソース、構成パラメータをすべて YAML で指定できます。

  2. Orchestration Pipelines のすべての構成とデプロイは、YAML と gcloud CLI コマンドに基づいています。すべての Airflow DAG は自動生成されるため、Airflow、Managed Airflow 環境、環境バケットを操作する必要はありません。アセット ファイルが配置されている通常の Git リポジトリでワークフローを開発してデプロイできます。

  3. YAML 定義は、すべてのバージョンの Airflow で動作します。Airflow のバージョン間の変更やインストールされているパッケージの違いに合わせてコードを調整する必要はありません。たとえば、Airflow 2 から Airflow 3 に移行する場合でも、パイプラインを移行する必要はありません。

  4. Orchestration Pipelines は Google Cloud Data Agent Kit 拡張機能と統合されているため、 エージェントを使用した作成とトラブルシューティングを行うことができます。エージェントを使用して パイプラインを記述し、 デプロイを簡素化し、同じ拡張機能でパイプラインのステータスを確認できます。

Orchestration Pipelines の仕組み

Orchestration Pipelines は、次のようなさまざまなアクションと Google Cloud サービスをサポートしています。

  • Managed Service for Apache Spark で PySpark スクリプトを実行する。
  • Managed Service for Apache Spark でノートブック ファイルを実行する。
  • BigQuery または Managed Service for Apache Spark で SQL クエリを実行する。
  • Dataform または dbt フレームワークでデータ処理パイプラインを実行する。
  • Python スクリプトを実行する。

Orchestration Pipelines の一般的なワークフローは次のとおりです。

  1. パイプラインを、いずれかの Google Cloud サービスを使用して実行する必要がある 一連のアクション として定義します。
  2. パイプライン アクションのリソース構成を定義します。たとえば、特定のアクションを、特定の構成のエフェメラル Managed Service for Apache Spark クラスタで実行するように指定できます。
  3. （省略可）プロビジョニングされたリソース メカニズムを使用して、まだ存在しないリソースを自動的にプロビジョニングする必要があるリソースを定義します。たとえば、特定の構成の静的 Managed Service for Apache Spark クラスタを作成するように指定できます。
  4. 実行するアクションを含むパイプライン定義ファイルを Git リポジトリに追加します。
  5. 個々のパイプライン アクションのアセット（スクリプト ファイルやノートブック ファイルなど）を Git リポジトリに追加します。

  6. gcloud CLI コマンドを使用して、パイプラインを Managed Airflow 環境にデプロイします。Orchestration Pipelines は、パイプラインを実行する DAG ファイルを自動的に作成します。

    スタンドアロンの Airflow DAG と比較して、これらの DAG は自動的に生成されるため、管理する必要はありません。パイプラインの実行ステータスを確認し、gcloud CLI コマンドでパイプラインを管理できます。

  7. 環境は、スケジュールに基づいてパイプラインを実行します。

次のステップ