Orchestration Pipelines は、 でデータ パイプラインと AI パイプラインをシームレスに管理するために最適化された、統合された宣言型オーケストレーションと自動 デプロイ フレームワークです。Google Cloud
Orchestration Pipelines を使用すると、宣言型の YAML ベースのドメイン固有言語（DSL）を使用して、パイプラインとそのデプロイ構成を定義できます。 このフレームワークは基盤となるインフラストラクチャを抽象化するため、Orchestration Pipelines がデプロイ、バージョン管理、オーケストレーションを処理している間、データと AI のワークフローのロジックに集中できます。
想定される使用シナリオ
Orchestration Pipelines は、次のようなニーズを持つデータ エンジニアとデータ サイエンティスト向けに設計されています。
- データ パイプラインの堅牢な CI/CD を確立する: 変更がリポジトリに commit されるたびに、パイプラインを自動的に検証してデプロイします。
- 複数のデプロイ環境を管理する: 開発環境、ステージング環境、本番環境ごとに個別の構成を維持します。各環境には、独自のランナー設定とリソースがあります。
- 任意のツールを使用してパイプラインを構築する: 任意の IDE（Colab、VS Code、JupyterLab など）と言語を使用して、さまざまなエンジンで実行されるパイプラインを開発します。
- デプロイの一貫性を確保する: バージョン管理されたパイプライン バンドルを使用して、特定のリリースのアセットと構成がすべて一緒にデプロイされ、実行されるようにします。
サービスの主要機能
- 宣言型 DSL: パイプライン、アクション、デプロイ構成を定義するための YAML ベースの言語。
- デプロイ環境: 複数の環境をサポートします。各環境は、独自のランナー環境（Managed Service for Apache Airflow など）とアーティファクト ストレージで構成されます。
- バージョン管理と再現性を備えたパイプライン バンドル: パイプライン定義と関連アセット（Python スクリプトなど）を含むバージョン管理されたパッケージ。単一のユニットとしてデプロイされます。すべてのデプロイが追跡されるため、特定の実行を簡単にロールバックまたは再現できます。
- 変数の置換とシークレット管理: カスタム変数、環境変数、CI/CD プロバイダのシークレットを使用してパイプラインをパラメータ化する柔軟なシステム。
- 検証ツール: デプロイ前にパイプラインの構文とセマンティックの正確性を確認する組み込みコマンド。
- 手動トリガーとスケジュール設定されたトリガー: パイプラインの自動スケジュール設定と手動実行の両方をサポートします。
サポートされているフレームワークと統合
Orchestration Pipelines は、さまざまなツールやサービスと統合できるように設計されています。
- オーケストレーション エンジン: Airflow 2 と Airflow 3 のサポートを含む、Managed Service for Apache Airflow（第 2 世代と第 3 世代）。
- コンピューティング エンジンとデータ エンジン: BigQuery、Managed Service for Apache Spark、Managed Service for Apache Spark、Dataform、DBT。
- 開発環境: VS Code、Google Cloud Data Agent Kit 拡張機能を使用した Antigravity。
- Git プロバイダ: GitHub。