使用 Orchestration Pipelines 執行資料和 AI 管道，並為這些管道佈建資源

Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)

本頁說明 Orchestration Pipelines 與 Managed Airflow 之間的關係。

關於 Orchestration Pipelines

自動化調度管理管道是整合式宣告式自動化調度管理和自動部署架構，專門用來在 Google Cloud上順暢管理資料和 AI 管道。

透過 Orchestration Pipelines，您可以使用宣告式 YAML 型網域專屬語言 (DSL) 定義管道及其部署設定。這個框架會將基礎架構抽象化，讓您專注於資料和 AI 工作流程的邏輯，而 Orchestration Pipelines 則會處理部署、版本管理和自動化調度管理。

Orchestration Pipelines 中的 Managed Airflow 環境簡介

Managed Airflow 是自動化調度管理引擎，可在管道部署後執行管道。您可以在管道定義中指派 Managed Airflow 環境。在 Orchestration Pipelines 中，這個環境稱為「執行器環境」。

Orchestration Pipelines 的優點：

  1. 您可以讓貴機構中不熟悉 Airflow 的團隊，不必編寫 DAG 或設定 Airflow，就能建立及執行工作流程。舉例來說，您可以在暫時性的 Managed Service for Apache Spark 叢集中執行 Notebook，並在 YAML 中指定執行作業的所有排程、資源和設定參數，完全不必編寫任何 DAG 程式碼。

  2. Orchestration Pipelines 中的所有設定和部署作業，都是以 YAML 和 gcloud CLI 指令為基礎。所有 Airflow DAG 都會自動產生，您不需要與 Airflow、Managed Airflow 環境或環境 bucket 互動。您可以在一般 Git 存放區中開發及部署工作流程，資產檔案就位於該存放區。

  3. 您的 YAML 定義適用於所有版本的 Airflow。您不必因應 Airflow 版本之間的變更或已安裝套件的差異調整程式碼。舉例來說，如果您從 Airflow 2 遷移至 Airflow 3，則不需要遷移管道。

  4. Orchestration Pipelines 已整合 Google Cloud Data Agent Kit，因此您可以使用代理功能編寫和疑難排解。您可以使用代理程式編寫管道、簡化部署作業，並透過偏好的 IDE 或 CLI 觀察管道狀態。

Orchestration Pipelines 的運作方式

Orchestration Pipelines 支援各種動作和Google Cloud 服務，例如：

  • 在 Managed Service for Apache Spark 中執行 PySpark 指令碼。
  • 在 Managed Service for Apache Spark 中執行筆記本檔案。
  • 在 BigQuery 或 Managed Service for Apache Spark 中執行 SQL 查詢。
  • 在 Dataform 或 dbt 架構中執行資料處理管道。
  • 執行 Python 指令碼。

Orchestration Pipelines 的典型工作流程如下：

  1. 您可將管道定義為一系列動作，這些動作必須使用其中一項 Google Cloud 服務執行。
  2. 您可以為管道動作定義資源設定。舉例來說，您可能會指定特定動作必須在具有特定設定的暫時性 Managed Service for Apache Spark 叢集上執行。
  3. (選用) 您可以定義資源，如果這些資源不存在於已佈建的資源機制中，則必須自動佈建。舉例來說，您可以指定必須建立特定設定的靜態 Managed Service for Apache Spark 叢集。
  4. 將管道定義檔案和要執行的動作新增至 Git 存放區。
  5. 將個別管道動作的資產 (例如指令碼或筆記本檔案) 新增至 Git 存放區。

  6. 您可以使用 gcloud CLI 指令，將管道部署至 Managed Airflow 環境。Orchestration Pipelines 會自動建立幾個 DAG 檔案，用於執行管道。

    與獨立的 Airflow DAG 相比，這些 DAG 會自動產生，您不需要以任何方式管理。您可以使用 gcloud CLI 指令檢查管道執行狀態及管理管道。

  7. 環境會依排程執行管道。

監控管道狀態

您可以在 Google Cloud 控制台和 Google Cloud CLI 中，查看環境中執行的所有管道狀態和管道執行記錄。詳情請參閱「管理協調流程管道」。

後續步驟