關於環境資源調度

Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)

本頁說明環境擴縮的運作方式。

其他有關擴展的頁面:

自動調度資源環境

Managed Airflow 環境會根據執行的 DAG 和工作需求,自動調整資源配置:

  • 如果環境負載過重,Managed Airflow 會自動增加環境中的工作站數量。
  • 如果環境未使用部分工作站,系統會移除這些工作站,以節省環境資源和費用。
  • 您可以為環境設定工作站數量下限與上限。Managed Airflow 會在設定的限制內自動調度環境資源。你隨時可以調整這些限制。

系統會根據「縮放比例目標」指標調整工作站數量。這項指標的計算依據為:

  • 目前的工作站數量
  • Celery 佇列中未指派給工作站的 Celery 工作數量
  • 閒置工作站數量
  • celery.worker_concurrency Airflow 設定選項

Managed Airflow 自動調度資源功能會使用 GKE 提供的三種不同自動配置器:

Managed Airflow 會在環境的叢集中設定這些自動調整程式。這會自動調整叢集中的節點數、機型和 worker 數量。

縮放和效能參數

除了自動調度資源,您還可以調整工作站、排程器、觸發器和網路伺服器的 CPU、記憶體和磁碟限制,控管環境的規模和效能參數。這樣一來,除了自動調度資源功能提供的水平資源調度外,您還可以垂直資源調度環境。您可以隨時調整規模和效能參數。

環境的環境大小效能參數,會控管代管 Airflow 基礎架構的效能參數,包括 Airflow 資料庫。如要執行大量 DAG 和工作,並提高基礎架構效能,請考慮選取較大的環境規模。舉例來說,環境越大,環境能處理的 Airflow 工作記錄項目就越多,延遲時間也越短。

環境大小與環境預設集不同。您可以在Google Cloud 控制台中建立環境時選取環境預設值,這些預設值會決定環境的初始限制、規模和效能參數,包括環境大小。環境大小只會決定環境的代管 Managed Airflow 基礎架構效能參數。

多個排程器

您的環境可以同時執行多個 Airflow 排程器:

  • 您可以為環境設定排程器數量,並隨時調整。
  • Managed Airflow 不會自動調整環境中的排程器數量。

如要進一步瞭解如何為環境設定排程器數量,請參閱「環境規模」。

資料庫磁碟空間

Airflow 資料庫的磁碟空間會自動增加,以因應需求。

後續步驟