Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)
本頁說明環境擴縮的運作方式。
其他有關擴展的頁面:
- 如需為環境選取最佳規模和效能參數的指南,請參閱「最佳化調整環境效能和成本效益」。
- 如要瞭解如何調整環境大小,請參閱「調整環境大小」。
自動調度資源環境
Managed Airflow 環境會根據執行的 DAG 和工作需求,自動調整資源配置:
- 如果環境負載過重,Managed Airflow 會自動增加環境中的工作站數量。
- 如果環境未使用部分工作站,系統會移除這些工作站,以節省環境資源和費用。
- 您可以為環境設定工作站數量下限與上限。Managed Airflow 會在設定的限制內自動調度環境資源。你隨時可以調整這些限制。
系統會根據「縮放比例目標」指標調整工作站數量。這項指標的計算依據為:
- 目前的工作站數量
- Celery 佇列中未指派給工作站的 Celery 工作數量
- 閒置工作站數量
celery.worker_concurrencyAirflow 設定選項
Managed Airflow 自動調度資源功能會使用 GKE 提供的三種不同自動配置器:
Managed Airflow 會在環境的叢集中設定這些自動調整程式。這會自動調整叢集中的節點數、機型和 worker 數量。
縮放和效能參數
除了自動調度資源,您還可以調整工作站、排程器、觸發器和網路伺服器的 CPU、記憶體和磁碟限制,控管環境的規模和效能參數。這樣一來,除了自動調度資源功能提供的水平資源調度外,您還可以垂直資源調度環境。您可以隨時調整規模和效能參數。
環境的環境大小效能參數,會控管代管 Airflow 基礎架構的效能參數,包括 Airflow 資料庫。如要執行大量 DAG 和工作,並提高基礎架構效能,請考慮選取較大的環境規模。舉例來說,環境越大,環境能處理的 Airflow 工作記錄項目就越多,延遲時間也越短。
環境大小與環境預設集不同。您可以在Google Cloud 控制台中建立環境時選取環境預設值,這些預設值會決定環境的初始限制、規模和效能參數,包括環境大小。環境大小只會決定環境的代管 Managed Airflow 基礎架構效能參數。
多個排程器
您的環境可以同時執行多個 Airflow 排程器:
- 您可以為環境設定排程器數量,並隨時調整。
- Managed Airflow 不會自動調整環境中的排程器數量。
如要進一步瞭解如何為環境設定排程器數量,請參閱「環境規模」。
資料庫磁碟空間
Airflow 資料庫的磁碟空間會自動增加,以因應需求。