關於環境資源調度

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本頁說明環境擴縮的運作方式。

其他有關資源調度的頁面：

自動調度環境

Cloud Composer 環境會根據執行的 DAG 和工作需求自動調整資源配置：

  • 如果環境負載過重，Cloud Composer 會自動增加環境中的工作站數量。
  • 如果環境未使用部分工作站，系統會移除這些工作站，以節省環境資源和費用。
  • 您可以為環境設定工作站數量下限和上限。 Cloud Composer 會在設定的限制內自動調度環境資源。你隨時可以調整這些限制。

系統會根據「縮放比例目標」指標調整工作站數量。這項指標的計算依據為：

  • 目前工作站數量
  • Celery 佇列中未指派給工作站的 Celery 工作數量
  • 閒置工作站數量
  • celery.worker_concurrency Airflow 設定選項

Cloud Composer 自動調度資源功能會使用 GKE 提供的三種自動調度資源功能：

Cloud Composer 會在環境的叢集中設定這些自動調整程式。這會自動調整叢集中的節點數、機器類型和工作站數。

縮放和效能參數

除了自動調度資源，您還可以調整工作站、排程器、DAG 處理器、觸發器和網頁伺服器的 CPU、記憶體和磁碟限制，控制環境的規模和效能參數。這麼做除了能透過自動調度功能進行水平調度，還能垂直調度環境資源。您可以隨時調整規模和效能參數。

環境的環境大小效能參數，會控管代管 Cloud Composer 基礎架構的效能參數，包括 Airflow 資料庫。如要執行大量 DAG 和工作，並提高基礎架構效能，請考慮選取較大的環境規模。舉例來說，環境越大，環境能處理的 Airflow 工作記錄項目就越多，延遲時間也越短。

多個排程器

您的環境可以同時執行多個 Airflow 排程器和 DAG 處理器：

  • 您可以為環境設定排程器和 DAG 處理器的數量，並隨時調整。
  • Cloud Composer 不會自動調整環境中的排程器或 DAG 處理器數量。

如要進一步瞭解如何為環境設定排程器和 DAG 處理器的數量，請參閱「擴大環境規模」。

資料庫磁碟空間

Airflow 資料庫的磁碟空間會自動增加，以因應需求。

後續步驟