Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)
本頁面說明如何根據專案需求調整環境的規模和效能參數，以提升效能，並減少環境未使用的資源成本。
- 如要瞭解如何調整環境大小，請參閱「調整環境大小」。
- 如要瞭解環境資源調度運作方式，請參閱「關於環境資源調度」。
- 如需監控重要環境指標的教學課程，請參閱「依重點指標監控環境健康狀態和效能」。
最佳化程序簡介
變更環境的參數可能會影響環境效能的許多方面。建議您分階段最佳化環境：
- 從環境預設設定著手。
- 執行 DAG。
- 觀察環境的效能。
- 調整環境規模和效能參數，然後重複執行上一個步驟。
從環境預設配置著手
在 Google Cloud 控制台中建立環境時，您可以選取其中一個環境預設。這些預設設定會決定環境的初始規模和效能設定；建立環境後，您可以變更預設設定提供的所有規模和效能參數。
建議您根據下列預估值，從其中一個預設值開始：
- 您打算在環境中部署的 DAG 總數
- 並行 DAG 執行作業數量上限
- 並行工作數量上限
環境效能取決於您在環境中執行的特定 DAG 實作方式。下表列出根據平均資源消耗量計算的預估值。如果預期 DAG 會消耗更多資源，請據此調整預估值。
| 建議的預設設定 | DAG 總數 | 並行 DAG 執行作業數量上限 | 並行工作數上限 |
|---|---|---|---|
| 小 | 50 | 15 | 18 |
| 中 | 250 | 60 | 100 |
| 大 | 1000 | 250 | 400 |
| 特大 | 3000 | 750 | 2250 |
舉例來說，環境必須執行 40 個 DAG。所有 DAG 都必須同時執行，且各有一個有效工作。由於並行 DAG 執行和工作數上限超過「小型」預設值的建議估算值，因此這個環境會使用「中型」預設值。
執行 DAG
建立環境後，請將 DAG 上傳至該環境。執行 DAG 並觀察環境效能。
建議您按照反映 DAG 實際應用情況的時間表執行 DAG。舉例來說，如要同時執行多個 DAG，請務必在所有 DAG 同時執行時，檢查環境的效能。
觀察環境效能
本節著重於最常見的 Managed Airflow 容量和效能調整層面。建議您按照本指南的步驟操作，因為我們會先說明最常見的效能注意事項。
前往 Monitoring 資訊主頁
您可以在環境的監控資訊主頁中，監控環境的成效指標。
如要前往環境的監控資訊主頁，請按照下列步驟操作：
前往 Google Cloud 控制台的「Environments」(環境) 頁面。
按一下環境名稱。
前往「監控」分頁。
監控 DAG 處理器 CPU 和記憶體指標
Airflow DAG 處理器會處理 DAG 檔案，並將其轉換為 DAG 物件。在 Managed Airflow (第 3 代) 中，DAG 處理器會做為獨立的環境元件執行，您可以分別設定處理器和排程器的資源分配。
Airflow DAG 處理器的 CPU 和記憶體指標可協助您檢查其效能，是否為整體 Airflow 效能的瓶頸。
在 Monitoring 資訊主頁的「DAG Processors」(DAG 處理器) 專區中，觀察環境的 DAG 處理器圖表：
- DAG 處理器 CPU 總用量
DAG 處理器記憶體總用量
如果 DAG 處理器 CPU 使用率持續低於 30% 至 35%，建議您採取下列行動：
如果 DAG 處理器 CPU 使用率超過 80% 的時間，占總時間的百分比超過幾個百分點，建議採取下列行動：
監控排程器 CPU 和記憶體指標
Airflow 排程器的 CPU 和記憶體指標可協助您檢查排程器的效能是否為整體 Airflow 效能的瓶頸。
在 Monitoring 資訊主頁的「排程器」部分，觀察環境的 Airflow 排程器圖表：
- 排程器 CPU 使用率總計
- 排程器記憶體用量總計
根據觀察結果調整：
如果排程器的 CPU 使用率持續低於 30% 至 35%，建議您採取下列行動：
如果排程器 CPU 使用率超過 80% 的時間，占總時間的百分比超過幾個百分點，建議您採取下列行動：
監控剖析所有 DAG 檔案的總時間長度
DAG 處理器會先剖析 DAG，再排定 DAG 執行作業。如果剖析 DAG 需要很長時間，就會耗用 DAG 處理器的容量，並可能降低 DAG 執行作業的效能。
在監控資訊主頁的「DAG Statistics」(DAG 統計資料)部分，觀察 DAG 剖析總時間的圖表。
如果超過 10 秒左右，DAG 處理器可能會因 DAG 剖析作業而過載，無法有效執行 DAG。Airflow 的預設 DAG 剖析頻率為 30 秒；如果 DAG 剖析時間超過這個門檻，剖析週期就會開始重疊，進而耗盡 DAG 處理器的容量。
根據觀察結果，你可能需要採取下列行動：
- 簡化 DAG，包括 Python 依附元件。
監控工作站 Pod 撤銷次數
當環境叢集中的特定 Pod 達到資源限制時，可能會遭到逐出。
如果 Airflow 工作站 Pod 遭到驅逐，該 Pod 上執行的所有工作例項都會中斷，並在稍後由 Airflow 標示為失敗。
工作站 Pod 遭到驅逐的大部分問題，都是因為工作站記憶體不足。
在「監控」資訊主頁的「工作站」部分，觀察環境的「工作站 Pod 逐出」圖表。
「工作站記憶體總用量」圖表會顯示環境的整體情況。即使環境層級的記憶體用量正常，單一工作站仍可能超出記憶體上限。
根據觀察結果，你可能需要採取下列行動：
- 增加工作站可用的記憶體。
- 減少工作人員並行數。這樣一來，單一工作人員一次處理的工作就會減少。這會為每項個別工作提供更多記憶體或儲存空間。變更工作站並行數量時，您可能也想增加工作站數量上限。這樣一來，環境一次可處理的任務數量就不會改變。舉例來說，如果將工作站並行數量從 12 減少至 6，您可能需要將工作站數量上限加倍。
監控活躍工作站
環境中的工作站數量會根據佇列中的工作自動調度資源。
在 Monitoring 資訊主頁的「工作人員」部分，觀察有效工作人員人數和佇列中工作數的圖表：
- 活躍的工作站數量
- Airflow 工作
根據觀察結果調整：
- 如果環境經常達到工作站數量上限，且 Celery 佇列中的工作數量持續偏高，您可能需要增加工作站數量上限。
如果工作間的排程延遲時間很長，但環境並未擴充至工作站數量上限，則可能是 Airflow 設定限制了執行作業，導致 Managed Airflow 機制無法擴充環境。由於 Managed Airflow 環境會根據 Celery 佇列中的工作數量調整規模，請將 Airflow 設為不要節流進入佇列的工作：
- 提高工作站並行數。工作站並行數量的設定值必須高於預期的並行工作數量上限，除以環境中的工作站數量上限。
- 提高 DAG 並行數：如果單一 DAG 平行執行大量工作，可能會達到每個 DAG 的執行中工作執行個體數上限。
- 提高每個 DAG 的有效執行數上限。如果您並行執行同一個 DAG 多次，可能會導致 Airflow 達到每個 DAG 的有效執行數上限，進而節流執行作業。
監控工作站的 CPU 和記憶體用量
監控環境中所有工作站的匯總 CPU 和記憶體用量，判斷 Airflow 工作站是否適當運用環境資源。
在「Monitoring」資訊主頁的「Workers」部分，觀察 Airflow 工作站的 CPU 和記憶體用量圖表：
- 工作站 CPU 使用率總計
- 工作站記憶體總用量
這些圖表代表匯總的資源用量，即使匯總檢視畫面顯示有備用容量，個別工作者仍可能達到容量上限。
根據觀察結果調整：
- 如果工作站的記憶體用量接近上限，可能會導致工作站 Pod 遭到驅逐。如要解決這個問題，請增加工作站記憶體。
- 如果記憶體用量遠低於限制，且沒有 worker Pod 遭到逐出，建議減少 worker 記憶體。
如果工作站的 CPU 使用率接近上限 (超過 80% 的時間超過總時間的幾個百分比)，建議採取下列行動：
監控執行中和已排入佇列的工作
您可以監控佇列中的工作數和正在執行的工作數，藉此檢查排程程序的效率。
在「監控」資訊主頁的「工作站」部分，觀察環境的「Airflow 工作」圖表。
佇列中的工作正在等待工作站執行。如果環境中有排入佇列的工作，可能表示環境中的工作站正忙於執行其他工作。
環境中一律會出現佇列，尤其是在處理尖峰期間。不過，如果觀察到大量工作排入佇列，或圖表呈現成長趨勢，則可能表示 worker 容量不足以處理工作，或是 Airflow 正在限制工作執行。
如果執行中的工作數量也達到上限，通常會出現大量排隊工作。
如要解決這兩個問題，請按照下列步驟操作：
監控資料庫 CPU 和記憶體用量
Airflow 資料庫效能問題可能會導致整體 DAG 執行問題。資料庫磁碟用量通常不必擔心，因為系統會視需要自動擴充儲存空間。
在監控資訊主頁的「SQL Database」部分，觀察 Airflow 資料庫的 CPU 和記憶體用量圖表：
- 資料庫 CPU 使用率
- 資料庫記憶體用量
如果資料庫 CPU 使用率在總時間的幾成以上都超過 80%，表示資料庫已過載，需要擴充。
資料庫大小設定是由環境的環境大小屬性控管。如要調高或調低資料庫規模，請變更環境大小至其他層級 (小型、中型、大型、特大型)。環境越大，環境費用就越高。
監控工作排程延遲時間
如果工作之間的延遲時間超過預期 (例如 20 秒以上)，可能表示環境無法處理 DAG 執行作業產生的工作負載。
您可以在環境的 Airflow UI 中查看工作排程延遲圖表。
在這個範例中，延遲時間 (2.5 和 3.5 秒) 都在可接受的範圍內，但如果延遲時間明顯較長，可能表示：
- 排程器負載過重。 監控排程器 CPU 和記憶體，找出潛在問題的跡象。
- Airflow 設定選項會限制執行作業。請嘗試提高工作站並行數、提高 DAG 並行數，或提高每個 DAG 的有效執行數上限。
- 工作站數量不足，無法執行工作，請嘗試增加工作站數量上限。
監控網路伺服器 CPU 和記憶體
Airflow 網路伺服器效能會影響 Airflow UI。網路伺服器超載的情況並不常見。如果發生這種情況，Airflow UI 的效能可能會降低，但不會影響 DAG 執行的效能。
在 Monitoring 資訊主頁的「Web server」(網路伺服器) 專區中，觀察 Airflow 網路伺服器的圖表：
- 網路伺服器 CPU 使用率
- 網路伺服器記憶體用量
根據你的觀察結果：
- 如果網路伺服器 CPU 使用率超過 80% 的時間比例偏高，建議提高網路伺服器 CPU 使用率。
- 如果發現網路伺服器記憶體用量偏高，請考慮為網路伺服器增加記憶體。
調整環境的規模和效能參數
變更排程器數量
調整排程器數量可提升排程器容量，並改善 Airflow 排程的復原能力。
增加排程器數量會增加 Airflow 資料庫的流量。在大多數情況下，建議使用兩個 Airflow 排程器。只有在需要特別考量的罕見情況下，才需要使用三個排程器。設定超過三個排程器通常會導致環境效能降低。
如需加快排程速度：TODO: C2: Airflow 2 選項 Dag 處理器和排程器一起使用 - 一個區段 C3: Airflow 2 選項 + Airflow 3 選項 (排程器)；Airflow 2 選項 + Airflow 3 選項 (DAG 處理器)；- 兩個區段
- 設定兩個 Airflow 排程器。
- 為 Airflow 排程器指派更多 CPU 和記憶體資源。
此外，也建議調整 DAG 處理器參數和 Airflow 設定選項，縮短 DAG 剖析時間。
範例：
控制台
請按照「調整排程器參數」一文的步驟操作，為環境設定所需的排程器數量。
gcloud
請按照「調整排程器參數」一文的步驟操作，為環境設定所需的排程器數量。
以下範例將排程器數量設為兩個：
gcloud composer environments update example-environment \
--scheduler-count=2
Terraform
請按照「調整排程器參數」一文的步驟操作，為環境設定所需的排程器數量。
以下範例將排程器數量設為兩個：
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
scheduler {
count = 2
}
}
}
}
變更排程器的 CPU 和記憶體
CPU 和記憶體參數適用於環境中的每個排程器。舉例來說，如果環境有兩個排程器，總容量就是指定 CPU 和記憶體數量的兩倍。
控制台
請按照「調整排程器參數」中的步驟，為排程器設定 CPU 和記憶體。
gcloud
按照「調整排程器參數」一文中的步驟，為排程器設定 CPU 和記憶體。
以下範例會變更排程器的 CPU 和記憶體。您可以視需要指定 CPU 或記憶體屬性。
gcloud composer environments update example-environment \
--scheduler-cpu=0.5 \
--scheduler-memory=4
Terraform
請按照「調整排程器參數」中的步驟，為排程器設定 CPU 和記憶體。
以下範例會變更排程器的 CPU 和記憶體。您可以視需要省略 CPU 或記憶體屬性。
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
scheduler {
cpu = "0.5"
memory_gb = "4"
}
}
}
}
變更 DAG 處理器數量
調整 DAG 處理器數量可增加環境的 DAG 剖析容量。
如要加快 DAG 剖析速度或剖析更多 DAG，請採取下列做法：
- 增加 DAG 處理器數量。
- 為 DAG 處理器指派更多 CPU 和記憶體資源。
- 在 Airflow 3 中增加 [dag_processor]refresh_interval，或在 Airflow 2 中增加 [scheduler]dag_dir_list_interval。
- 在 Airflow 3 中增加 [dag_processor]min_file_process_interval，或在 Airflow 2 中增加 [scheduler]min_file_process_interval。
範例：
控制台
請按照「調整 DAG 處理器數量」一文的步驟，為環境設定所需的 DAG 處理器數量。
gcloud
請按照「調整 DAG 處理器數量」一文的步驟，為環境設定所需的 DAG 處理器數量。
以下範例將 DAG 處理器數量設為兩個：
gcloud composer environments update example-environment \
--dag-processor-count=2
Terraform
請按照「調整 DAG 處理器數量」一文的步驟，為環境設定所需的 DAG 處理器數量。
以下範例將 DAG 處理器數量設為兩個：
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
dag_processor {
count = 2
}
}
}
}
變更 DAG 處理器的 CPU 和記憶體
CPU 和記憶體參數適用於環境中的每個 DAG 處理器。舉例來說，如果環境有兩個 DAG 處理器，總容量就是指定 CPU 和記憶體數量的兩倍。
控制台
按照「調整 DAG 處理器數量」中的步驟，為 DAG 處理器設定 CPU 和記憶體。
gcloud
按照「調整 DAG 處理器數量」中的步驟，為 DAG 處理器設定 CPU 和記憶體。
以下範例會變更 DAG 處理器的 CPU 和記憶體。您可以視需要指定 CPU 或記憶體屬性。
gcloud composer environments update example-environment \
--dag-processor-cpu=0.5 \
--dag-processor-memory=2
Terraform
按照「調整 DAG 處理器數量」中的步驟，為 DAG 處理器設定 CPU 和記憶體。
以下範例會變更 DAG 處理器的 CPU 和記憶體。您可以視需要省略 CPU 或記憶體屬性。
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
dag_processor {
cpu = "0.5"
memory_gb = "2"
}
}
}
}
變更工作站數量上限
調高工作站數量上限後，環境就能視需要自動擴充至更多工作站。
減少工作站數量上限可降低環境的最大容量，但也有助於減少環境費用。
範例：
控制台
請按照「調整工作站參數」一文的步驟，為環境設定必要的工作站數量上限。
gcloud
請按照「調整工作站參數」一文的步驟，為環境設定必要的工作站數量上限。
以下範例將工作站數量上限設為六個：
gcloud composer environments update example-environment \
--max-workers=6
Terraform
請按照「調整工作站參數」一文的步驟，為環境設定必要的工作站數量上限。
以下範例將排程器數量上限設為六：
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
worker {
max_count = "6"
}
}
}
}
變更 worker CPU 和記憶體
如果工作站用量圖表顯示記憶體使用率非常低，減少工作站記憶體可能會有幫助。
增加工作站記憶體可讓工作站同時處理更多工作，或處理耗用大量記憶體的工作。這或許能解決工作站 Pod 遭逐出的問題。
如果工作站 CPU 使用率圖表顯示 CPU 資源過度分配，減少工作站 CPU 數量可能會有幫助。
增加工作站 CPU 可讓工作站同時處理更多工作，在某些情況下，還能縮短處理這些工作的時間。
變更工作站 CPU 或記憶體會重新啟動工作站，這可能會影響正在執行的工作。建議您在沒有 DAG 執行的情況下執行這項操作。
CPU 和記憶體參數適用於環境中的每個工作站。舉例來說，如果環境有四個工作站，總容量就是指定 CPU 和記憶體數量的四倍。
控制台
按照「調整 worker 參數」中的步驟，為 worker 設定 CPU 和記憶體。
gcloud
按照「調整 worker 參數」中的步驟，為 worker 設定 CPU 和記憶體。
下列範例會變更工作站的 CPU 和記憶體。如需省略 CPU 或記憶體屬性，請略過。
gcloud composer environments update example-environment \
--worker-memory=4 \
--worker-cpu=2
Terraform
按照「調整 worker 參數」中的步驟，為 worker 設定 CPU 和記憶體。
下列範例會變更工作站的 CPU 和記憶體。如有需要，您可以省略 CPU 或記憶體參數。
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
worker {
cpu = "2"
memory_gb = "4"
}
}
}
}
變更網路伺服器 CPU 和記憶體
如果網路伺服器使用率圖表顯示伺服器持續未充分利用，減少網路伺服器 CPU 或記憶體可能會有幫助。
變更網路伺服器參數會重新啟動網路伺服器，導致網路伺服器暫時停機。建議您在一般使用時間以外進行變更。
控制台
按照「調整網路伺服器參數」中的步驟，設定網路伺服器的 CPU 和記憶體。
gcloud
按照「調整網路伺服器參數」中的步驟，設定網路伺服器的 CPU 和記憶體。
以下範例會變更網路伺服器的 CPU 和記憶體。您可以視需要省略 CPU 或記憶體屬性。
gcloud composer environments update example-environment \
--web-server-cpu=2 \
--web-server-memory=4
Terraform
按照「調整網路伺服器參數」中的步驟，設定網路伺服器的 CPU 和記憶體。
以下範例會變更網路伺服器的 CPU 和記憶體。您可以視需要省略 CPU 或記憶體屬性。
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
workloads_config {
web_server {
cpu = "2"
memory_gb = "4"
}
}
}
}
變更環境規模
變更環境大小會修改 Managed Airflow 後端元件的容量，例如 Airflow 資料庫和 Airflow 佇列。
- 如果資料庫用量指標顯示資源使用率偏低，建議將環境大小改為較小的大小 (例如從「大型」改為「中型」，或從「中型」改為「小型」)。
如果發現 Airflow 資料庫用量偏高，請考慮增加環境規模。
控制台
按照「調整環境大小」一文的步驟設定環境大小。
gcloud
按照「調整環境大小」一文的步驟設定環境大小。
以下範例會將環境大小變更為「中」。
gcloud composer environments update example-environment \
--environment-size=medium
Terraform
按照「調整環境大小」一文的步驟設定環境大小。
以下範例會將環境大小變更為「中」。
resource "google_composer_environment" "example-environment" {
# Other environment parameters
config {
environment_size = "medium"
}
}
變更 DAG 目錄列出間隔
增加 DAG 目錄列出間隔，可減少與環境值區中新 DAG 探索作業相關聯的 DAG 處理器負載。
- 如果您不常部署新的 DAG，請考慮增加這個間隔。
- 如要讓 Airflow 更快對新部署的 DAG 檔案做出反應，建議縮短這個間隔。
如要變更這項參數，請覆寫下列 Airflow 設定選項：
| Airflow 版本 | 區段 | 鍵 | 值 | 附註 |
|---|---|---|---|---|
| Airflow 3 | dag_processor |
refresh_interval |
刊登間隔的新值 | 預設值為 120 秒。 |
| Airflow 2 | scheduler |
dag_dir_list_interval |
刊登間隔的新值 | 預設值為 120 秒。 |
變更 DAG 檔案剖析間隔
增加 DAG 檔案剖析間隔，可減少與 DAG 處理器相關的 DAG 處理器負載，因為 DAG 處理器會持續剖析 DAG 資料夾中的 DAG。
如果 DAG 數量較多，但變更頻率不高，或是觀察到排程器負載較高，建議增加這個間隔。
如要變更這項參數，請覆寫下列 Airflow 設定選項：
| Airflow 版本 | 區段 | 鍵 | 值 | 附註 |
|---|---|---|---|---|
| Airflow 3 | dag_processor |
min_file_process_interval |
DAG 剖析間隔的新值 | 預設值為 30 秒。 |
| Airflow 2 | scheduler |
min_file_process_interval |
DAG 剖析間隔的新值 | 預設值為 30 秒。 |
工作站並行
並行效能和環境的自動擴充能力與下列兩項設定有關：
- Airflow 工作站數量下限
[celery]worker_concurrency參數
Managed Airflow 提供的預設值最適合大多數用途，但您的環境可能需要自訂調整。
工作人員並行效能考量
[celery]worker_concurrency 參數會定義單一工作站可從工作佇列中擷取的工作數量。工作執行速度取決於多項因素，例如工作站 CPU、記憶體和工作類型。
自動調度工作站資源
Managed Service for Apache Airflow 會監控工作佇列，並產生額外的工作站來擷取任何等待中的工作。將 [celery]worker_concurrency 設為高值表示每個工作站可以處理大量工作，因此在某些情況下，佇列可能永遠不會填滿，導致自動調度資源永遠不會觸發。
舉例來說，在有兩個 Airflow 工作人員的 Managed Service for Apache Airflow 環境中，[celery]worker_concurrency 設為 100，且佇列中有 200 項工作，每個工作人員會挑選 100 項工作。這會讓佇列保持空白，且不會觸發自動調度資源。如果這些工作需要很長時間才能完成，可能會導致效能問題。
但如果工作很小且執行速度很快，[celery]worker_concurrency 設定中的高值可能會導致過度積極的擴展。舉例來說，如果該環境的佇列中有 300 項工作，Managed Service for Apache Airflow 就會開始建立新的工作站。但如果前 200 項任務在新的 worker 準備就緒前完成執行，現有 worker 可以接手。最終結果是自動調度資源會建立新的 worker，但沒有任何任務可供執行。
如要針對特殊情況調整 [celery]worker_concurrency，請根據工作執行時間和佇列數量尖峰期：
- 如果工作需要較長時間才能完成，工作站不應能夠完全清空佇列。
- 如要執行較小型的快速工作，請增加 Airflow 工作站數量下限，避免過度調度資源。
變更工作站並行
變更這個參數會調整單一工作站可同時執行的工作數量。
舉例來說，CPU 為 0.5 的工作站通常可處理 6 項並行工作；如果環境有三個這類工作站，則最多可處理 18 項並行工作。
如果佇列中有等待執行的工作，且工作站的 CPU 和記憶體使用率偏低，請增加這個參數。
如果系統正在逐出 Pod，請減少這個參數，這會減少單一工作站嘗試處理的任務數量。或者，您也可以增加工作站記憶體。
根據預設，工作站並行數是根據工作站可容納的輕量型並行工作執行個體數量設定。也就是說，這個值取決於工作站資源限制。工作站並行值與環境中的工作站數量無關。
如要變更這項參數，請覆寫下列 Airflow 設定選項：
| 區段 | 鍵 | 值 |
|---|---|---|
celery |
worker_concurrency |
工作人員並行的新值 |
變更 DAG 並行
DAG 並行數是指每個 DAG 中允許同時執行的工作執行個體數量上限。如果 DAG 執行大量並行工作，請增加此值。如果這項設定的值較低，排程器會延遲將更多工作放入佇列，這也會降低環境自動調整大小的效率。
如要變更這項參數，請覆寫下列 Airflow 設定選項：
| 區段 | 鍵 | 值 | 附註 |
|---|---|---|---|
core |
max_active_tasks_per_dag |
DAG 並行的新值 | 預設值為 16 |
提高每個 DAG 的有效執行數上限
這項屬性會定義每個 DAG 的有效 DAG 執行數上限。如果必須同時多次執行相同 DAG (例如使用不同的輸入引數)，排程器可透過這個屬性平行啟動這類執行作業。
如要變更這項參數，請覆寫下列 Airflow 設定選項：
| 區段 | 鍵 | 值 | 附註 |
|---|---|---|---|
core |
max_active_runs_per_dag |
每個 DAG 的有效執行數上限新值 | 預設值為 25 |