清除 Airflow 資料庫

Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)

本頁說明如何維護環境中的 Airflow 資料庫。

透過資料庫保留政策自動清理資料庫

您可以設定資料庫保留政策,為 Managed Airflow (第 3 代) 環境設定自動資料庫清除作業。設定這項政策後,系統每天會自動從 Airflow 資料庫中移除超過特定時間範圍的記錄。詳情請參閱「設定資料庫保留政策」。

已淘汰的清理程序

在 Managed Airflow 提供資料庫保留政策之前,我們建議透過資料庫清除 DAG,以不同方法自動清除資料庫。在 Managed Airflow (第 3 代) 中,這種方法已過時。這個 DAG 會執行多餘的工作,您可以移除這個 DAG 並改用資料庫保留政策,藉此減少資源耗用量。

資料庫大小限制

隨著時間推移,環境的 Airflow 資料庫會儲存越來越多資料。這類資料包括與過去 DAG 執行、工作和其他 Airflow 作業相關的資訊和記錄。

  • 如果 Airflow 資料庫大小超過 20 GB,就無法將環境升級至較新版本。

  • 如果 Airflow 資料庫大小超過 20 GB,就無法建立快照。

維持資料庫效能

  • Airflow 資料庫效能問題可能會導致整體 DAG 執行問題。觀察資料庫 CPU 和記憶體用量統計資料。如果 CPU 和記憶體使用率接近上限,表示資料庫負載過重,需要擴充。 Airflow 資料庫的可用資源量由環境的環境大小屬性控管。如要擴充資料庫,請將環境大小變更為較大的層級。環境大小增加會導致環境費用增加。

  • 如果您使用 XCom 機制傳輸檔案,請務必按照 Airflow 的指南使用。使用 XCom 傳輸大型檔案或大量檔案會影響 Airflow 資料庫的效能,並可能導致載入快照或升級環境時發生失敗。建議改用 Cloud Storage 等替代方案,傳輸大量資料。

移除未使用的 DAG 項目

如要移除未使用的 DAG 的資料庫項目,請從 Airflow 使用者介面移除 DAG

後續步驟