清除 Airflow 資料庫

Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)

本頁說明如何維護環境中的 Airflow 資料庫。

透過資料庫保留政策自動清理資料庫

您可以設定資料庫保留政策,為 Managed Airflow (第 3 代) 環境設定自動清除資料庫。設定這項政策後,系統每天會自動從 Airflow 資料庫中移除超過特定時間範圍的記錄。詳情請參閱「設定資料庫保留政策」。

已淘汰的清理程序

在 Managed Airflow 提供資料庫保留政策之前,我們建議使用其他方法自動清理資料庫,也就是透過資料庫清理 DAG。在 Managed Airflow (第 3 代) 中,這種做法已過時。這個 DAG 會執行多餘的工作,您可以移除這個 DAG 並改用資料庫保留政策,藉此減少資源耗用量。

資料庫大小限制

隨著時間推移,環境的 Airflow 資料庫會儲存越來越多資料。這類資料包括與過去 DAG 執行、工作和其他 Airflow 作業相關的資訊和記錄。

  • 如果 Airflow 資料庫大小超過 20 GB,就無法將環境升級至較新版本。

  • 如果 Airflow 資料庫大小超過 20 GB,就無法建立快照。

維持資料庫效能

  • Airflow 資料庫效能問題可能會導致整體 DAG 執行問題。觀察資料庫 CPU 和記憶體用量統計資料。如果 CPU 和記憶體使用率接近上限,表示資料庫已過載,需要擴充。 Airflow 資料庫的可用資源量由環境的環境大小屬性控管。如要擴充資料庫,請將環境大小變更為較大的層級。環境大小增加,環境費用也會增加。

  • 如果您使用 XCom 機制傳輸檔案,請務必按照 Airflow 的指南使用。使用 XCom 傳輸大型檔案或大量檔案會影響 Airflow 資料庫的效能,並可能導致載入快照或升級環境時發生錯誤。請考慮使用 Cloud Storage 等替代方案來移轉大量資料。

移除未使用的 DAG 項目

如要移除未使用的 DAG 的資料庫項目,請從 Airflow UI 移除 DAG

後續步驟