Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
このページでは、使用中の環境で Airflow データベースを管理する方法について説明します。
データベース保持ポリシーによるデータベースの自動クリーンアップ
データベース保持ポリシーを設定することで、Cloud Composer 3 環境のデータベースの自動クリーンアップを構成できます。このポリシーを設定すると、特定の期間より古いレコードが Airflow データベースから毎日自動的に削除されます。詳細については、データベース保持ポリシーを構成するをご覧ください。
非推奨のクリーンアップ手順
Cloud Composer でデータベース保持ポリシーが利用可能になる前は、データベース クリーンアップ DAG を使用してデータベース クリーンアップを自動化する別の方法をおすすめしていました。このアプローチは Cloud Composer 3 では廃止されました。この DAG は冗長な処理を行っています。この DAG を削除して データベース保持ポリシーに置き換えることで、リソース消費量を削減できます。
データベース サイズの上限
時間の経過とともに、環境の Airflow データベースに保存されるデータは増えていきます。このデータには、過去の DAG の実行やタスクなどの Airflow オペレーションに関連する情報とログが含まれます。
Airflow データベースのサイズが 20 GB を超える場合、環境を新しいバージョンにアップグレードすることはできません。
Airflow データベースのサイズが 20 GB を超える場合、スナップショットを作成することはできません。
データベースのパフォーマンスを維持する
Airflow データベースのパフォーマンスの問題は、DAG の全体的な実行の問題の原因になる場合があります。データベースの CPU とメモリ使用量の統計情報を確認します。CPU とメモリの使用率が上限に近づくと、データベースが過負荷状態になり、スケーリングが必要な状態になります。 Airflow データベースで使用できるリソースの量は、環境の環境サイズ プロパティによって制御されます。データベースをスケールアップするには、より大きな階層に環境サイズを変更します。環境のサイズを大きくすると、環境の費用が増加します。
XCom メカニズムを使用してファイルを転送する場合は、Airflow のガイドラインに従って使用するようにしてください。XCom を使用して大きなファイルや大量のファイルを転送すると、Airflow データベースのパフォーマンスに影響し、スナップショットの読み込みや環境のアップグレード時に障害が発生する可能性があります。大量のデータを転送するには、Cloud Storage などの代替手段の使用を検討してください。
未使用の DAG のエントリを削除する
Airflow UI から DAG を削除することで、未使用の DAG のデータベース エントリを削除できます。
次のステップ