Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Halaman ini menjelaskan cara memelihara database Airflow di lingkungan Anda.
Pembersihan database otomatis dengan kebijakan retensi database
Anda dapat mengonfigurasi pembersihan database otomatis untuk lingkungan Managed Airflow (Gen 3) dengan menetapkan kebijakan retensi database. Setelah Anda menyiapkan kebijakan ini, catatan yang lebih lama dari periode tertentu akan otomatis dihapus dari database Airflow setiap hari. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi kebijakan retensi database.
Prosedur pembersihan yang tidak digunakan lagi
Sebelum kebijakan retensi database tersedia di Managed Airflow, kami merekomendasikan pendekatan yang berbeda untuk mengotomatiskan pembersihan database, melalui DAG pembersihan database. Pendekatan ini sudah tidak digunakan lagi di Managed Airflow (Gen 3). DAG ini melakukan pekerjaan yang berlebihan dan Anda dapat mengurangi konsumsi resource dengan menghapusnya dan menggantinya dengan kebijakan retensi database.
Batas ukuran database
Seiring waktu, database Airflow di lingkungan Anda akan menyimpan semakin banyak data. Data ini mencakup informasi dan log yang terkait dengan proses DAG, tugas, dan operasi Airflow sebelumnya.
Jika ukuran database Airflow lebih dari 20 GB, Anda tidak dapat mengupgrade lingkungan ke versi yang lebih baru.
Jika ukuran database Airflow lebih dari 20 GB, Anda tidak dapat membuat snapshot.
Mempertahankan performa database
Masalah performa database Airflow dapat menyebabkan masalah eksekusi DAG secara keseluruhan. Amati Penggunaan CPU dan memori database statistik. Jika pemanfaatan CPU dan memori mendekati batas, database akan kelebihan beban dan memerlukan penskalaan. Jumlah resource yang tersedia untuk database Airflow dikontrol oleh properti ukuran lingkungan di lingkungan Anda. Untuk meningkatkan skala database ubah ukuran lingkungan ke tingkat yang lebih besar. Meningkatkan ukuran lingkungan akan meningkatkan biaya lingkungan Anda.
Jika Anda menggunakan mekanisme XCom untuk mentransfer file, pastikan Anda menggunakannya sesuai dengan panduan Airflow. Mentransfer file besar atau sejumlah besar file menggunakan XCom akan memengaruhi performa database Airflow dan dapat menyebabkan kegagalan saat memuat snapshot atau mengupgrade lingkungan Anda. Pertimbangkan untuk menggunakan alternatif seperti Cloud Storage untuk mentransfer data dalam jumlah besar.
Menghapus entri untuk DAG yang tidak digunakan
Anda dapat menghapus entri database untuk DAG yang tidak digunakan dengan menghapus DAG dari UI Airflow.
Langkah berikutnya