Mengaktifkan dan menonaktifkan serialisasi DAG

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Ikuti petunjuk di halaman ini untuk mengaktifkan atau menonaktifkan serialisasi DAG.

Di lingkungan Cloud Composer, scheduler Airflow dan server web Airflow terus memproses DAG. Anda dapat meningkatkan keandalan dan performa server web Airflow dengan mengaktifkan serialisasi DAG.

Mengaktifkan serialisasi DAG akan memaksa scheduler untuk memproses file DAG sebelum dikirim ke server web. Server web tidak memproses DAG. Sebagai gantinya, DAG yang diserialisasi dibaca dari database Airflow. Menserialisasi DAG dengan cara ini akan mengurangi penggunaan CPU dan memori server web, terutama saat memproses sejumlah besar DAG.

Sebelum memulai

Catatan: Mulai dari Cloud Composer versi 1.15.0, serialisasi DAG diaktifkan secara default. Anda dapat mengaktifkan dan menonaktifkan serialisasi DAG di lingkungan baru dan yang sudah ada dengan mengganti opsi konfigurasi Airflow, seperti yang dijelaskan di bagian berikut.

Serialisasi DAG memengaruhi fitur Cloud Composer berikut:

• Serialisasi DAG tidak dapat diaktifkan bersamaan dengan pemuatan DAG asinkron.
• Mengaktifkan serialisasi DAG akan menonaktifkan semua plugin server web Airflow untuk Cloud Composer. Hal ini tidak memengaruhi plugin penjadwal atau pekerja, termasuk operator, sensor, dan sebagainya di Airflow.

Mengaktifkan serialisasi DAG

Anda dapat mengaktifkan serialisasi DAG untuk lingkungan yang ada atau saat membuat lingkungan baru.

Catatan: Jangan terapkan setelan ini ke lingkungan yang menjalankan Airflow 2.x. Serialisasi DAG dan penyimpanan kode DAG di Database Metadata Airflow diaktifkan secara default di Airflow 2.x dan Anda tidak dapat mengaktifkan atau menonaktifkannya.

Untuk mengaktifkan serialisasi DAG, ganti opsi konfigurasi Airflow berikut:

Bagian	Kunci	Nilai
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

Opsi konfigurasi min_serialized_dag_update_interval Airflow mengontrol seberapa sering DAG yang diserialisasi diperbarui dalam database. Opsi dag_dir_list_interval mengontrol seberapa sering DAG yang dihapus dihapus dari database Airflow. Frekuensi update yang tinggi dapat berdampak negatif pada performa. Sebaiknya setel min_serialized_dag_update_interval dan dag_dir_list_interval ke 30 detik.

Menonaktifkan serialisasi DAG

Anda dapat mengaktifkan serialisasi DAG untuk lingkungan yang ada atau saat membuat lingkungan baru.

Untuk menonaktifkan serialisasi DAG, ganti opsi konfigurasi Airflow berikut:

Bagian	Kunci	Nilai
core	store_serialized_dags	False
core	store_dag_code	False