Abilitazione e disabilitazione della serializzazione DAG

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Segui le istruzioni riportate in questa pagina per attivare o disattivare la serializzazione DAG.

In un ambiente Cloud Composer, sia lo scheduler Airflow sia il server web Airflow elaborano continuamente i DAG. Puoi migliorare l'affidabilità e le prestazioni del server web Airflow attivando la serializzazione DAG.

L'abilitazione della serializzazione DAG forza lo scheduler a elaborare i file DAG prima che vengano inviati al server web. Il server web non elabora i DAG. Legge invece i DAG serializzati dal database Airflow. La serializzazione dei DAG in questo modo riduce l'utilizzo di CPU e memoria del server web, soprattutto quando vengono elaborati un numero elevato di DAG.

Prima di iniziare

Nota :a partire dalla versione 1.15.0 di Cloud Composer, la serializzazione dei DAG è abilitata per impostazione predefinita. Puoi attivare e disattivare la serializzazione DAG negli ambienti nuovi ed esistenti eseguendo l'override delle opzioni di configurazione di Airflow, come descritto nelle sezioni seguenti.

La serializzazione DAG influisce sulle seguenti funzionalità di Cloud Composer:

• La serializzazione DAG non può essere abilitata contemporaneamente al caricamento asincrono DAG.
• L'attivazione della serializzazione DAG disattiva tutti i plug-in del server web Airflow per Cloud Composer. Ciò non influisce sui plug-in di scheduler o worker, inclusi operatori, sensori e così via di Airflow.

Abilitazione della serializzazione DAG

Puoi abilitare la serializzazione DAG per un ambiente esistente o durante la creazione di un nuovo ambiente.

Nota: non applicare queste impostazioni agli ambienti che eseguono Airflow 2.x. La serializzazione DAG e l'archiviazione del codice DAG nel database dei metadati di Airflow sono attivate per impostazione predefinita in Airflow 2.x e non puoi attivarle o disattivarle.

Per abilitare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:

Sezione	Chiave	Valore
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

L'opzione di configurazione di Airflow min_serialized_dag_update_interval controlla la frequenza con cui i DAG serializzati vengono aggiornati nel database. L'opzione dag_dir_list_interval controlla la frequenza con cui i DAG rimossi vengono eliminati dal database Airflow. Una frequenza di aggiornamento elevata può influire negativamente sulle prestazioni. Ti consigliamo di impostare min_serialized_dag_update_interval e dag_dir_list_interval su 30 secondi.

Disabilitazione della serializzazione DAG

Puoi abilitare la serializzazione DAG per un ambiente esistente o durante la creazione di un nuovo ambiente.

Per disattivare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:

Sezione	Chiave	Valore
core	store_serialized_dags	False
core	store_dag_code	False