Managed Airflow (terza generazione) | Managed Airflow (seconda generazione) | Managed Airflow (prima generazione legacy)
In questa pagina viene descritto quali dati Managed Service for Apache Airflow archivia per il tuo ambiente in Cloud Storage.
Quando crei un ambiente, Airflow gestito crea un
bucket Cloud Storage e lo associa
al tuo ambiente. Il nome del bucket è basato sulla regione, sul nome dell'ambiente e su un ID casuale, ad esempio us-central1-b1-6efabcde-bucket.
Airflow gestito sincronizza cartelle specifiche nel bucket dell'ambiente con i componenti Airflow eseguiti nell'ambiente. Ad esempio, quando aggiorni un file con il codice del DAG Airflow nel bucket dell'ambiente, anche i componenti Airflow ricevono la versione aggiornata. Airflow gestito utilizza Cloud Storage FUSE per la sincronizzazione.
Cartelle nel bucket Cloud Storage
| Cartella | Percorso di archiviazione | Directory mappata | Descrizione |
|---|---|---|---|
| DAG | gs://bucket-name/dags |
/home/airflow/gcs/dags |
Archivia i DAG per il tuo ambiente. |
| Plug-in | gs://bucket-name/plugins |
/home/airflow/gcs/plugins |
Archivia i plug-in personalizzati, ad esempio operatori, hook, sensori o interfacce Airflow personalizzati interni. |
| Dati | gs://bucket-name/data |
/home/airflow/gcs/data |
Archivia i dati prodotti e utilizzati dalle attività. |
| Log | gs://bucket-name/logs |
/home/airflow/gcs/logs |
Archivia i log Airflow per le attività. I log sono disponibili anche nell'interfaccia utente di Airflow e nella scheda Log in Google Cloud console. |
Airflow gestito sincronizza le cartelle in modo unidirezionale: dal bucket ai componenti Airflow. La sincronizzazione unidirezionale significa che le modifiche locali apportate a queste cartelle su un componente Airflow vengono sovrascritte.
La sincronizzazione dei dati è a coerenza finale. Per inviare messaggi da un operatore a un altro, utilizza XComs.
Considerazioni sulla capacità
I dati delle cartelle dags/, plugins/ e data/ vengono sincronizzati con gli scheduler e i worker di Airflow.
I contenuti della cartella plugins/ vengono sincronizzati con il server web Airflow.
Più dati vengono inseriti in queste cartelle, più spazio viene occupato nello spazio di archiviazione locale dei componenti Airflow. Il salvataggio di troppi dati in dags/ e plugins/ può interrompere le operazioni e causare problemi come:
Un worker o uno scheduler esaurisce lo spazio di archiviazione locale e viene rimosso a causa dello spazio insufficiente sul disco locale del componente.
La sincronizzazione dei file dalle cartelle
dags/eplugins/ai worker e agli scheduler richiede molto tempo.La sincronizzazione dei file dalle cartelle
dags/eplugins/ai worker e agli scheduler diventa impossibile. Ad esempio, archivi un file di 2 GB nella cartelladags/, ma il disco locale di un worker Airflow può contenere solo 1 GB. Durante la sincronizzazione, il worker esaurisce lo spazio di archiviazione locale e la sincronizzazione non può essere completata.
Cartelle DAG e plug-in
Per evitare errori di esecuzione dei DAG, archivia i DAG, i plug-in e i moduli Python nelle cartelle dags/ o plugins/, anche se i moduli Python non contengono DAG o plug-in.
Ad esempio, utilizzi un DataFlowPythonOperator che fa riferimento a una pipeline Dataflow py_file. Questo py_file non contiene DAG o plug-in, ma devi comunque archiviarlo nella cartella dags/ o plugins/.
Cartella dei dati
Esistono scenari in cui alcuni file della cartella data/ vengono sincronizzati con un componente Airflow specifico. Ad esempio, quando Managed Service for Apache Airflow tenta di leggere un determinato file per la prima volta durante:
Analisi dei DAG: quando un file viene letto per la prima volta durante l'analisi dei DAG, Managed Service for Apache Airflow lo sincronizza con lo scheduler che analizza il DAG.
Esecuzione dei DAG: quando un file viene letto per la prima volta durante l'esecuzione dei DAG, Managed Service for Apache Airflow lo sincronizza con il worker che esegue l'esecuzione.
I componenti Airflow hanno uno spazio di archiviazione locale limitato, quindi valuta la possibilità di eliminare i file scaricati per liberare spazio su disco nei componenti. Tieni presente che l'utilizzo dello spazio di archiviazione locale può aumentare temporaneamente anche se hai attività simultanee che scaricano lo stesso file su un singolo worker Airflow.
Cartella dei log
La cartella logs/ viene sincronizzata dai worker Airflow al bucket dell'ambiente utilizzando l'API Storage di Cloud.
La quota dell'API Cloud Storage viene calcolata in base alla quantità di dati spostati, quindi il numero di attività Airflow eseguite dal sistema può aumentare l'utilizzo dell'API Cloud Storage: più attività esegui, più grandi sono i file di log.
Sincronizzazione con il server web
La cartella plugins/ viene sincronizzata automaticamente con il server web in modo che i plug-in possano essere caricati dall'interfaccia utente di Airflow.