Managed Airflow (terza generazione) | Managed Airflow (seconda generazione) | Managed Airflow (prima generazione legacy)
Questa pagina spiega come gestire il database Airflow nel tuo ambiente.
Pulizia automatica del database con una policy di conservazione del database
Puoi configurare la pulizia automatica del database per il tuo ambiente Managed Airflow (terza generazione) impostando una policy di conservazione del database. Dopo aver configurato questa policy, i record precedenti a un determinato periodo vengono rimossi automaticamente dal database Airflow ogni giorno. Per ulteriori informazioni, consulta Configurare la policy di conservazione del database.
Procedure di pulizia ritirate
Prima che la policy di conservazione del database diventasse disponibile in Managed Airflow, consigliavamo un approccio diverso per automatizzare la pulizia del database, tramite un DAG di pulizia del database. Questo approccio è obsoleto in Managed Airflow (terza generazione). Questo DAG esegue un lavoro ridondante e puoi ridurre il consumo di risorse rimuovendolo e sostituendolo con una policy di conservazione del database.
Limiti per le dimensioni del database
Con il passare del tempo, il database Airflow del tuo ambiente memorizza sempre più dati. Questi dati includono informazioni e log relativi alle esecuzioni DAG, alle attività e ad altre operazioni di Airflow precedenti.
Se le dimensioni del database Airflow sono superiori a 20 GB, non puoi eseguire l'upgrade dell'ambiente a una versione successiva.
Se le dimensioni del database Airflow sono superiori a 20 GB, non è possibile creare snapshot.
Mantenere le prestazioni del database
I problemi di prestazioni del database Airflow possono causare problemi di esecuzione complessivi del DAG. Osserva le statistiche sull'utilizzo di CPU e memoria utilizzata del database. Se l'utilizzo di CPU e memoria si avvicina ai limiti, il database è sovraccarico e richiede lo scale up. La quantità di risorse disponibili per il database Airflow è controllata dalla proprietà delle dimensioni dell'ambiente del tuo ambiente. Per eseguire lo scale up del database modifica le dimensioni dell'ambiente a un livello più grande. L'aumento delle dimensioni dell'ambiente aumenta i costi dell'ambiente.
Se utilizzi il meccanismo XCom per trasferire i file, assicurati di utilizzarlo in conformità alle linee guida di Airflow. Il trasferimento di file di grandi dimensioni o di un numero elevato di file tramite XCom influisce sulle prestazioni del database Airflow e può causare errori durante il caricamento degli snapshot o l'upgrade dell'ambiente. Valuta la possibilità di utilizzare alternative come Cloud Storage per trasferire grandi volumi di dati.
Rimuovere le voci per i DAG inutilizzati
Puoi rimuovere le voci del database per i DAG inutilizzati rimuovendo i DAG dall'interfaccia utente di Airflow.
Passaggi successivi
- Configurare la policy di conservazione del database
- Accedere all'interfaccia a riga di comando di Airflow