Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
L'esecuzione di un'applicazione mission-critical su Managed Airflow richiede che più parti si assumano responsabilità diverse. Sebbene non sia un elenco esaustivo, questo documento elenca le responsabilità sia di Google che del cliente.
Responsabilità di Google
Protezione e applicazione di patch ai componenti e all'infrastruttura sottostante dell'ambiente Managed Airflow, inclusi il cluster Google Kubernetes Engine, il database Cloud SQL (che ospita il database Airflow database), Pub/Sub, Artifact Registry e altri elementi dell'ambiente elementi. In particolare, ciò include l'upgrade automatico dell'infrastruttura sottostante, inclusi il cluster GKE e l'istanza Cloud SQL di un ambiente.
Protezione dell'accesso agli ambienti Managed Airflow tramite l'incorporamento del controllo dell'accesso fornito da IAM, la crittografia dei dati at-rest per impostazione predefinita, la fornitura di una crittografia di archiviazione gestita dal cliente aggiuntiva, e la crittografia dei dati in transito.
Fornitura di Google Cloud integrazioni per Identity and Access Management, Cloud Audit Logs e Cloud Key Management Service.
Limitazione e registrazione dell'accesso amministrativo di Google ai cluster dei clienti per scopi di assistenza contrattuale con Access Transparency e Approvazione dell'accesso.
Pubblicazione di informazioni sulle modifiche incompatibili con le versioni precedenti tra Managed Airflow e Airflow nelle note di rilascio di Managed Airflow.
Mantenimento aggiornato della documentazione di Managed Airflow:
Fornitura di una descrizione di tutte le funzionalità fornite da Managed Airflow.
Fornitura di istruzioni per la risoluzione dei problemi che consentono di mantenere gli ambienti in uno stato di integrità.
Pubblicazione di informazioni sui problemi noti con soluzioni alternative (se esistenti).
Risoluzione degli incidenti di sicurezza critici relativi agli ambienti Managed Airflow e alle immagini Airflow fornite da Managed Airflow (esclusi i pacchetti Python installati dal cliente) fornendo nuove versioni dell'ambiente che risolvono gli incidenti.
A seconda del piano di assistenza del cliente, risoluzione dei problemi di integrità dell'ambiente Managed Airflow.
Manutenzione ed espansione della funzionalità del provider Terraform di Managed Airflow.
Collaborazione con la community di Apache Airflow per la manutenzione e lo sviluppo degli operatori Airflow di Google.
Risoluzione dei problemi e, se possibile, correzione dei problemi nelle funzionalità principali di Airflow.
Responsabilità del cliente
Esecuzione dell'upgrade alle nuove versioni di Managed Airflow e Airflow per mantenere il supporto per il prodotto e risolvere i problemi di sicurezza una volta che il servizio Managed Airflow pubblica una versione di Managed Airflow che risolve i problemi.
Manutenzione del codice dei DAG per mantenerlo compatibile con la versione di Airflow utilizzata.
Mantenimento intatta della configurazione del cluster GKE dell'ambiente, in particolare della funzionalità di upgrade automatico.
Mantenimento delle autorizzazioni corrette in IAM per il account di servizio dell'ambiente. In particolare, mantenimento delle autorizzazioni richieste dal l'agente Managed Airflow e dal service account dell'ambiente. Mantenimento dell'autorizzazione richiesta per la chiave CMEK utilizzata per la crittografia dell'ambiente Managed Airflow e rotazione in base alle esigenze.
Mantenimento delle autorizzazioni corrette in IAM per il bucket dell'ambiente e il repository Artifact Registry in cui sono archiviate le immagini dei componenti di Managed Airflow .
Mantenimento delle autorizzazioni IAM corrette per un account di servizio che esegue le installazioni dei pacchetti PyPI. Per ulteriori informazioni, consulta Controllo dell'accesso.
Mantenimento delle autorizzazioni utente finali corrette in IAM e nella configurazione del controllo dell'accesso all'interfaccia utente di Airflow.
Mantenimento delle dimensioni del database Airflow al di sotto di 16 GB utilizzando il DAG di manutenzione.
Risoluzione di tutti i problemi di analisi dei DAG prima di aprire richieste di assistenza all'assistenza clienti Google Cloud.
Denominazione corretta dei DAG (ad esempio, senza utilizzare caratteri invisibili come SPAZIO o TAB nei nomi dei DAG) in modo che le metriche possano essere segnalate correttamente per i DAG.
Esegui l'upgrade del codice dei DAG in modo che non utilizzi operatori ritirati ed esegui la migrazione alle alternative aggiornate. Gli operatori ritirati potrebbero essere rimossi dai provider Airflow, il che potrebbe influire sui tuoi piani di upgrade a una versione successiva di Managed Airflow o Airflow. Gli operatori ritirati non vengono inoltre sottoposti a manutenzione e devono essere utilizzati "così come sono".
Configurazione delle autorizzazioni IAM corrette quando si utilizzano backend secret come Secret Manager in modo che il account di servizio dell'ambiente abbia accesso.
Modifica dei parametri dell'ambiente Managed Airflow (come CPU e memoria per i componenti Airflow) e delle configurazioni Airflow per soddisfare le aspettative di prestazioni e carico degli ambienti Managed Airflow utilizzando la guida all'ottimizzazione di Managed Airflow e la guida alla scalabilità dell'ambiente.
Evita di rimuovere le autorizzazioni richieste dall'agente Managed Airflow e dai service account dell'ambiente (la rimozione di queste autorizzazioni può causare errori nelle operazioni di gestione o errori di DAG e attività).
Mantenimento sempre abilitato di tutti i servizi e le API richiesti da Managed Airflow. Queste dipendenze devono avere quote configurate ai livelli richiesti per Managed Airflow.
Mantenimento dei repository Artifact Registry che ospitano le immagini container utilizzate dagli ambienti Managed Airflow.
Segui i consigli e le best practice per l'implementazione dei DAG.
Diagnostica gli errori di DAG e attività utilizzando le istruzioni per la risoluzione dei problemi dello scheduler, la risoluzione dei problemi dei DAG e la risoluzione dei problemi dell'attivatore.
Evita di installare o eseguire componenti aggiuntivi nel cluster GKE dell'ambiente che interferiscono con i componenti Managed Airflow e ne impediscono il corretto funzionamento.
Configura e gestisci gli snapshot per soddisfare le esigenze di conservazione dei dati e continuità operativa. Google non ripristina gli ambienti eliminati o i backup dei relativi database.
Manutenzione della catena di fornitura delle dipendenze Python per i pacchetti installati dal cliente. Ciò include la risoluzione degli errori di installazione causati da mancate corrispondenze delle dipendenze Python e la definizione di vincoli di versione specifici quando si aggiungono o modificano questi pacchetti.