Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Managed Airflow offre una serie di funzionalità di sicurezza e conformità utili per le aziende con requisiti di sicurezza più rigorosi.
Queste tre sezioni presentano informazioni sulle funzionalità di sicurezza di Managed Airflow:
- Funzionalità di sicurezza di base. Descrive le funzionalità disponibili negli ambienti Managed Airflow per impostazione predefinita.
- Funzionalità di sicurezza avanzate. Descrive le funzionalità che puoi utilizzare per modificare Managed Airflow in base ai tuoi requisiti di sicurezza.
- Conformità agli standard. Fornisce un elenco degli standard a cui Managed Airflow è conforme.
Funzionalità di sicurezza di base
Questa sezione elenca le funzionalità relative alla sicurezza fornite per impostazione predefinita per ogni ambiente Managed Airflow.
Crittografia dei dati inattivi
Managed Airflow utilizza la crittografia at-rest in Google Cloud.
Managed Airflow archivia i dati in servizi diversi. Ad esempio, il database dei metadati di Airflow utilizza il database Cloud SQL, mentre i DAG sono archiviati nei bucket Cloud Storage.
Per impostazione predefinita, i dati vengono criptati utilizzando Google-owned and Google-managed encryption keys.
Se preferisci, puoi configurare gli ambienti Managed Airflow in modo che vengano criptati con chiavi di crittografia gestite dal cliente.
Accesso uniforme a livello di bucket
L'accesso uniforme a livello di bucket ti consente di controllare in modo uniforme l'accesso alle tue risorse Cloud Storage. Questo meccanismo si applica anche al bucket del tuo ambiente, che memorizza i DAG e i plug-in.
Autorizzazioni utente
Managed Airflow offre diverse funzionalità per la gestione delle autorizzazioni utente:
Ruoli e autorizzazioni IAM. È possibile accedere agli ambienti Managed Airflow in un progetto Google Cloud solo da utenti i cui account sono aggiunti a IAM del progetto.
Ruoli e autorizzazioni specifici di Managed Airflow. Assegna questi ruoli e autorizzazioni agli account utente nel tuo progetto. Ogni ruolo definisce i tipi di operazioni che un account utente può eseguire sugli ambienti Managed Airflow nel tuo progetto.
Controllo dell'accesso alla UI di Airflow. Gli utenti del tuo progetto possono avere livelli di accesso diversi nell'interfaccia utente di Airflow. Questo meccanismo è chiamato controllo dell'accesso all'interfaccia utente di Airflow (controllo dell'accesso basato sui ruoli di Airflow o RBAC di Airflow).
Condivisione limitata dei domini. Managed Airflow supporta il criterio dell'organizzazione di condivisione limitata per i domini. Se utilizzi questo criterio, solo gli utenti dei domini selezionati possono accedere ai tuoi ambienti.
Ambienti IP privati
Puoi creare ambienti Managed Airflow nella configurazione di rete IP privata.
In modalità IP privato, i nodi del cluster dell'ambiente non hanno indirizzi IP esterni e non comunicano tramite internet pubblico.
Il cluster del tuo ambiente utilizza Shielded VM
Le Shielded VM sono macchine virtuali (VM) su Google Cloud protette da un set di controlli di sicurezza che contribuiscono alla difesa da rootkit e bootkit.
Gli ambienti Managed Airflow (Legacy Gen 1) creati in base alle versioni di GKE 1.18 e successive utilizzano VM schermate per eseguire i nodi del cluster dell'ambiente.
Funzionalità di sicurezza avanzate
Questa sezione elenca le funzionalità avanzate relative alla sicurezza per gli ambienti Managed Airflow.
Chiavi di crittografia gestite dal cliente (CMEK)
Managed Airflow supporta le chiavi di crittografia gestite dal cliente (CMEK). CMEK ti offre un maggiore controllo sulle chiavi utilizzate per criptare i dati at-rest all'interno di un progetto Google Cloud .
Puoi utilizzare CMEK con Managed Airflow per criptare e decriptare i dati generati da un ambiente Managed Airflow.
Supporto dei Controlli di servizio VPC
I Controlli di servizio VPC sono un meccanismo per mitigare i rischi di esfiltrazione di dati.
Managed Airflow può essere selezionato come servizio protetto all'interno di un perimetro dei Controlli di servizio VPC. Tutte le risorse sottostanti utilizzate da Managed Airflow sono configurate per supportare l'architettura dei Controlli di servizio VPC e rispettarne le regole. Solo gli ambienti IP privato possono essere creati in un perimetro VPC SC.
Il deployment di ambienti Managed Airflow con Controlli di servizio VPC ti offre:
Riduzione del rischio di esfiltrazione di dati.
Protezione dall'esposizione dei dati dovuta a controlli dell'accesso configurati in modo errato.
Rischio ridotto che utenti malintenzionati copino dati in risorseGoogle Cloud non autorizzate o che aggressori esterni accedano a risorseGoogle Cloud da internet.
Livelli di controllo dell'accesso di rete al server web (ACL)
I server web Airflow in Managed Airflow vengono sempre sottoposti a provisioning con un indirizzo IP accessibile esternamente. Puoi controllare da quali indirizzi IP è possibile accedere alla UI di Airflow. Managed Airflow supporta intervalli IPv4 e IPv6.
Puoi configurare le limitazioni di accesso al server web
nella console Google Cloud , in gcloud, nell'API e in Terraform.
Secret Manager come spazio di archiviazione per i dati di configurazione sensibili
In Managed Airflow, puoi configurare Airflow per utilizzare Secret Manager come backend in cui vengono archiviate le variabili di connessione Airflow.
Gli sviluppatori di DAG possono anche leggere le variabili e la connessione archiviate in Secret Manager dal codice DAG.
Conformità agli standard
Consulta le pagine indicate di seguito per verificare la conformità di Managed Airflow a vari standard:
- Conformità HIPAA
- Access Transparency
- PCI DSS
- ISO/IEC: 27001, 27017, 27018
- SOC: SOC 1, SOC 2, SOC 3
- NIST: NIST800-53, NIST800-171
- DRZ FedRAMP Moderate
- Restrizioni relative alla residenza/posizione dei dati (guida alla configurazione per Managed Airflow)
Vedi anche
Alcune delle funzionalità di sicurezza menzionate in questo articolo sono trattate nella presentazione dell'Airflow Summit 2020: Run Airflow DAGs in a secure way.