Managed Airflow (terza generazione) | Managed Airflow (seconda generazione) | Managed Airflow (prima generazione legacy)
Managed Airflow offre una serie di funzionalità di sicurezza e conformità utili per le aziende Enterprise con requisiti di sicurezza più rigorosi.
Queste tre sezioni presentano informazioni sulle funzionalità di sicurezza di Managed Airflow:
- Funzionalità di sicurezza di base. Descrive le funzionalità disponibili per impostazione predefinita negli ambienti Managed Airflow.
- Funzionalità di sicurezza avanzate. Descrive le funzionalità che puoi utilizzare per modificare Airflow gestito in base ai tuoi requisiti di sicurezza.
- Conformità agli standard. Fornisce un elenco degli standard a cui è conforme Managed Airflow.
Funzionalità di sicurezza di base
Questa sezione elenca le funzionalità relative alla sicurezza fornite per impostazione predefinita per ogni ambiente Airflow gestito.
Crittografia at-rest
Managed Airflow utilizza la crittografia at-rest in Google Cloud.
Managed Airflow archivia i dati in servizi diversi. Ad esempio, il database dei metadati di Airflow utilizza il database Cloud SQL, mentre i DAG vengono archiviati nei bucket Cloud Storage.
Per impostazione predefinita, i dati vengono criptati utilizzando Google-owned and Google-managed encryption keys.
Se preferisci, puoi configurare gli ambienti Managed Airflow in modo che vengano criptati con chiavi di crittografia gestite dal cliente.
Accesso uniforme a livello di bucket
L'accesso uniforme a livello di bucket consente di controllare in modo uniforme l'accesso alle risorse Cloud Storage Questo meccanismo si applica anche al bucket dell'ambiente, in cui sono archiviati i DAG e i plug-in.
Autorizzazioni utente
Managed Airflow offre diverse funzionalità per la gestione delle autorizzazioni utente:
Ruoli e autorizzazioni IAM. Gli ambienti Managed Airflow in un Google Cloud progetto sono accessibili solo agli utenti i cui account sono stati aggiunti a IAM del progetto.
Ruoli e autorizzazioni specifici di Airflow gestito. Assegna questi ruoli e autorizzazioni agli account utente nel tuo progetto. Ogni ruolo definisce i tipi di operazioni che un account utente può eseguire sugli ambienti Managed Airflow nel tuo progetto.
Controllo dell'accesso all'UI di Airflow. Gli utenti del tuo progetto possono avere livelli di accesso diversi nell'UI di Airflow. Questo meccanismo è chiamato controllo dell'accesso all'UI di Airflow (controllo dell'accesso basato sui ruoli di Airflow o RBAC di Airflow).
Condivisione limitata dei domini. Managed Airflow supporta il criterio dell'organizzazione per la condivisione limitata dei domini. Se utilizzi questo criterio, solo gli utenti dei domini selezionati possono accedere ai tuoi ambienti.
Ambienti IP privati
Puoi creare ambienti Managed Airflow nella configurazione di rete IP privata.
In modalità IP privato, i nodi del cluster dell'ambiente non hanno indirizzi IP esterni e non comunicano tramite la rete internet pubblica.
Il cluster dell'ambiente utilizza Shielded VM
Le Shielded VM sono macchine virtuali (VM) su Google Cloud Google Cloud protette da un set di controlli di sicurezza che contribuiscono alla difesa da rootkit e bootkit.
Gli ambienti Managed Airflow utilizzano Shielded VM per eseguire i nodi del cluster dell'ambiente.
Funzionalità di sicurezza avanzate
Questa sezione elenca le funzionalità avanzate relative alla sicurezza per gli ambienti Managed Airflow.
Chiavi di crittografia gestite dal cliente (CMEK)
Managed Airflow supporta le chiavi di crittografia gestite dal cliente (CMEK). Le CMEK ti offrono un maggiore controllo sulle chiavi utilizzate per criptare i dati at-rest all'interno di un Google Cloud progetto.
Puoi utilizzare le CMEK con Airflow gestito per criptare e decriptare i dati generati da un ambiente Airflow gestito.
Supporto dei Controlli di servizio VPC
I Controlli di servizio VPC sono un meccanismo per ridurre i rischi di esfiltrazione di dati.
Managed Airflow può essere selezionato come servizio protetto all'interno di un perimetro dei Controlli di servizio VPC. Tutte le risorse sottostanti utilizzate da Managed Airflow sono configurate per supportare l'architettura dei Controlli di servizio VPC e rispettarne le regole. Solo gli ambienti IP privati possono essere creati in un perimetro dei Controlli di servizio VPC.
Il deployment di ambienti Managed Airflow con i Controlli di servizio VPC offre:
Rischio ridotto di esfiltrazione di dati.
Protezione dall'esposizione dei dati a causa di controlli di accesso configurati in modo errato.
Rischio ridotto di utenti malintenzionati che copiano i dati in risorse non autorizzate Google Cloud o di attacchi esterni che accedono alle Google Cloud risorse da internet.
Livelli di controllo dell'accesso di rete al server web (ACL)
I server web Airflow in Managed Airflow vengono sempre sottoposti a provisioning con un indirizzo IP accessibile esternamente. Puoi controllare da quali indirizzi IP è possibile accedere all'UI di Airflow. Managed Airflow supporta gli intervalli IPv4 e IPv6.
Puoi configurare le limitazioni di accesso al server web
in Google Cloud console, gcloud, API e Terraform.
Secret Manager come spazio di archiviazione per i dati di configurazione sensibili
In Airflow gestito, puoi configurare Airflow in modo che utilizzi Secret Manager come backend in cui vengono archiviate le variabili di connessione di Airflow.
Gli sviluppatori di DAG possono anche leggere le variabili e le connessioni archiviate in Secret Manager dal codice DAG.
Conformità agli standard
Consulta le pagine collegate di seguito per verificare la conformità di Airflow gestito a vari standard:
- Conformità HIPAA
- Access Transparency
- PCI DSS
- ISO/IEC: 27001, 27017, 27018
- SOC: SOC 1, SOC 2, SOC 3
- NIST: NIST800-53, NIST800-171
- DRZ FedRamp Moderate
- Restrizioni relative alla residenza/località dei dati (guida alla configurazione per Managed Airflow)
- Assured Workloads
Vedi anche
Alcune delle funzionalità di sicurezza menzionate in questo articolo sono trattate nella presentazione di Airflow Summit 2020: Run Airflow DAGs in a secure way.