Panoramica della sicurezza di Managed Airflow

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Managed Airflow offre una serie di funzionalità di sicurezza e conformità utili per le aziende con requisiti di sicurezza più rigorosi.

Queste tre sezioni forniscono informazioni sulle funzionalità di sicurezza di Managed Airflow:

Funzionalità di sicurezza di base

Questa sezione elenca le funzionalità relative alla sicurezza fornite per impostazione predefinita per ogni ambiente Managed Airflow.

Crittografia at-rest

Managed Airflow utilizes la crittografia at-rest in Google Cloud.

Managed Airflow archivia i dati in servizi diversi. Ad esempio, il database dei metadati di Airflow utilizza il database Cloud SQL, mentre i DAG vengono archiviati nei bucket Cloud Storage.

Per impostazione predefinita, i dati vengono criptati utilizzando Google-owned and Google-managed encryption keys.

Se preferisci, puoi configurare gli ambienti Managed Airflow in modo che vengano criptati con chiavi di crittografia gestite dal cliente.

Accesso uniforme a livello di bucket

L'accesso uniforme a livello di bucket consente di controllare in modo uniforme l'accesso alle risorse Cloud Storage Questo meccanismo si applica anche al bucket dell'ambiente, in cui sono archiviati i DAG e i plug-in.

Autorizzazioni utente

Managed Airflow offre diverse funzionalità per la gestione delle autorizzazioni utente:

  • Ruoli e autorizzazioni IAM. Gli ambienti Managed Airflow in un Google Cloud progetto sono accessibili solo agli utenti i cui account sono stati aggiunti a IAM del progetto.

  • Ruoli e autorizzazioni specifici di Managed Airflow. Assegna questi ruoli e autorizzazioni agli account utente nel tuo progetto. Ogni ruolo definisce i tipi di operazioni che un account utente può eseguire sugli ambienti Managed Airflow nel tuo progetto.

  • Controllo dell'accesso all'UI di Airflow. Gli utenti del tuo progetto possono avere livelli di accesso diversi nell'UI di Airflow. Questo meccanismo è chiamato controllo dell'accesso all'UI di Airflow (controllo dell'accesso basato sui ruoli di Airflow o RBAC di Airflow).

  • Condivisione limitata dei domini. Managed Airflow supporta il criterio dell'organizzazione per la condivisione limitata dei domini. Se utilizzi questo criterio, solo gli utenti dei domini selezionati possono accedere ai tuoi ambienti.

Ambienti IP privati

Puoi creare ambienti Managed Airflow nella configurazione di rete IP privata.

In modalità IP privato, i nodi del cluster dell'ambiente non hanno indirizzi IP esterni e non comunicano tramite la rete internet pubblica.

Il cluster dell'ambiente utilizza Shielded VM

Le Shielded VM sono macchine virtuali (VM) su Google Cloud Google Cloud protette da un set di controlli di sicurezza che contribuiscono alla difesa da rootkit e bootkit.

Gli ambienti Managed Airflow utilizzano Shielded VM per eseguire i nodi del cluster dell'ambiente.

Funzionalità di sicurezza avanzate

Questa sezione elenca le funzionalità avanzate relative alla sicurezza per gli ambienti Managed Airflow.

Chiavi di crittografia gestite dal cliente (CMEK)

Managed Airflow supporta le chiavi di crittografia gestite dal cliente (CMEK). Le CMEK offrono un maggiore controllo sulle chiavi utilizzate per crittografare i dati a riposo all'interno di un Google Cloud progetto.

Puoi utilizzare le CMEK con Managed Airflow per criptare e decriptare i dati generati da un ambiente Managed Airflow.

Supporto dei Controlli di servizio VPC

I Controlli di servizio VPC sono un meccanismo per ridurre i rischi di esfiltrazione di dati.

Managed Airflow può essere selezionato come servizio protetto all'interno di un perimetro dei Controlli di servizio VPC. Tutte le risorse sottostanti utilizzate da Managed Airflow sono configurate per supportare l'architettura dei Controlli di servizio VPC e rispettarne le regole. Solo gli ambienti IP privati possono essere creati in un perimetro dei Controlli di servizio VPC.

Il deployment di ambienti Managed Airflow con i Controlli di servizio VPC offre:

  • Rischio ridotto di esfiltrazione di dati.

  • Protezione dall'esposizione dei dati a causa di controlli di accesso configurati in modo errato.

  • Rischio ridotto di utenti malintenzionati che copiano i dati in risorse non autorizzate Google Cloud o di attacchi esterni che accedono alle Google Cloud risorse da internet.

Livelli di controllo dell'accesso di rete al server web (ACL)

I server web Airflow in Managed Airflow vengono sempre sottoposti a provisioning con un indirizzo IP accessibile esternamente. Puoi controllare da quali indirizzi IP è possibile accedere all'UI di Airflow. Managed Airflow supporta gli intervalli IPv4 e IPv6.

Puoi configurare le limitazioni di accesso al server web in Google Cloud console, gcloud, API e Terraform.

Secret Manager come spazio di archiviazione per i dati di configurazione sensibili

In Managed Airflow, puoi configurare Airflow in modo che utilizzi Secret Manager come backend in cui vengono archiviate le variabili di connessione di Airflow.

Gli sviluppatori di DAG possono anche leggere le variabili e la connessione archiviate in Secret Manager dal codice DAG.

Conformità agli standard

Consulta le pagine collegate di seguito per verificare la conformità di Managed Airflow a vari standard:

Vedi anche

Alcune delle funzionalità di sicurezza menzionate in questo articolo sono trattate nella presentazione dell'Airflow Summit 2020: Run Airflow DAGs in a secure way.

Passaggi successivi