Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)
Questa pagina fornisce informazioni sugli ambienti Private IP Managed Airflow.
Per gli ambienti IP privati, Managed Airflow assegna solo indirizzi IP privati (RFC 1918) alle VM Google Kubernetes Engine e Cloud SQL gestite nel tuo ambiente, il che comporta l'assenza di accesso in entrata a queste VM gestite da internet pubblico. In alternativa, puoi utilizzare anche indirizzi IP pubblici utilizzati privatamente e l'agente IP Masquerade per risparmiare spazio per gli indirizzi IP e utilizzare indirizzi non RFC 1918.
Per impostazione predefinita, in un ambiente IP privato, i workflow Managed Airflow non hanno accesso a internet in uscita. L'accesso ad API e servizi non è interessato dal routing sulla rete privata di Google. Google Cloud
Cluster GKE VPC nativo
Quando crei un ambiente, Managed Airflow distribuisce le risorse dell'ambiente tra un progetto tenant gestito da Google e il tuo progetto cliente.
Per un ambiente IP privato, Managed Airflow crea un cluster GKE VPC nativo per il tuo ambiente nel tuo progetto cliente.
I cluster VPC nativi utilizzano il routing IP alias integrato nella rete VPC, consentendo a VPC di gestire il routing per i pod. Quando utilizzi cluster VPC nativi, GKE sceglie automaticamente un intervallo secondario. Per requisiti di rete specifici, puoi anche configurare gli intervalli secondari per i pod GKE e i servizi GKE quando crei un ambiente.
Ambiente Airflow gestito con IP privato
Puoi selezionare un ambiente IP privato quando crei un ambiente. L'utilizzo dell'IP privato significa che alle VM GKE e Cloud SQL nel tuo ambiente non vengono assegnati indirizzi IP pubblici e comunicano solo tramite la rete interna di Google.
Quando crei un ambiente con IP privato, il cluster GKE per il tuo ambiente è configurato come cluster privato e l'istanza Cloud SQL è configurata per l'IP privato.
Managed Airflow crea una connessione in peering tra la rete VPC del progetto cliente e la rete VPC del progetto tenant.
Con l'IP privato abilitato per il tuo ambiente, il traffico IP tra il cluster GKE dell'ambiente e il database Cloud SQL è privato, isolando così i tuoi flussi di lavoro da internet pubblico.
Questo ulteriore livello di sicurezza influisce sulla modalità di connessione a queste risorse e sulla modalità di accesso dell'ambiente alle risorse esterne. L'utilizzo dell'IP privato non influisce sul modo in cui accedi a Cloud Storage o al server web Airflow tramite l'IP pubblico.
Cluster GKE
L'utilizzo di un cluster GKE privato ti consente di controllare l'accesso al control plane del cluster (i nodi del cluster non hanno indirizzi IP pubblici).
Quando crei un ambiente Managed Airflow con IP privato, specifichi se l'accesso al control plane è pubblico e il relativo intervallo IP. L'intervallo IP del piano di controllo non deve sovrapporsi ad alcuna subnet nella tua rete VPC.
| Opzione | Descrizione |
|---|---|
| Accesso all'endpoint pubblico disabilitato | Per connetterti al cluster, devi
connetterti da una VM nella stessa regione e nella stessa rete VPC
dell'ambiente IP privato.
L'istanza VM da cui ti connetti richiede
l'ambito di accesso
Consenti l'accesso completo a tutte le API Cloud. Da questa VM, puoi eseguire i comandi kubectl sul cluster del tuo ambiente |
| Accesso all'endpoint pubblico abilitato, reti autorizzate master abilitate | In
questa configurazione, i nodi del cluster comunicano con il control plane tramite
la rete privata di Google. I nodi possono accedere alle risorse nel tuo ambiente
e nelle reti autorizzate. Puoi
aggiungere reti autorizzate in
GKE. Nelle reti autorizzate, puoi eseguire i comandi kubectl sul cluster del tuo
ambiente |
Cloud SQL
Poiché l'istanza Cloud SQL non ha un indirizzo IP pubblico, il traffico Cloud SQL all'interno dell'ambiente con IP privato non è esposto a internet pubblico.
Managed Airflow configura Cloud SQL per accettare le connessioni in entrata tramite l'accesso privato ai servizi. Puoi accedere all'istanza Cloud SQL sulla tua rete VPC utilizzando il relativo indirizzo IP privato.
Accesso a internet pubblico per i tuoi flussi di lavoro
Gli operatori e le operazioni che richiedono l'accesso a risorse su reti non autorizzate o su internet pubblico potrebbero non riuscire. Ad esempio, l'operazione Dataflow Python richiede una connessione a internet pubblica per scaricare Apache Beam da pip.
Per consentire alle VM senza indirizzi IP esterni e ai cluster GKE privati di connettersi a internet è necessario Cloud NAT.
Per utilizzare Cloud NAT, crea una configurazione NAT utilizzando router Cloud per la rete VPC e la regione in cui si trova il tuo ambiente Managed Airflow con IP privato.