Managed Airflow (terza generazione) | Managed Airflow (seconda generazione) | Managed Airflow (prima generazione legacy)
Questa pagina fornisce informazioni sugli ambienti Private IP Managed Airflow.
Per gli ambienti IP privato, Airflow gestito assegna solo indirizzi IP privati (RFC 1918) alle VM Google Kubernetes Engine e Cloud SQL gestite nel tuo ambiente, pertanto non è possibile accedere a queste VM gestite da internet pubblico. In alternativa, puoi anche utilizzare indirizzi IP pubblici utilizzati privatamente e l'agente IP Masquerade per risparmiare spazio di indirizzi IP e utilizzare indirizzi non RFC 1918.
Per impostazione predefinita, in un ambiente IP privato, i flussi di lavoro Managed Airflow non hanno accesso a internet in uscita. L'accesso a Google Cloud API e servizi non è interessato dal routing sulla rete privata di Google.
Cluster GKE nativo di VPC
Quando crei un ambiente, Airflow gestito distribuisce le risorse dell'ambiente tra un progetto tenant gestito da Google e il tuo progetto cliente.
Per un ambiente IP privato, Managed Airflow crea un cluster GKE nativo di VPC per il tuo ambiente nel tuo progetto cliente.
I cluster nativi di VPC utilizzano il routing IP alias integrato nella rete VPC, consentendo al VPC di gestire il routing per i pod. Quando utilizzi cluster nativi di VPC, GKE sceglie automaticamente un intervallo secondario. Per requisiti di rete specifici, puoi anche configurare gli intervalli secondari per i pod e i servizi GKE quando crei un ambiente.
Ambiente Airflow gestito con IP privato
Puoi selezionare un ambiente IP privato quando crei un ambiente. L'utilizzo di IP privati significa che alle VM GKE e Cloud SQL nel tuo ambiente non vengono assegnati indirizzi IP pubblici e comunicano solo tramite la rete interna di Google.
Quando crei un ambiente IP privato, il cluster GKE per il tuo ambiente viene configurato come cluster privato, e l'istanza Cloud SQL viene configurata per l'IP privato.
Se il tuo ambiente IP privato utilizza Private Service Connect, la rete VPC del tuo progetto cliente e la rete VPC del tuo progetto tenant si connettono tramite un endpoint PSC.
Se il tuo ambiente IP privato utilizza il peering VPC, Managed Airflow crea una connessione di peering tra la rete VPC del tuo progetto cliente e la rete VPC del tuo progetto tenant.
Con l'IP privato abilitato per il tuo ambiente, il traffico IP tra il cluster GKE e il database Cloud SQL del tuo ambiente è privato, isolando così i flussi di lavoro da internet pubblico.
Questo livello di sicurezza aggiuntivo influisce sulla modalità di connessione a queste risorse e sulla modalità di accesso dell'ambiente alle risorse esterne. L'utilizzo di IP privati non influisce sulla modalità di accesso a Cloud Storage o al server web Airflow tramite l'IP pubblico.
Cluster GKE
L'utilizzo di un cluster GKE privato consente di controllare l'accesso al piano di controllo del cluster (i nodi del cluster non hanno indirizzi IP pubblici).
Quando crei un ambiente Airflow gestito con IP privato, specifichi se l'accesso al piano di controllo è pubblico e il relativo intervallo IP. L'intervallo IP del piano di controllo non deve sovrapporsi ad alcuna subnet nella rete VPC.
| Opzione | Descrizione |
|---|---|
| Accesso all'endpoint pubblico disabilitato | Per connetterti al cluster, devi connetterti da una VM nella stessa regione e nella stessa rete VPC dell'ambiente IP privato.
L'istanza VM da cui ti stai connettendo richiede
l'ambito di accesso
Consenti l'accesso completo a tutte le API Cloud. Da questa VM, puoi eseguire i comandi kubectl sul cluster del tuo ambiente |
| Accesso all'endpoint pubblico abilitato, reti autorizzate master abilitate | In questa configurazione, i nodi del cluster comunicano con il piano di controllo tramite la rete privata di Google. I nodi possono accedere alle risorse nel tuo ambiente e nelle reti autorizzate. Puoi
aggiungere reti autorizzate in
GKE. Nelle reti autorizzate, puoi eseguire i comandi kubectl sul cluster del tuo ambiente |
Cloud SQL
Poiché l'istanza Cloud SQL non ha un indirizzo IP pubblico, il traffico Cloud SQL all'interno del tuo ambiente IP privato non è esposto a internet pubblico.
Managed Airflow configura Cloud SQL in modo che accetti le connessioni in entrata tramite l'accesso privato ai servizi. Puoi accedere all'istanza Cloud SQL sulla tua rete VPC utilizzando il suo indirizzo IP privato.
Accesso a internet pubblico per i flussi di lavoro
Gli operatori e le operazioni che richiedono l'accesso alle risorse su reti non autorizzate o su internet pubblico potrebbero non riuscire. Ad esempio, l'operazione Dataflow Python richiede una connessione a internet pubblica per scaricare Apache Beam da pip.
Per consentire alle VM senza indirizzi IP esterni e ai cluster GKE privati di connettersi a internet, è necessario Cloud NAT.
Per utilizzare Cloud NAT, crea una configurazione NAT utilizzando il router Cloud per la rete VPC e la regione in cui si trova il tuo ambiente Airflow gestito con IP privato.