Configurazione della rete IP privata

Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (legacy 1ª gen.)

In questa pagina vengono fornite informazioni sulla configurazione del networking del progetto Google Cloudper gli ambienti con IP privato.

Per gli ambienti con IP privato, Managed Airflow assegna solo indirizzi IP privati (RFC 1918) alle VM Google Kubernetes Engine e Cloud SQL gestite nel tuo ambiente.

In alternativa, puoi anche utilizzare indirizzi IP pubblici utilizzati privatamente e l'agente IP Masquerade per risparmiare spazio degli indirizzi IP e utilizzare indirizzi non RFC 1918.

Per informazioni sulla connessione alle risorse nel tuo ambiente, consulta IP privato.

Ambienti con Private Service Connect e peering VPC

Per impostazione predefinita, Managed Airflow (Gen 2) utilizza Private Service Connect, in modo che gli ambienti con IP privato comunichino internamente senza l'utilizzo di peering VPC, a meno che tu non specifichi diversamente quando crei l'ambiente.

Ti consigliamo di utilizzare ambienti con Private Service Connect se non hai un requisito specifico per l'utilizzo di ambienti con peering VPC.

Prima di iniziare

• Assicurati di disporre delle autorizzazioni utente e account di servizio appropriate per creare un ambiente.
• Verifica che nel progetto non siano definite policy dell'organizzazione incompatibili.

Controlla i requisiti di rete

Verifica che la rete VPC del progetto soddisfi i seguenti requisiti:

• Assicurati che non ci siano conflitti tra i blocchi di IP privati. Se la tua rete VPC e i relativi peer VPC stabiliti hanno blocchi IP sovrapposti con la rete VPC nel progetto tenant gestito da Google, Managed Airflow non può creare l'ambiente. Consulta la tabella degli intervalli IP predefiniti per i valori predefiniti utilizzati in ogni regione.

• Assicurati che siano presenti intervalli IP secondari sufficienti per i pod e i servizi GKE di Managed Airflow. GKE cerca intervalli IP secondari per l'aliasing IP. Se GKE non riesce a trovare un intervallo, Managed Airflow non può creare l'ambiente.

• Assicurati che il numero di intervalli secondari nella subnet non superi 30. Considera quanto segue:

  • Il cluster GKE per l'ambiente con IP privato crea due intervalli secondari nella subnet. Puoi creare più subnet nella stessa regione per la stessa rete VPC.
  • Il numero massimo di intervalli secondari supportati è 30. Ogni ambiente con IP privato richiede due intervalli secondari per i pod e i servizi GKE di Managed Airflow.

• Assicurati che la rete del tuo progetto possa supportare il limite sul numero massimo di connessioni a una singola rete VPC. Il numero massimo di ambienti con IP privato che puoi creare dipende dal numero di connessioni di peering VPC già esistenti nella tua rete VPC.

  • Ogni ambiente con IP privato e PSC utilizza un peering VPC per ambiente. Questo peering VPC viene creato dal cluster GKE del tuo ambiente e i cluster GKE possono riutilizzare questa connessione. Per gli ambienti con IP privato con PSC, ogni località può supportare un massimo di 75 cluster privati.

  • Ogni ambiente con IP privato e peering VPC utilizza al massimo due peering VPC per ambiente. Managed Airflow crea un peering VPC per la rete del progetto tenant. Il secondo peering viene creato dal cluster GKE del tuo ambiente e i cluster GKE possono riutilizzare questa connessione.

Scegli una rete, una subnet e gli intervalli di rete

Scegli gli intervalli di rete per il tuo ambiente con IP privato (o utilizza quelli predefiniti). Utilizzerai questi intervalli di rete in un secondo momento, quando creerai un ambiente con IP privato.

Per creare un ambiente con IP privato, devi disporre delle seguenti informazioni:

• ID della tua rete VPC
• ID della tua subnet VPC
• Due intervalli IP secondari nella subnet VPC:
  • Intervallo IP secondario per i pod
  • Intervallo IP secondario per i servizi

• Intervalli IP per i componenti dell'ambiente:

  Se il tuo ambiente utilizza Private Service Connect:

  • Intervallo IP del control plane GKE. Intervallo IP per il control plane GKE.

    Se specifichi l'intervallo IP del piano GKE per un ambiente, GKE crea una nuova subnet in questo intervallo per eseguire il provisioning dell'indirizzo IP per la comunicazione con il control plane GKE. In caso contrario, utilizza la subnet specificata nell'intervallo di subnet della connessione Managed Airflow.

  • Subnet di connessione di Managed Airflow. Intervallo IP per la subnet di connessione di Managed Airflow. Puoi specificare un intervallo di soli due indirizzi IP. Questo intervallo può essere utilizzato da più ambienti nel progetto. Per impostazione predefinita, questo intervallo è la subnet dell'ambiente (ID subnet VPC).

  Se il tuo ambiente utilizza i peering VPC:

  • Intervallo IP del control plane GKE. Intervallo IP per il control plane GKE.
  • Intervallo IP per la rete tenant Managed Airflow. Intervallo IP per la rete tenant di Managed Airflow. Questa rete ospita il componente proxy SQL del tuo ambiente.

  • Intervallo IP di Cloud SQL. Intervallo IP per l'istanza Cloud SQL.

    Attenzione: l'intervallo 172.17.0.0/16 è riservato in Cloud SQL.

Consulta la tabella degli intervalli IP predefiniti per i valori predefiniti utilizzati in ogni regione.

Intervalli IP predefiniti

Ambienti con Private Service Connect

Nota: se utilizzi un intervallo IP del control plane GKE personalizzato, verifica che non si sovrapponga all'intervallo per gli endpoint PSC (subnet di connessione di Managed Airflow).

Regione	Intervallo IP del control plane GKE
africa-south1	172.16.64.0/23
asia-east1	172.16.42.0/23
asia-east2	172.16.0.0/23
asia-northeast1	172.16.2.0/23
asia-northeast2	172.16.32.0/23
asia-northeast3	172.16.30.0/23
asia-south1	172.16.4.0/23
asia-south2	172.16.50.0/23
asia-southeast1	172.16.40.0/23
asia-southeast2	172.16.44.0/23
australia-southeast1	172.16.6.0/23
australia-southeast2	172.16.56.0/23
europe-central2	172.16.36.0/23
europe-north1	172.16.48.0/23
europe-southwest1	172.16.58.0/23
europe-west1	172.16.8.0/23
europe-west10	172.16.62.0/23
europe-west12	172.16.62.0/23
europe-west2	172.16.10.0/23
europe-west3	172.16.12.0/23
europe-west4	172.16.42.0/23
europe-west6	172.16.14.0/23
europe-west8	172.16.60.0/23
europe-west9	172.16.46.0/23
me-central1	172.16.58.0/23
me-central2	172.16.64.0/23
me-west1	172.16.54.0/23
northamerica-northeast1	172.16.16.0/23
northamerica-northeast2	172.16.46.0/23
northamerica-south1	172.16.68.0/23
southamerica-east1	172.16.18.0/23
southamerica-west1	172.16.58.0/23
us-central1	172.16.20.0/23
us-east1	172.16.22.0/23
us-east4	172.16.24.0/23
us-east5	172.16.52.0/23
us-south1	172.16.56.0/23
us-west1	172.16.38.0/23
us-west2	172.16.34.0/23
us-west3	172.16.26.0/23
us-west4	172.16.28.0/23

Ambienti con peering VPC

Regione	Intervallo IP del control plane GKE	Intervallo IP della rete tenant Managed Airflow	Intervallo IP di Cloud SQL
africa-south1	172.16.64.0/23	172.31.223.0/24	10.0.0.0/12
asia-east1	172.16.42.0/23	172.31.255.0/24	10.0.0.0/12
asia-east2	172.16.0.0/23	172.31.255.0/24	10.0.0.0/12
asia-northeast1	172.16.2.0/23	172.31.254.0/24	10.0.0.0/12
asia-northeast2	172.16.32.0/23	172.31.239.0/24	10.0.0.0/12
asia-northeast3	172.16.30.0/23	172.31.240.0/24	10.0.0.0/12
asia-south1	172.16.4.0/23	172.31.253.0/24	10.0.0.0/12
asia-south2	172.16.50.0/23	172.31.230.0/24	10.0.0.0/12
asia-southeast1	172.16.40.0/23	172.31.235.0/24	10.0.0.0/12
asia-southeast2	172.16.44.0/23	172.31.233.0/24	10.0.0.0/12
australia-southeast1	172.16.6.0/23	172.31.252.0/24	10.0.0.0/12
australia-southeast2	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
europe-central2	172.16.36.0/23	172.31.237.0/24	10.0.0.0/12
europe-north1	172.16.48.0/23	172.31.231.0/24	10.0.0.0/12
europe-southwest1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
europe-west1	172.16.8.0/23	172.31.251.0/24	10.0.0.0/12
europe-west10	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west12	172.16.62.0/23	172.31.224.0/24	10.0.0.0/12
europe-west2	172.16.10.0/23	172.31.250.0/24	10.0.0.0/12
europe-west3	172.16.12.0/23	172.31.249.0/24	10.0.0.0/12
europe-west4	172.16.42.0/23	172.31.234.0/24	10.0.0.0/12
europe-west6	172.16.14.0/23	172.31.248.0/24	10.0.0.0/12
europe-west8	172.16.60.0/23	172.31.225.0/24	10.0.0.0/12
europe-west9	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
me-central1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
me-central2	172.16.64.0/23	172.31.223.0/24	10.0.0.0/12
me-west1	172.16.54.0/23	172.31.228.0/24	10.0.0.0/12
northamerica-northeast1	172.16.16.0/23	172.31.247.0/24	10.0.0.0/12
northamerica-northeast2	172.16.46.0/23	172.31.232.0/24	10.0.0.0/12
northamerica-south1	172.16.68.0/23	172.31.221.0/24	10.0.0.0/12
southamerica-east1	172.16.18.0/23	172.31.246.0/24	10.0.0.0/12
southamerica-west1	172.16.58.0/23	172.31.226.0/24	10.0.0.0/12
us-central1	172.16.20.0/23	172.31.245.0/24	10.0.0.0/12
us-east1	172.16.22.0/23	172.31.244.0/24	10.0.0.0/12
us-east4	172.16.24.0/23	172.31.243.0/24	10.0.0.0/12
us-east5	172.16.52.0/23	172.31.229.0/24	10.0.0.0/12
us-south1	172.16.56.0/23	172.31.227.0/24	10.0.0.0/12
us-west1	172.16.38.0/23	172.31.236.0/24	10.0.0.0/12
us-west2	172.16.34.0/23	172.31.238.0/24	10.0.0.0/12
us-west3	172.16.26.0/23	172.31.242.0/24	10.0.0.0/12
us-west4	172.16.28.0/23	172.31.241.0/24	10.0.0.0/12

(Facoltativo) Configura la connettività alle API e ai servizi Google

In via facoltativa, potresti voler instradare tutto il traffico verso le API e i servizi Google tramite diversi indirizzi IP appartenenti al dominio private.googleapis.com. In questa configurazione, il tuo ambiente accede alle API e ai servizi Google tramite indirizzi IP instradabili solo dall'interno di Google Cloud.

Se il tuo ambiente con IP privato utilizza anche i Controlli di servizio VPC, segui invece le istruzioni per gli ambienti con Controlli di servizio VPC.

Gli ambienti Managed Airflow utilizzano i seguenti domini:

• *.googleapis.com viene utilizzato per accedere ad altri servizi Google.

• *.composer.cloud.google.com viene utilizzato per rendere accessibile il server web Airflow del tuo ambiente. Questa regola deve essere applicata prima di creare un ambiente.

  • In alternativa, puoi creare una regola per una regione specifica. Per farlo, utilizza REGION.composer.cloud.google.com. Sostituisci REGION con la regione in cui si trova l'ambiente, ad esempio us-central1.

• (Facoltativo) *.composer.googleusercontent.com viene utilizzato per accedere al server web Airflow del tuo ambiente. Questa regola è obbligatoria solo se accedi al server web Airflow da un'istanza eseguita nella rete VPC, altrimenti non è obbligatoria. Uno scenario comune per questa regola è quando vuoi chiamare l'API REST di Airflow dall'interno della rete VPC.

  • In alternativa, puoi creare una regola per un ambiente specifico. Per farlo, utilizza ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com. Sostituisci ENVIRONMENT_WEB_SERVER_NAME con la parte univoca dell'URL dell'interfaccia utente di Airflow del tuo ambiente, ad esempio bffe6ce6c4304c55acca0e57be23128c-dot-us-central1.

• *.pkg.dev viene utilizzato per ottenere immagini dell'ambiente, ad esempio durante la creazione o l'aggiornamento di un ambiente.

• *.gcr.io GKE richiede la connettività al dominio Container Registry indipendentemente dalla versione di Managed Airflow.

Nota: se non configuri le regole DNS per le API di Google e i servizi, questi vengono risolti utilizzando l'opzione di dominio per i domini predefiniti.

Configura la connettività all'endpoint private.googleapis.com:

Dominio	Nome DNS	Record CNAME	Record A
*.googleapis.com	googleapis.com.	Nome DNS: *.googleapis.com. Tipo di record di risorse: CNAME Nome canonico: googleapis.com.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.cloud.google.com	composer.cloud.google.com.	Nome DNS: *.composer.cloud.google.com. Tipo di record di risorse: CNAME Nome canonico: composer.cloud.google.com.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.composer.googleusercontent.com (facoltativo, vedi la descrizione)	composer.googleusercontent.com.	Nome DNS: *.composer.googleusercontent.com. Tipo di record di risorse: CNAME Nome canonico: composer.googleusercontent.com.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.pkg.dev	pkg.dev.	Nome DNS: *.pkg.dev. Tipo di record di risorse: CNAME Nome canonico: pkg.dev.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11
*.gcr.io	gcr.io.	Nome DNS: *.gcr.io. Tipo di record di risorse: CNAME Nome canonico: gcr.io.	Tipo di record di risorse: A Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Per creare una regola DNS:

1. Crea una nuova zona DNS e utilizza il nome DNS come nome DNS di questa zona.

   Esempio: pkg.dev.

2. Aggiungi un set di record per Record CNAME.

   Esempio:

   • Nome DNS: *.pkg.dev.
   • Tipo di record di risorse: CNAME
   • Nome canonico: pkg.dev.

3. Aggiungi un set di record per il record A:

   Esempio:

   • Tipo di record di risorse: A
   • Indirizzi IPv4: 199.36.153.8, 199.36.153.9, 199.36.153.10, 199.36.153.11

Per ulteriori informazioni, consulta Configurazione della connettività privata alle API di Google e ai servizi Google.

(Facoltativo) Configura le regole firewall

Esegui questo passaggio solo se il tuo progetto ha regole firewall non predefinite, ad esempio regole che sostituiscono le regole firewall implicite o modificano le regole precompilate nella rete predefinita.

Ad esempio, Managed Airflow potrebbe non riuscire a creare un ambiente se hai una regola firewall che nega tutto il traffico in uscita. Per evitare problemi, definisci regole allow selettive che seguono l'elenco e hanno una priorità più alta rispetto alla regola deny globale.

Importante: a seconda di come sono configurate le regole firewall nel tuo progetto, il seguente elenco di regole potrebbe essere ridondante. Ad esempio, se le regole firewall bloccano solo il traffico in entrata, non sono necessarie le regole in uscita elencate.

Configura la rete VPC in modo da consentire il traffico dal tuo ambiente:

• Consulta Utilizzo delle regole firewall per scoprire come controllare, aggiungere e aggiornare le regole per la tua rete VPC.
• Utilizza lo strumento di connettività per convalidare la connettività tra gli intervalli IP.
• Puoi utilizzare i tag di networking per limitare ulteriormente l'accesso. Puoi impostare questi tag quando crei un ambiente.

Descrizione	Direzione	Azione	Origine o destinazione	Protocolli	Porte
DNS	In uscita	Consenti	Qualsiasi destinazione (0.0.0.0/0) o indirizzi IP dei server DNS	TCP, UDP	53
API di Google e servizi	In uscita	Consenti	Intervallo di indirizzi IP del dominio scelto per le API e i servizi Google. Se utilizzi i valori predefiniti, consulta Indirizzi IP per i domini predefiniti.	TCP	443
Nodi del cluster dell'ambiente	In uscita	Consenti	Intervallo di indirizzi IP principali della subnet dell'ambiente	TCP, UDP	tutti
Pod del cluster dell'ambiente	In uscita	Consenti	Intervallo di indirizzi IP secondario per i pod nella subnet dell'ambiente	TCP, UDP	tutti
Control plane del cluster dell'ambiente	In uscita	Consenti	Intervallo IP del control plane GKE	TCP, UDP	tutti
(Se il tuo ambiente utilizza Private Service Connect) Subnet di connessione	In uscita	Consenti	Intervallo di subnet di connessione di Managed Airflow	TCP	3306, 3307, 19090
(Se l'ambiente utilizza peering VPC) Rete tenant	In uscita	Consenti	Intervallo IP della rete tenant Managed Airflow	TCP	3306, 3307, 19090

Attenzione: il servizio GKE crea automaticamente una serie di regole firewall in entrata e in uscita per consentire il corretto funzionamento del cluster del tuo ambiente (ad esempio regole in entrata e in uscita per i controlli di integrità Google Cloud ). Per saperne di più, consulta la pagina Regole firewall di GKE e non eliminare o bloccare le regole firewall create dai servizi GKE. Potresti notare che il tuo ambiente comunica con l'intervallo IP 34.126.0.0/18, che è un intervallo IP dell'accesso privato Google. Questo traffico appartiene al servizio GKE utilizzato dal cluster dell'ambiente.

Per ottenere gli intervalli IP del cluster dell'ambiente:

• Gli intervalli di indirizzi di pod, servizi e control plane sono disponibili nella pagina Cluster del cluster del tuo ambiente:

  1. Nella console Google Cloud , vai alla pagina Ambienti.

     Vai ad Ambienti

  2. Nell'elenco degli ambienti, fai clic sul nome del tuo ambiente. Viene visualizzata la pagina Dettagli ambiente.

  3. Vai alla scheda Configurazione dell'ambiente.

  4. Segui il link Visualizza i dettagli del cluster.

• Puoi visualizzare l'intervallo IP della rete tenant di Managed Airflow dell'ambiente nella scheda Configurazione dell'ambiente.

• Puoi visualizzare l'ID subnet dell'ambiente e l'ID subnet della connessione Managed Airflow nella scheda Configurazione dell'ambiente. Per ottenere gli intervalli IP di una subnet, vai alla pagina Reti VPC e fai clic sul nome della rete per visualizzare i dettagli:

  Vai a Reti VPC

Configura le variabili del server proxy

Importante: il routing con variabili proxy viene eseguito secondo il criterio del "best effort". Non è garantito che ogni richiesta passi attraverso il proxy. Ti consigliamo invece di instradare il traffico creando l'ambiente in una rete VPC e configurando le regole di instradamento del traffico in questa rete.

Puoi impostare le variabili di ambiente http_proxy e https_proxy nel tuo ambiente. Queste variabili Linux standard vengono utilizzate dai client web che vengono eseguiti nei container del cluster del tuo ambiente per instradare il traffico attraverso i proxy specificati.

Per impostazione predefinita, la variabile NO_PROXY è impostata su un elenco di domini Google, sull'indirizzo IP del server dei metadati di Compute Engine del cluster dell'ambiente e su localhost in modo che vengano esclusi dal proxy:

.google.com,.googleapis.com,metadata.google.internal,169.254.169.254,localhost

Questa configurazione consente di creare un ambiente con variabili di ambiente http_proxy e https_proxy impostate nei casi in cui il proxy non è configurato per gestire il traffico verso i servizi Google.

Passaggi successivi

• Connetti un ambiente a una rete VPC
• Configura l'accesso a internet durante l'installazione dei pacchetti PyPI