Airflow gestito (terza generazione) | Airflow gestito (seconda generazione) | Airflow gestito (prima generazione legacy)
In questa sezione viene spiegato come organizzare reti su larga scala per gli ambienti Managed Airflow.
Quote per VPC, subnet e regole di forwarding
I servizi Managed Airflow e GKE utilizzano il peering VPC per stabilire connessioni tra i componenti degli ambienti Managed Airflow (progetto cliente e progetto tenant) e tra un cluster GKE e un piano di controllo GKE.
Se il tuo progetto ha una configurazione di rete su larga scala, ad esempio con centinaia di reti e molti peering VPC configurati, quando provi a creare nuovi ambienti Managed Airflow, le operazioni potrebbero non riuscire a causa di errori di quota di VPC, subnet o regole di forwarding.
Gli errori che potresti riscontrare sono:
È stato raggiunto il numero massimo di peering VPC per una singola rete VPC.
La quota predefinita per il numero di peering VPC all'interno di un singolo VPC è 25 (a meno che tu non richieda un aumento di questa quota).
È stato raggiunto il numero massimo di intervalli IP di subnet primari e secondari.
La quota per questo parametro è 400.
È stato raggiunto il numero massimo di regole di forwarding nel gruppo di peering per il bilanciamento del carico TCP/UDP interno.
La quota per questo parametro è 175.
Per ulteriori informazioni sulle quote predefinite per i VPC in Google Cloud, consulta Quote e limiti.
Informazioni sulle reti su larga scala per gli ambienti Managed Airflow
Per superare le difficoltà correlate a questi limiti, puoi organizzare gli ambienti Managed Airflow in diverse reti VPC connesse al VPC principale/backbone, come descritto nelle sezioni seguenti.
Questa soluzione è applicabile agli scenari VPC condiviso e non VPC condiviso.
Configurazione di reti su larga scala in uno scenario non VPC condiviso
Per creare una configurazione di rete su larga scala per Managed Airflow:
Crea una rete VPC backbone. Questa rete funge da hub per le singole reti VPC che ospitano gli ambienti Managed Airflow.
Crea reti VPC dedicate per gli ambienti Managed Airflow. Puoi combinare più ambienti Managed Airflow in una rete VPC. Ad esempio, puoi assegnare a queste reti i nomi
composer-vpc-1,composer-vpc-2e così via.Stabilisci la connettività tra le reti VPC dell'ambiente Managed Airflow e il VPC backbone creando tunnel VPN ad alta disponibilità affidabilità.
Configurazione di reti su larga scala in uno scenario VPC condiviso
Per risolvere il problema dei limiti di peering di rete in una rete VPC condiviso, organizza gli ambienti Managed Airflow in più progetti e reti VPC connessi a un VPC backbone.
Per creare una configurazione di rete VPC condiviso su larga scala per Managed Airflow:
Nel progetto host, crea una rete VPC backbone. Questa rete connette le singole reti VPC per i progetti di servizi che eseguono ambienti Managed Airflow.
Nel progetto host, crea reti VPC per gli ambienti Managed Airflow. Ad esempio, puoi assegnare a queste reti i nomi
composer-shared-vpc-1,composer-shared-vpc-2e così via.Stabilisci la connettività tra queste reti VPC e la rete VPC backbone creando manualmente tunnel VPN ad alta disponibilità affidabilità.
Configura gli ambienti Managed Airflow nella configurazione VPC condiviso.