Configurazione di reti su larga scala per gli ambienti Managed Airflow

Managed Airflow (Gen 3) | Managed Airflow (Gen 2) | Managed Airflow (Legacy Gen 1)

Questa sezione spiega come organizzare reti su larga scala per gli ambienti Managed Airflow.

Utilizzare Private Service Connect anziché il peering di rete VPC

Per ulteriori informazioni, consulta Configurare Private Service Connect.

Quote per VPC, subnet e regole di forwarding

I servizi Managed Airflow e GKE utilizzano i peering VPC per stabilire connessioni tra i componenti degli ambienti Managed Airflow (progetto cliente e progetto tenant) e tra un cluster GKE e un control plane GKE.

Se il tuo progetto ha una configurazione di rete su larga scala, ad esempio con centinaia di reti e molti peering VPC configurati, quando tenti di creare nuovi ambienti Managed Airflow, le operazioni potrebbero non riuscire a causa di errori di quota di VPC, subnet o regole di forwarding.

Gli errori che potresti riscontrare sono:

  • È stato raggiunto il numero massimo di peering VPC per singola rete VPC.

    La quota predefinita per il numero di peering VPC all'interno di un singolo VPC è 25 (a meno che tu non richieda un aumento di questa quota).

  • È stato raggiunto il numero massimo di intervalli IP di subnet primari e secondari.

    La quota per questo parametro è 400.

  • È stato raggiunto il numero massimo di regole di inoltro nel gruppo di peering per il bilanciamento del carico TCP/UDP interno.

    La quota per questo parametro è 175.

Per saperne di più sulle quote predefinite per i VPC in Google Cloud, consulta Quote e limiti.

Informazioni sulle reti su larga scala per gli ambienti Managed Airflow

Per superare le sfide relative a questi limiti, puoi organizzare gli ambienti Managed Airflow in diverse reti VPC connesse alla tua rete VPC principale/di backbone, come descritto nelle sezioni seguenti.

Questa soluzione è applicabile a scenari VPC condiviso e non VPC condiviso.

Configurazione della rete su larga scala in uno scenario non VPC condiviso

Configurazione della rete su larga scala in uno scenario non VPC condiviso

Per creare una configurazione di rete su larga scala per Managed Airflow:

  1. Crea una rete VPC backbone. Questa rete funge da hub per le singole reti VPC che ospitano ambienti Managed Airflow.

  2. Crea reti VPC dedicate per gli ambienti Managed Airflow. Puoi combinare più ambienti Managed Airflow in una rete VPC. Ad esempio, puoi chiamare queste reti composer-vpc-1, composer-vpc-2 e così via.

  3. Stabilisci la connettività tra le reti VPC dell'ambiente Managed Airflow e il VPC backbone creando tunnel VPN ad alta disponibilità affidabilità.

Configurazione di rete su larga scala in uno scenario VPC condiviso

Per risolvere il problema dei limiti di peering di rete nelle reti VPC condiviso, organizza gli ambienti Managed Airflow in più progetti e reti VPC collegati a una rete VPC backbone.

Configurazione di rete su larga scala in uno scenario VPC condiviso

Per creare una configurazione di rete VPC condiviso su larga scala per Managed Airflow:

  1. Nel progetto host, crea una rete VPC backbone. Questa rete connette singole reti VPC per i progetti di servizio che eseguono ambienti Managed Airflow.

  2. Nel progetto host, crea reti VPC per gli ambienti Managed Airflow. Ad esempio, puoi chiamare queste reti composer-shared-vpc-1, composer-shared-vpc-2 e così via.

  3. Stabilisci la connettività tra queste reti VPC e la rete VPC backbone creando manualmente tunnel VPN ad alta disponibilità affidabilità.

  4. Configura gli ambienti Managed Airflow nella configurazione di VPC condiviso.

Passaggi successivi