Managed Airflow (3ª gen.) | Managed Airflow (2ª gen.) | Managed Airflow (1ª gen. heredada)
En esta sección, se explica cómo organizar redes a gran escala para entornos de Managed Airflow.
Cuotas para reglas de VPC, subred y reenvío
Los servicios de Managed Airflow y GKE usan intercambios de tráfico de VPC para establecer conexiones entre los componentes de los entornos de Managed Airflow (proyecto de cliente y proyecto de usuario) y entre un clúster de GKE y un plano de control de GKE.
Si tu proyecto tiene una configuración de red a gran escala, como con cientos de redes y muchos intercambios de tráfico de VPC configurados, cuando intentas crear nuevos entornos de Managed Airflow, las operaciones pueden fallar debido a Errores de cuota de reglas de reenvío, subredes o VPC.
Los errores que puedes encontrar son los siguientes:
Se alcanza la cantidad máxima de intercambios de tráfico de VPC por red de VPC.
La cuota predeterminada para una cantidad de intercambios de tráfico de VPC dentro de una VPC es de 25 (a menos que solicites un aumento de esta cuota).
Se alcanza la cantidad máxima de rangos de IP de subred principales y secundarios.
La cuota para este parámetro es de 400.
Se alcanza la cantidad máxima de reglas de reenvío en el grupo de intercambio de tráfico para el balanceo de cargas TCP/UDP interno.
La cuota para este parámetro es de 175.
Si deseas obtener más información sobre las cuotas predeterminadas para las VPC en Google Cloud, consulta Cuotas y límites.
Acerca de las redes a gran escala para entornos de Managed Airflow
Para superar los desafíos relacionados con estos límites, puedes organizar tus entornos de Managed Airflow en varias redes de VPC conectadas a tu VPC principal/troncal como se describe en las siguientes secciones.
Esta solución se aplica a las situaciones de VPC compartida y no compartida.
Configuración de red a gran escala en una situación de VPC no compartida
Para crear una configuración de red a gran escala para Managed Airflow, sigue estos pasos:
Crea una red de VPC troncal. Esta red actúa como un concentrador para redes de VPC individuales que alojan entornos de Managed Airflow.
Crea redes de VPC dedicadas para los entornos de Managed Airflow. Puedes combinar varios entornos de Managed Airflow en una red de VPC. Por ejemplo, puedes nombrar a estas redes
composer-vpc-1,composer-vpc-2, etcétera.Establece la conectividad entre las redes de VPC del entorno de Managed Airflow y la VPC troncal mediante la creación de túneles VPN con alta disponibilidad.
Configuración de red a gran escala en una situación de VPC compartida
Para resolver el problema de límites de intercambio de tráfico entre redes en una red de VPC compartida, organiza tus entornos de Managed Airflow en varios proyectos y redes de VPC conectadas a una VPC troncal.
Para crear una configuración de red de VPC compartida a gran escala para Managed Airflow, sigue estos pasos:
En el proyecto host, crea una red de VPC troncal. Esta red conecta las redes de VPC individuales para los proyectos de servicio que ejecutan entornos de Managed Airflow.
En el proyecto host, crea redes de VPC para entornos de Managed Airflow. Por ejemplo, puedes nombrar a estas redes
composer-shared-vpc-1,composer-shared-vpc-2, etcétera.Establece la conectividad entre estas redes de VPC y la red troncal de VPC mediante la creación de túneles VPN con alta disponibilidad de forma manual .
Configura los entornos de Managed Airflow en la configuración de la VPC compartida.