Configurar redes de grande escala para ambientes do Airflow gerenciado

Airflow gerenciado (Geração 3) | Airflow gerenciado (Geração 2) | Airflow gerenciado (Geração 1 legada)

Esta seção explica como organizar redes de grande escala para ambientes do Airflow Gerenciado.

Usar o Private Service Connect em vez do peering de rede VPC

Para mais informações, consulte Configurar o Private Service Connect.

Cotas para regras de VPC, sub-rede e encaminhamento

Os serviços Airflow Gerenciado e GKE usam peerings de VPC para estabelecer conexões entre os componentes dos ambientes Airflow Gerenciado (projeto do cliente e projeto de locatário) e entre um cluster do GKE e um plano de controle do GKE.

Se o projeto tiver uma configuração de rede em grande escala, como uma com centenas de redes e muitos peerings de VPC configurados, quando você tentar criar novos ambientes do Airflow Gerenciado, as operações poderão falhar por causa de: Erros de cota de regras de encaminhamento, VPC ou sub-rede.

Os erros podem ser encontrados:

  • O número máximo de peerings de VPC por rede VPC é atingido.

    A cota padrão de vários peerings de VPC em uma única VPC é 25, a menos que você solicite um aumento dessa cota.

  • O número máximo de intervalos de IP de sub-redes primárias e secundárias foi atingido.

    A cota para esse parâmetro é 400.

  • O número máximo de regras de encaminhamento no grupo de peering para balanceamento de carga TCP/UDP interno é atingido.

    A cota para esse parâmetro é 175.

Para mais informações sobre cotas padrão para VPCs em Google Cloud, consulte Cotas e limites.

Sobre redes de grande escala para ambientes do Airflow gerenciado

Para superar desafios relacionados a esses limites, organize seus ambientes do Airflow Gerenciado em várias redes VPC conectadas à sua VPC principal/backbone, conforme descrito nas seções a seguir.

Esta solução é aplicável a cenários de VPC compartilhada e VPC não compartilhada.

Configuração de rede em grande escala em um cenário de VPC não compartilhada

Configuração de rede em grande escala em um cenário de VPC não compartilhada

Para criar uma configuração de rede em grande escala para o Airflow Gerenciado:

  1. Crie uma rede VPC de backbone. Essa rede atua como um hub para redes VPC individuais que hospedam ambientes do Airflow Gerenciado.

  2. Crie redes VPC dedicadas para ambientes do Airflow Gerenciado. É possível combinar vários ambientes do Airflow Gerenciado em uma rede VPC. Por exemplo, elas podem ser nomeadas como composer-vpc-1, composer-vpc-2 etc.

  3. Estabeleça a conectividade entre as redes VPC do ambiente do Airflow Gerenciado e a VPC do backbone criando túneis de VPN de alta disponibilidade.

Configuração de rede de grande escala em um cenário de VPC compartilhada

Para resolver o problema de limites de peering de rede em redes VPC compartilhada, organize seus ambientes do Airflow Gerenciado em vários projetos e redes VPC conectadas a uma VPC de backbone.

Configuração de rede de grande escala em um cenário de VPC compartilhada

Para criar uma configuração de rede VPC compartilhada em grande escala para o Airflow Gerenciado:

  1. No projeto host, crie uma rede VPC de backbone. Essa rede conecta redes VPC individuais de projetos de serviço que executam ambientes do Airflow Gerenciado.

  2. No projeto host, crie redes VPC para ambientes do Airflow Gerenciado. Por exemplo, é possível nomear essas redes como composer-shared-vpc-1, composer-shared-vpc-2 e assim por diante.

  3. Estabeleça a conectividade entre essas redes VPC e a rede VPC de backbone criando manualmente túneis de alta disponibilidade.

  4. Configure os ambientes do Airflow Gerenciado na configuração da VPC compartilhada.

A seguir