Airflow géré (3e génération) | Airflow géré (2e génération) | Airflow géré (ancienne 1re génération)
Cette section explique comment organiser des réseaux à grande échelle pour les environnements Managed Airflow.
Utiliser Private Service Connect au lieu de l'appairage de réseaux VPC
Pour en savoir plus, consultez Configurer Private Service Connect.
Quotas pour les règles de VPC, de sous-réseau et de transfert
Les services Managed Airflow et GKE utilisent des appairages VPC pour établir des connexions entre les composants des environnements Managed Airflow (projet client et locataire), et entre un cluster GKE et un plan de contrôle GKE.
Si votre projet a une configuration réseau à grande échelle, par exemple avec des centaines de réseaux et de nombreux appairages VPC configurés, les opérations peuvent échouer en raison d'erreurs de quota de VPC, de sous-réseaux ou de règles de transfert lorsque vous essayez de créer des environnements Managed Airflow.
Les erreurs que vous pouvez rencontrer sont les suivantes :
Le nombre maximal d'appairages VPC par réseau VPC unique est atteint.
Le quota par défaut pour le nombre d'appairages VPC au sein d'un même VPC est de 25 (sauf si vous demandez une augmentation de ce quota).
Le nombre maximal de plages d'adresses IP de sous-réseau principales et secondaires est atteint.
Le quota pour ce paramètre est de 400.
Le nombre maximal de règles de transfert de groupe d'appairage pour l'équilibrage de charge TCP/UDP interne est atteint.
Le quota pour ce paramètre est de 175.
Pour en savoir plus sur les quotas par défaut pour les VPC dans Google Cloud, consultez Quotas et limites.
À propos des réseaux à grande échelle pour les environnements Managed Airflow
Pour résoudre les problèmes liés à ces limites, vous pouvez organiser vos environnements Managed Airflow en plusieurs réseaux VPC connectés à votre VPC principal/backbone, comme décrit dans les sections suivantes.
Cette solution s'applique aux scénarios de VPC partagé et non partagé.
Configuration de réseau à grande échelle dans un scénario de VPC non partagé
Pour créer une configuration réseau à grande échelle pour Managed Airflow :
Créez un réseau VPC backbone. Ce réseau sert de hub pour les réseaux VPC individuels qui hébergent des environnements Airflow gérés.
Créez des réseaux VPC dédiés pour les environnements Managed Airflow. Vous pouvez combiner plusieurs environnements Managed Airflow en un seul réseau VPC. Par exemple, vous pouvez nommer ces réseaux
composer-vpc-1,composer-vpc-2, etc.Établissez une connectivité entre les réseaux VPC d'environnement Managed Airflow et le VPC backbone en créant des tunnels VPN haute disponibilité.
Configuration réseau à grande échelle dans un scénario de VPC partagé
Pour résoudre le problème lié aux limites d'appairage de réseaux dans un réseau VPC partagé, organisez vos environnements Managed Airflow en plusieurs projets et réseaux VPC connectés à un VPC backbone.
Pour créer une configuration de réseau VPC partagé à grande échelle pour Managed Airflow :
Dans le projet hôte, créez un réseau VPC backbone. Ce réseau connecte les réseaux VPC individuels des projets de service exécutant des environnements Managed Airflow.
Dans le projet hôte, créez des réseaux VPC pour les environnements Managed Airflow. Par exemple, vous pouvez nommer ces réseaux
composer-shared-vpc-1,composer-shared-vpc-2, etc.Établissez la connectivité entre ces réseaux VPC et le réseau VPC backbone en créant manuellement des tunnels VPN haute disponibilité.
Configurez les environnements Managed Airflow dans la configuration du VPC partagé.