Airflow géré (3e génération) | Airflow géré (2e génération) | Airflow géré (1re génération héritée)
Cette section explique comment organiser des réseaux à grande échelle pour les environnements Airflow géré.
Quotas pour les règles de VPC, de sous-réseau et de transfert
Les services Airflow géré et GKE utilisent des appairages VPC pour établir des connexions entre les composants des environnements Airflow géré (projet client et locataire), et entre un cluster GKE et un plan de contrôle GKE.
Si votre projet a une configuration réseau à grande échelle, par exemple avec des centaines de réseaux et de nombreux appairages VPC configurés, les opérations peuvent échouer en raison d'erreurs de quota de VPC, de sous-réseaux ou de règles de transfert lorsque vous essayez de créer des environnements Airflow géré.
Les erreurs que vous pouvez rencontrer sont les suivantes :
Le nombre maximal d'appairages VPC par réseau VPC unique est atteint.
Le quota par défaut pour le nombre d'appairages VPC au sein d'un même VPC est de 25 (sauf si vous demandez une augmentation de ce quota).
Le nombre maximal de plages d'adresses IP de sous-réseau principales et secondaires est atteint.
Le quota pour ce paramètre est de 400.
Le nombre maximal de règles de transfert de groupe d'appairage pour l'équilibrage de charge TCP/UDP interne est atteint.
Le quota pour ce paramètre est de 175.
Pour en savoir plus sur les quotas par défaut pour les VPC dans Google Cloud, consultez la page Quotas et limites.
À propos des réseaux à grande échelle pour les environnements Airflow géré
Pour résoudre les problèmes liés à ces limites, vous pouvez organiser vos environnements Airflow géré en plusieurs réseaux VPC connectés à votre VPC principal/backbone, comme décrit dans les sections suivantes.
Cette solution s'applique aux scénarios de VPC partagé et non partagé.
Configuration de réseau à grande échelle dans un scénario de VPC non partagé
Pour créer une configuration réseau à grande échelle pour Airflow géré, procédez comme suit :
Créez un réseau VPC backbone. Ce réseau sert de hub pour les réseaux VPC individuels qui hébergent des environnements Airflow géré.
Créez des réseaux VPC dédiés pour les environnements Airflow géré. Vous pouvez combiner plusieurs environnements Airflow géré en un seul réseau VPC. Par exemple, vous pouvez nommer ces réseaux
composer-vpc-1,composer-vpc-2, etc.Établissez une connectivité entre les réseaux VPC d'environnement Airflow géré et le VPC backbone en créant des tunnels VPN haute disponibilité.
Configuration réseau à grande échelle dans un scénario de VPC partagé
Pour résoudre le problème lié aux limites d'appairage de réseaux dans un réseau VPC partagé, organisez vos environnements Airflow géré en plusieurs projets et réseaux VPC connectés à un VPC backbone.
Pour créer une configuration de réseau VPC partagé à grande échelle pour Airflow géré, procédez comme suit :
Dans le projet hôte, créez un réseau VPC backbone. Ce réseau connecte les réseaux VPC individuels des projets de service exécutant des environnements Airflow géré.
Dans le projet hôte, créez des réseaux VPC pour les environnements Airflow géré. Par exemple, vous pouvez nommer ces réseaux
composer-shared-vpc-1,composer-shared-vpc-2, etc.Établissez la connectivité entre ces réseaux VPC et le réseau VPC backbone network en créant manuellement des tunnels VPN haute disponibilité.
Configurez les environnements Airflow géré dans la configuration du VPC partagé.