À propos du scaling d'environnement

Managed Airflow (3e génération) | Managed Airflow (2e génération) | Managed Airflow (1re génération héritée)

Cette page décrit le fonctionnement du scaling de l'environnement.

Autres pages sur le scaling :

Autoscaling des environnements

Les environnements Managed Airflow évoluent automatiquement en fonction des exigences de vos DAG et tâches exécutés :

  • Si votre environnement est soumis à une charge importante, Managed Airflow augmente automatiquement le nombre de nœuds de calcul dans votre environnement.
  • Si votre environnement n'utilise pas certains de ses nœuds de calcul, ceux-ci sont supprimés afin d'économiser les ressources et les coûts de l'environnement.
  • Vous pouvez définir le nombre minimal et maximal de nœuds de calcul pour votre environnement. Managed Airflow effectue un scaling automatique de votre environnement dans les limites définies. Vous pouvez ajuster ces limites à tout moment.

Le nombre de nœuds de calcul est ajusté en fonction de la métrique Facteur de scaling cible. Cette métrique est calculée en fonction des éléments suivants :

  • Nombre actuel de nœuds de calcul
  • Nombre de tâches Celery dans la file d'attente Celery qui ne sont pas attribuées à un nœud de calcul
  • Nombre de nœuds de calcul inactifs
  • Option de configuration Airflow celery.worker_concurrency

L'autoscaling Managed Airflow utilise trois autoscalers différents fournis par GKE :

Managed Airflow configure ces autoscalers dans le cluster de l'environnement. Cela permet d'adapter automatiquement le nombre de nœuds du cluster, le type de machine et le nombre de nœuds de calcul.

Paramètres d'évolutivité et de performances

Outre l'autoscaling, vous pouvez contrôler les paramètres d'évolutivité et de performances de votre environnement en ajustant les limites de processeur, de mémoire et de disque des nœuds de calcul, des programmeurs, des déclencheurs et du serveur Web. Vous pouvez ainsi faire évoluer votre environnement verticalement, en plus du scaling horizontal fourni par la fonctionnalité d'autoscaling. Vous pouvez ajuster les paramètres d'évolutivité et de performances à tout moment.

Le paramètre de performances Taille de l'environnement de votre environnement contrôle les paramètres de performances de l'infrastructure Managed Airflow gérée qui inclut la base de données Airflow. Envisagez de sélectionner une plus grande taille d'environnement si vous souhaitez exécuter un grand nombre de DAG et de tâches avec des performances d'infrastructure plus élevées. Par exemple, une plus grande taille d'environnement augmente le nombre d'entrées de journal des tâches Airflow que votre environnement peut traiter avec un délai minimal.

La taille de l'environnement est différente des paramètres d'environnement prédéfinis. Les paramètres d'environnement prédéfinis, que vous pouvez sélectionner lorsque vous créez un environnement dans la Google Cloud console, déterminent les limites initiales ainsi que les paramètres de scaling et de performances de votre environnement, ce qui inclut la taille de l'environnement. La taille de l'environnement détermine uniquement les paramètres de performance de l'infrastructure Managed Airflow gérée de votre environnement.

Programmeurs multiples

Votre environnement peut exécuter plusieurs programmeurs Airflow à la fois :

  • Vous pouvez définir le nombre de programmeurs pour votre environnement et l'ajuster à tout moment.
  • Managed Airflow n'effectue pas le scaling automatique du nombre de programmeurs dans votre environnement.

Pour plus d'informations sur la configuration du nombre de programmeurs pour votre environnement, consultez la section Faire évoluer les environnements.

Espace disque de la base de données

L'espace disque de la base de données Airflow augmente automatiquement pour répondre à la demande.

Étape suivante