À propos du scaling d'environnement

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Cette page décrit le fonctionnement du scaling de l'environnement.

Autres pages sur le scaling :

Autoscaling des environnements

Les environnements Cloud Composer évoluent automatiquement en fonction des exigences de vos DAG et tâches exécutés :

  • Si votre environnement est soumis à une charge importante, Cloud Composer augmente automatiquement le nombre de nœuds de calcul dans votre environnement.
  • Si votre environnement n'utilise pas certains de ses nœuds de calcul, ceux-ci sont supprimés afin d'économiser les ressources et les coûts de l'environnement.
  • Vous pouvez définir le nombre minimal et maximal de nœuds de calcul pour votre environnement. Cloud Composer effectue un scaling automatique de votre environnement dans les limites définies. Vous pouvez ajuster ces limites à tout moment.

Le nombre de nœuds de calcul est ajusté en fonction de la métrique Facteur de scaling cible. Cette métrique est calculée en fonction des éléments suivants :

  • Nombre actuel de nœuds de calcul
  • Nombre de tâches Celery dans la file d'attente Celery qui ne sont pas attribuées à un nœud de calcul
  • Nombre de nœuds de calcul inactifs
  • Option de configuration Airflow celery.worker_concurrency

L'autoscaling Cloud Composer utilise trois autoscalers différents fournis par GKE :

Cloud Composer configure ces autoscalers dans le cluster de l'environnement. Cela permet d'adapter automatiquement le nombre de nœuds du cluster, le type de machine et le nombre de nœuds de calcul.

Paramètres d'évolutivité et de performances

Outre l'autoscaling, vous pouvez contrôler les paramètres d'évolutivité et de performances de votre environnement en ajustant les limites de processeur, de mémoire et de disque des nœuds de calcul, des programmeurs, des processeurs de DAG, des déclencheurs et du serveur Web. Vous pouvez ainsi faire évoluer votre environnement verticalement, en plus du scaling horizontal fourni par la fonctionnalité d'autoscaling. Vous pouvez ajuster les paramètres d'évolutivité et de performances à tout moment.

Le paramètre de performances taille de l'environnement de votre environnement contrôle les paramètres de performances de l'infrastructure Cloud Composer gérée qui inclut la base de données Airflow. Envisagez de sélectionner une plus grande taille d'environnement si vous souhaitez exécuter un grand nombre de DAG et de tâches avec des performances d'infrastructure plus élevées. Par exemple, une taille d'environnement plus importante augmente le nombre d'entrées de journaux de tâches Airflow que votre environnement peut traiter avec un délai minimal.

Programmeurs multiples

Votre environnement peut exécuter plusieurs programmeurs Airflow et processeurs de DAG à la fois :

  • Vous pouvez définir le nombre de programmeurs et de processeurs de DAG pour votre environnement, et l'ajuster à tout moment.
  • Cloud Composer n'effectue pas le scaling automatique du nombre de planificateurs ni de processeurs de DAG dans votre environnement.

Pour en savoir plus sur la configuration du nombre de planificateurs et de processeurs DAG pour votre environnement, consultez Faire évoluer les environnements.

Espace disque de la base de données

L'espace disque de la base de données Airflow augmente automatiquement pour répondre à la demande.

Étape suivante