Pour faire évoluer un cluster Managed Service pour Apache Spark sur GKE, mettez à jour la configuration de l'autoscaler du ou des pools de nœuds associés aux rôles de pilote Spark ou d'exécuteur Spark. Vous spécifiez les pools de nœuds et leurs rôles associés pour Managed Service pour Apache Spark sur GKE lorsque vous créez un cluster Managed Service pour Apache Spark sur GKE.
Définir l'autoscaling du pool de nœuds
Vous pouvez définir les limites de l'autoscaling du pool de nœuds Managed Service pour Apache Spark sur GKE lorsque vous créez un cluster virtuel Managed Service pour Apache Spark sur GKE. Si aucune valeur n'est spécifiée, les pools de nœuds Managed Service pour Apache Spark sur GKE sont soumis à l'autoscaling avec des valeurs par défaut (dans la version en disponibilité générale de Managed Service pour Apache Spark sur GKE, les valeurs par défaut sont définies sur minimum = 1 et maximum = 10, et sont susceptibles d'être modifiées). Pour obtenir des valeurs d'autoscaling minimales et maximales spécifiques pour le pool de nœuds, définissez-les lorsque vous créez votre cluster virtuel Managed Service pour Apache Spark sur GKE.
Mettre à jour l'autoscaling du pool de nœuds
Utilisez la commande GKE gcloud container node-pools update suivante pour modifier la configuration de l'autoscaling d'un pool de nœuds Managed Service pour Apache Spark sur GKE.
gcloud container node-pools update NODE_POOL_NAME \ --cluster=GKE_CLUSTER_NAME \ --region=region \ --enable-autoscaling \ --min-nodes=min nodes (must be <= max-nodes) \ --max-nodes=max nodes (must be >= min-nodes) \
Fonctionnement de l'autoscaling Spark
- Lorsqu'un job est envoyé, le pod du pilote est programmé pour s'exécuter sur le pool de nœuds associé au rôle de pilote Spark.
- Le pod du pilote appelle le programmeur GKE pour créer des pods d'exécuteur.
- Les pods d'exécuteur sont planifiés sur le pool de nœuds associé au rôle d'exécuteur Spark.
- Si les pools de nœuds ont la capacité d'accueillir les pods, ceux-ci s'exécutent immédiatement. Si la capacité est insuffisante, l'autoscaler de cluster GKE effectue un scaling à la hausse du pool de nœuds pour fournir les ressources demandées, dans la limite spécifiée par l'utilisateur. Lorsque les pools de nœuds ont une capacité excédentaire, l'autoscaler de cluster GKE réduit la capacité du pool de nœuds jusqu'à la limite spécifiée par l'utilisateur.