Cómo escalar clústeres de GKE

Para escalar un clúster de Managed Service para Apache Spark en GKE, actualiza la configuración del escalador automático de los grupos de nodos asociados con los roles de controlador o ejecutor de Spark. Especificas Managed Service para Apache Spark en los grupos de nodos y sus roles asociados de GKE cuando creas un clúster de Managed Service para Apache Spark en GKE.

Cómo establecer el ajuste de escala automático del grupo de nodos

Puedes establecer los límites para el ajuste de escala automático del grupo de nodos de Managed Service para Apache Spark en GKE cuando creas un clúster virtual de Managed Service para Apache Spark en GKE. Si no se especifica, los grupos de nodos de Managed Service para Apache Spark en GKE se ajustan automáticamente con los valores predeterminados (en el lanzamiento de GA de Managed Service para Apache Spark en GKE, los valores predeterminados se establecen en mínimo = 1 y máximo = 10, que están sujetos a cambios). Para obtener valores específicos mínimos y máximos del ajuste de escala automático del grupo de nodos, configúralos cuando crees tu clúster virtual de Managed Service para Apache Spark en GKE.

Actualiza el ajuste de escala automático del grupo de nodos

Usa el siguiente comando de GKE gcloud container node-pools update para cambiar la configuración del escalado automático de un grupo de nodos de Managed Service para Apache Spark en GKE.

gcloud container node-pools update NODE_POOL_NAME \
    --cluster=GKE_CLUSTER_NAME \
    --region=region \
    --enable-autoscaling \
    --min-nodes=min nodes (must be <= max-nodes) \
    --max-nodes=max nodes (must be >= min-nodes) \

Cómo funciona el ajuste de escala automático de Spark

  1. Cuando se envía un trabajo, el Pod del controlador se programa para que se ejecute en el grupo de nodos asociado con el rol de controlador de Spark.
  2. El Pod del controlador llama al programador de GKE para crear Pods de ejecutores.
  3. Los Pods del ejecutor se programan en el grupo de nodos asociado con el rol de ejecutor de Spark.
  4. Si los grupos de nodos tienen capacidad para los Pods, estos comenzarán a ejecutarse de inmediato. Si no hay capacidad suficiente, el escalador automático del clúster de GKE aumenta la escala del grupo de nodos para proporcionar los recursos solicitados, hasta el límite especificado por el usuario. Cuando los grupos de nodos tienen capacidad excedente, el escalador automático de clúster de GKE reduce la escala del grupo de nodos hasta el límite especificado por el usuario.