Cómo escalar clústeres de GKE

Para escalar un clúster de Managed Service para Apache Spark en GKE, actualiza la configuración del escalador automático de los grupos de nodos asociados con los roles de controlador o ejecutor de Spark. Especificas los grupos de nodos de Managed Service para Apache Spark en GKE y sus roles asociados cuando creas un clúster de Managed Service para Apache Spark en GKE.

Configura el ajuste de escala automático del grupo de nodos

Puedes establecer los límites para el ajuste de escala automático del grupo de nodos de Managed Service para Apache Spark en GKE cuando creas un clúster virtual de Managed Service para Apache Spark en GKE. Si no se especifica, los grupos de nodos de Managed Service para Apache Spark en GKE se ajustan automáticamente con valores predeterminados (en la versión de DG de Managed Service para Apache Spark en GKE, los valores predeterminados se establecen en un mínimo de 1 y un máximo de 10, que están sujetos a cambios). Para obtener valores mínimos y máximos específicos de escalado automático del grupo de nodos, configúralos cuando crees tu clúster virtual de Managed Service para Apache Spark en GKE.

Actualiza el ajuste de escala automático del grupo de nodos

Usa el siguiente comando de gcloud container node-pools update de GKE para cambiar la configuración de ajuste de escala automático de un grupo de nodos de Managed Service para Apache Spark en GKE.

gcloud container node-pools update NODE_POOL_NAME \
    --cluster=GKE_CLUSTER_NAME \
    --region=region \
    --enable-autoscaling \
    --min-nodes=min nodes (must be <= max-nodes) \
    --max-nodes=max nodes (must be >= min-nodes) \

Cómo funciona el ajuste de escala automático de Spark

  1. Cuando se envía un trabajo, el Pod del controlador se programa para ejecutarse en el grupo de nodos asociado con el rol de controlador de Spark.
  2. El Pod del controlador llama al programador de GKE para crear Pods de ejecutor.
  3. Los Pods de ejecutor se programan en el grupo de nodos asociado con el rol de ejecutor de Spark.
  4. Si los grupos de nodos tienen capacidad para los Pods, estos comienzan a ejecutarse de inmediato. Si no hay capacidad suficiente, el escalador automático del clúster de GKE escala verticalmente el grupo de nodos para proporcionar los recursos solicitados, hasta el límite especificado por el usuario. Cuando los grupos de nodos tienen un exceso de capacidad, el escalador automático de clúster de GKE reduce la escala verticalmente del grupo de nodos hasta el límite especificado por el usuario.