Scalare i cluster GKE

Per scalare un cluster Managed Service for Apache Spark su GKE, aggiorna la configurazione dello scalatore automatico dei pool di nodi associati ai ruoli di driver Spark o executor Spark. Quando crei un cluster Managed Service for Apache Spark su GKE, specifichi i pool di nodi e i ruoli associati di Managed Service for Apache Spark su GKE.

Imposta la scalabilità automatica del pool di nodi

Puoi impostare i limiti per la scalabilità automatica del pool di nodi di Managed Service for Apache Spark su GKE quando crei un cluster virtuale Managed Service for Apache Spark su GKE. Se non specificati, i pool di nodi di Managed Service for Apache Spark su GKE vengono scalati automaticamente con valori predefiniti (al momento del rilascio GA di Managed Service for Apache Spark su GKE, i valori predefiniti sono impostati su minimo = 1 e massimo = 10, che sono soggetti a modifiche). Per ottenere valori di scalabilità automatica del pool di nodi minimi e massimi specifici, impostali quando crei il cluster virtuale Managed Service for Apache Spark su GKE.

Aggiorna la scalabilità automatica del pool di nodi

Utilizza il seguente comando GKE gcloud container node-pools update per modificare la configurazione della scalabilità automatica di un pool di nodi Managed Service for Apache Spark su GKE.

gcloud container node-pools update NODE_POOL_NAME \
    --cluster=GKE_CLUSTER_NAME \
    --region=region \
    --enable-autoscaling \
    --min-nodes=min nodes (must be <= max-nodes) \
    --max-nodes=max nodes (must be >= min-nodes) \

Come funziona la scalabilità automatica di Spark

  1. Quando viene inviato un job, il pod driver è pianificato per l'esecuzione sul pool di nodi associato al ruolo di driver Spark.
  2. Il pod driver chiama lo scheduler GKE per creare i pod executor.
  3. I pod executor vengono pianificati sul pool di nodi associato al ruolo di executor Spark.
  4. Se i pool di nodi hanno capacità per i pod, questi iniziano a essere eseguiti immediatamente. Se la capacità è insufficiente, il gestore della scalabilità automatica dei cluster GKE aumenta il pool di nodi per fornire le risorse richieste, fino al limite specificato dall'utente. Quando i pool di nodi hanno capacità in eccesso, il gestore della scalabilità automatica dei cluster GKE riduce le dimensioni del pool di nodi fino al limite specificato dall'utente.