Menskalakan cluster GKE

Untuk menskalakan cluster Managed Service untuk Apache Spark di GKE, update konfigurasi autoscaler node pool yang terkait dengan peran driver Spark atau eksekutor Spark. Anda menentukan node pool Managed Service untuk Apache Spark on GKE dan peran terkaitnya saat membuat cluster GKE Managed Service untuk Apache Spark.

Menetapkan penskalaan otomatis node pool

Anda dapat menetapkan batas untuk penskalaan otomatis node pool Managed Service untuk Apache Spark on GKE saat membuat cluster virtual Managed Service untuk Apache Spark on GKE. Jika tidak ditentukan, node pool Managed Service untuk Apache Spark di GKE akan diskalakan otomatis dengan nilai default (pada rilis GA Managed Service untuk Apache Spark di GKE, nilai default ditetapkan ke minimum = 1 dan maksimum = 10, yang dapat berubah sewaktu-waktu). Untuk mendapatkan nilai penskalaan otomatis node pool minimum dan maksimum tertentu, tetapkan nilai tersebut saat Anda membuat cluster virtual Managed Service untuk Apache Spark on GKE.

Memperbarui penskalaan otomatis node pool

Gunakan perintah GKE gcloud container node-pools update berikut untuk mengubah konfigurasi penskalaan otomatis Managed Service untuk Apache Spark di node pool GKE.

gcloud container node-pools update NODE_POOL_NAME \
    --cluster=GKE_CLUSTER_NAME \
    --region=region \
    --enable-autoscaling \
    --min-nodes=min nodes (must be <= max-nodes) \
    --max-nodes=max nodes (must be >= min-nodes) \

Cara kerja penskalaan otomatis Spark

  1. Saat tugas dikirimkan, pod driver dijadwalkan untuk dijalankan di node pool yang terkait dengan peran driver Spark.
  2. Pod driver memanggil penjadwal GKE untuk membuat pod eksekutor.
  3. Pod eksekutor dijadwalkan di node pool yang terkait dengan peran eksekutor Spark.
  4. Jika node pool memiliki kapasitas untuk pod, pod akan segera mulai berjalan. Jika kapasitas tidak mencukupi, autoscaler cluster GKE akan meningkatkan skala node pool untuk menyediakan resource yang diminta, hingga batas yang ditentukan pengguna. Jika node pool memiliki kapasitas berlebih, autoscaler cluster GKE akan memperkecil skala node pool hingga batas yang ditentukan pengguna.