Untuk menskalakan cluster Managed Service untuk Apache Spark di GKE, perbarui konfigurasi autoscaler node pool yang terkait dengan peran driver Spark atau Spark executor. Anda menentukan Managed Service untuk Apache Spark di GKE node pool dan peran terkaitnya saat Anda membuat cluster Managed Service untuk Apache Spark di GKE.
Menetapkan penskalaan otomatis node pool
Anda dapat menetapkan batas untuk penskalaan otomatis node pool Managed Service untuk Apache Spark di GKE saat Anda membuat cluster virtual Managed Service untuk Apache Spark di GKE. Jika tidak ditentukan, kumpulan node Managed Service untuk Apache Spark di GKE akan diskalakan otomatis dengan nilai default (pada rilis GA Managed Service untuk Apache Spark di GKE, nilai default ditetapkan ke minimum = 1 dan maksimum = 10, yang dapat berubah). Untuk mendapatkan nilai penskalaan otomatis node pool minimum dan maksimum tertentu, tetapkan nilai tersebut saat Anda membuat cluster virtual Managed Service untuk Apache Spark di GKE.
Memperbarui penskalaan otomatis node pool
Gunakan perintah GKE
gcloud container node-pools update
berikut untuk mengubah konfigurasi penskalaan otomatis node pool Managed Service untuk Apache Spark di GKE.
gcloud container node-pools update NODE_POOL_NAME \ --cluster=GKE_CLUSTER_NAME \ --region=region \ --enable-autoscaling \ --min-nodes=min nodes (must be <= max-nodes) \ --max-nodes=max nodes (must be >= min-nodes) \
Cara kerja penskalaan otomatis Spark
- Saat tugas dikirimkan, pod driver dijadwalkan untuk berjalan di node pool yang terkait dengan peran driver Spark.
- Pod driver memanggil penjadwal GKE untuk membuat pod eksekutor.
- Pod eksekutor dijadwalkan di node pool yang terkait dengan peran eksekutor Spark.
- Jika node pool memiliki kapasitas untuk pod, pod akan segera mulai berjalan. Jika kapasitas tidak mencukupi, autoscaler cluster GKE akan meningkatkan skala node pool untuk menyediakan resource yang diminta, hingga batas yang ditentukan pengguna. Jika node pool memiliki kapasitas berlebih, penskalaan otomatis cluster GKE akan menurunkan skala node pool ke batas yang ditentukan pengguna.