"Managed Service for Apache Spark" adalah nama baru untuk produk yang sebelumnya dikenal sebagai "Dataproc on Compute Engine" (deployment cluster) dan "Google Cloud Serverless for Apache Spark" (deployment serverless).

Menghentikan dan memulai cluster

Setelah membuat cluster, Anda dapat menghentikannya, lalu memulainya kembali saat diperlukan. Menghentikan cluster yang tidak aktif akan menghindari biaya dan menghindari kebutuhan untuk menghapus cluster yang tidak aktif, lalu membuat cluster dengan konfigurasi yang sama nanti.

Catatan:

Fitur mulai dan hentikan cluster tersedia di cluster yang dibuat dengan image yang dirilis pada atau setelah versi image berikut:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
Menghentikan node cluster satu per satu tidak direkomendasikan karena status VM yang dihentikan mungkin tidak sinkron dengan status cluster, yang dapat menyebabkan error.
Cluster yang menggunakan VM fleksibel tidak dapat menggunakan fitur mulai dan hentikan.

Menghentikan cluster

Menghentikan cluster akan menghentikan semua VM Compute Engine cluster. Anda tidak perlu membayar VM saat VM dihentikan. Namun, Anda akan terus membayar resource cluster terkait, seperti persistent disk.

Catatan:

Operasi yang sedang berjalan: Jika cluster memiliki operasi yang sedang berjalan, seperti operasi update atau diagnosis, permintaan penghentian akan gagal.
Tugas yang sedang berjalan: Jika cluster memiliki tugas yang sedang berjalan, permintaan penghentian akan berhasil: VM akan berhenti, dan tugas yang sedang berjalan akan gagal.
Respons Penghentian: Saat permintaan penghentian menampilkan operasi penghentian, cluster akan berada dalam status STOPPING, dan tidak ada tugas lebih lanjut yang dapat dikirimkan (permintaan SubmitJob akan gagal).
Penskalaan otomatis: Jika Anda menghentikan cluster yang mengaktifkan penskalaan otomatis, autoscaler Managed Service untuk Apache Spark akan berhenti menskalakan cluster. Autoscaler akan melanjutkan penskalaan cluster setelah cluster dimulai ulang. Jika Anda mengaktifkan penskalaan otomatis di cluster yang dihentikan, kebijakan penskalaan otomatis akan berlaku setelah cluster dimulai ulang.

Memantau operasi penghentian

Anda dapat menjalankan gcloud dataproc operations describe operation-id untuk memantau operasi penghentian cluster yang berjalan lama. Anda dapat menggunakan perintah gcloud dataproc clusters describe cluster-name untuk memantau transisi status cluster dari RUNNING ke STOPPING ke STOPPED.

Batasan

Anda tidak dapat menghentikan:
- cluster dengan worker sekunder
- cluster dengan SSD lokal
Saat cluster dihentikan, Anda tidak dapat:
- mengupdate cluster
- mengirim tugas ke cluster
- mengakses notebook yang berjalan di cluster menggunakan gateway komponen Managed Service untuk Apache Spark

Memulai cluster

Saat Anda memulai ulang cluster yang dihentikan, tindakan inisialisasi apa pun tidak akan dijalankan ulang. Tindakan inisialisasi hanya berjalan di node cluster saat cluster dibuat atau saat node ditambahkan saat cluster ditingkatkan skalanya.
Setelah operasi mulai selesai, Anda dapat langsung mengirim tugas ke cluster. Namun, eksekusi tugas dapat tertunda—sekitar 30 detik—agar HDFS dan YARN dapat beroperasi.

Cara menghentikan dan memulai cluster

Anda dapat menghentikan dan memulai cluster menggunakan Google Cloud konsol, gcloud CLI, atau Managed Service untuk Apache Spark API.

Google Cloud Konsol

Klik nama cluster dari halaman Managed Service untuk Apache Spark Clusters di Google Cloud konsol, lalu klik STOP untuk menghentikan dan START untuk memulai cluster.

gcloud CLI

Menghentikan cluster

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

Memulai cluster

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

REST API