"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Menghentikan dan memulai cluster

Setelah membuat cluster, Anda dapat menghentikannya, lalu memulainya kembali saat Anda membutuhkannya. Menghentikan cluster yang tidak aktif akan menghindari biaya dan menghindari kebutuhan untuk menghapus cluster yang tidak aktif, lalu membuat cluster dengan konfigurasi yang sama di kemudian hari.

Catatan:

Fitur mulai dan hentikan cluster tersedia di cluster yang dibuat dengan image yang dirilis pada atau setelah versi image berikut:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
Menghentikan node cluster satu per satu tidak direkomendasikan karena status VM yang dihentikan mungkin tidak sinkron dengan status cluster, yang dapat menyebabkan error.
Cluster yang menggunakan VM fleksibel tidak dapat menggunakan fitur mulai dan berhenti.

Menghentikan cluster

Menghentikan cluster akan menghentikan semua VM Compute Engine cluster. Anda tidak membayar VM saat VM dihentikan. Namun, Anda tetap membayar resource cluster terkait, seperti persistent disk.

Catatan:

Menjalankan operasi: Jika cluster memiliki operasi yang sedang berjalan, seperti operasi update atau diagnosis, permintaan penghentian akan gagal.
Tugas yang sedang berjalan: Jika cluster memiliki tugas yang sedang berjalan, permintaan penghentian akan berhasil: VM akan berhenti, dan tugas yang sedang berjalan akan gagal.
Menghentikan Respons: Saat permintaan penghentian menampilkan operasi penghentian, cluster akan berada dalam status STOPPING, dan tidak ada tugas lebih lanjut yang akan diizinkan untuk dikirimkan (permintaan SubmitJob akan gagal).
Penskalaan otomatis: Jika Anda menghentikan cluster yang mengaktifkan penskalaan otomatis, penskala otomatis Managed Service untuk Apache Spark akan berhenti menskalakan cluster. Cluster akan melanjutkan penskalaan setelah dimulai ulang. Jika Anda mengaktifkan penskalaan otomatis di cluster yang dihentikan, kebijakan penskalaan otomatis akan berlaku setelah cluster dimulai ulang.

Memantau operasi penghentian

Anda dapat menjalankan gcloud dataproc operations describe operation-id untuk memantau operasi penghentian cluster yang berjalan lama. Anda dapat menggunakan perintah gcloud dataproc clusters describe cluster-name untuk memantau transisi status cluster dari RUNNING ke STOPPING ke STOPPED.

Batasan

Anda tidak dapat berhenti:
- cluster dengan pekerja sekunder
- cluster dengan ssd lokal
Saat cluster dihentikan, Anda tidak dapat:
- memperbarui cluster
- mengirimkan tugas ke cluster
- mengakses notebook yang berjalan di cluster menggunakan gateway komponen Managed Service untuk Apache Spark

Memulai cluster

Saat Anda memulai ulang kluster yang dihentikan, tindakan inisialisasi tidak akan dijalankan ulang. Tindakan inisialisasi hanya berjalan di node cluster saat cluster dibuat atau saat node ditambahkan ketika cluster di-scale up.
Setelah operasi start selesai, Anda dapat segera mengirimkan tugas ke cluster. Namun, eksekusi tugas dapat tertunda—sekitar 30 detik—untuk memungkinkan HDFS dan YARN beroperasi.

Cara menghentikan dan memulai cluster

Anda dapat menghentikan dan memulai cluster menggunakan konsol Google Cloud , gcloud CLI, atau Managed Service untuk Apache Spark API.

KonsolGoogle Cloud

Klik nama cluster dari halaman Clusters di konsol Google Cloud .
Di halaman detail cluster yang terbuka, klik STOP untuk menghentikan cluster. Jika siap melanjutkan operasi cluster, klik START untuk memulai ulang cluster.

gcloud CLI

Menghentikan cluster

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

Mulai cluster

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

REST API