Penghapusan Terjadwal Cluster

Untuk membantu menghindari timbulnya Google Cloud biaya bagi cluster yang tidak aktif, gunakan fitur Penghapusan Terjadwal Cluster Managed Service untuk Apache Spark saat Anda membuat cluster. Fitur ini menyediakan opsi untuk menghapus cluster saat peristiwa berikut terjadi:

• setelah periode nonaktif cluster tertentu
• pada waktu mendatang yang ditentukan
• setelah periode tertentu yang dimulai dari waktu pengiriman permintaan pembuatan cluster

Catatan: Tugas yang berjalan di cluster saat cluster dihapus akan gagal.

Tindakan yang menonaktifkan penghapusan terjadwal

Saat cluster berjalan, tindakan berikut akan menonaktifkan penghapusan terjadwal hingga tindakan penonaktifan dibatalkan:

• Menghapus peran Agen Layanan Managed Service untuk Apache Spark IAM di akun layanan Agen Layanan Dataproc
• Menonaktifkan Dataproc API di project cluster
• Mengaktifkan proteksi dari penghapusan VM Compute Engine di VM cluster penghapusan terjadwal
• Mengaktifkan Kontrol Layanan VPC jika Managed Service untuk Apache Spark akun layanan Agen Layanan (Identitas bidang kontrol) tidak berada dalam batas perimeter

Menghitung waktu nonaktif cluster

Anda dapat menggunakan penghapusan terjadwal untuk menghapus cluster setelah waktu nonaktif cluster tertentu. Waktu nonaktif dihitung setelah cluster dibuat dan penyediaan cluster selesai. Perhitungan waktu nonaktif dimulai saat cluster tidak memiliki tugas yang berjalan.

Properti cluster dataproc:dataproc.cluster-ttl.consider-yarn-activity memengaruhi perhitungan waktu nonaktif cluster, sebagai berikut:

• Properti ini diaktifkan (ditetapkan ke true) secara default.
• Jika properti ini diaktifkan, aktivitas YARN dan Managed Service untuk Apache Spark Jobs API harus tidak ada aktivitas untuk memulai dan terus menambah perhitungan waktu tidak ada aktivitas cluster.
  • Aktivitas YARN mencakup aplikasi YARN yang tertunda dan berjalan.
  • Aktivitas Managed Service untuk Apache Spark Jobs API mencakup tugas yang tertunda dan berjalan yang dikirimkan ke Managed Service untuk Apache Spark Jobs API.
• Jika properti ini ditetapkan ke false, perhitungan waktu nonaktif cluster dimulai dan berlanjut hanya jika aktivitas Managed Service untuk Apache Spark Jobs API tidak ada aktivitas.

Properti dataproc:dataproc.cluster-ttl.consider-yarn-activity berlaku untuk cluster yang dibuat dengan versi image yang dirilis pada atau setelah 1.4.64, 1.5.39, 2.0.13, dan versi image yang lebih baru. Untuk cluster yang dibuat dengan versi image sebelumnya, hanya aktivitas Managed Service untuk Apache Spark Jobs API yang dipertimbangkan dalam menghitung waktu nonaktif cluster.

Menggunakan penghapusan terjadwal cluster

Anda dapat menetapkan nilai penghapusan terjadwal saat membuat cluster menggunakan Google Cloud CLI, Dataproc API, atau Google Cloud konsol. Setelah membuat cluster, Anda dapat memperbarui cluster untuk mengubah atau menghapus nilai penghapusan terjadwal yang sebelumnya ditetapkan di cluster.

Catatan: Saat memperbarui cluster, Anda tidak dapat menggabungkan flag update cluster lainnya dengan flag penghapusan terjadwal

gcloud CLI

Anda dapat membuat atau memperbarui nilai penghapusan terjadwal di cluster dengan meneruskan flag dan nilai yang tercantum dalam tabel berikut ke perintah gcloud dataproc clusters create atau gcloud dataproc clusters update.

Flag gcloud CLI	Deskripsi	Perincian nilai	Nilai min	Nilai maks.
--delete-max-idle^1	Berlaku untuk perintah pembuatan cluster dan update cluster. Durasi dari waktu saat cluster menjadi tidak ada aktivitas setelah the cluster dibuat atau diperbarui dan dalam status siap digunakan hingga the moment saat cluster mulai dihapus. Berikan durasi dalam IntegerUnit format, dengan unit dapat berupa "s, m, h, d" (detik, menit, jam, hari). Contoh: "30m": 30 menit dari saat cluster menjadi nonaktif.	1 detik	5 menit	14 hari
--no-delete-max-idle	Hanya berlaku untuk perintah update cluster. Membatalkan penghapusan cluster berdasarkan setelan flag delete-max-idle sebelumnya.	tidak berlaku	tidak berlaku	tidak berlaku
--delete-expiration-time^2	Berlaku untuk perintah pembuatan cluster dan update cluster. Waktu untuk mulai menghapus cluster dalam format datetime ISO 8601. Untuk membuat datetime dalam format yang benar, Anda dapat menggunakan Timestamp Generator. Misalnya, "2017-08-22T13:31:48-08:00" menentukan waktu habis masa berlaku 13:21:48 di zona waktu UTC -8:00.	1 detik	10 menit dari waktu saat ini	14 hari dari waktu saat ini
--delete-max-age^2	Berlaku untuk perintah pembuatan cluster dan update cluster. Durasi dari saat pengiriman permintaan pembuatan cluster hingga saat cluster mulai dihapus. Berikan durasi dalam IntegerUnit format, dengan unit dapat berupa "s, m, h, d" (detik, menit, jam, hari). Contoh: "30m": 30 menit dari sekarang; "1d": 1 hari dari sekarang.	1 detik	10 menit	14 hari
--no-delete-max-age	Hanya berlaku untuk perintah update cluster. Membatalkan penghapusan otomatis cluster berdasarkan setelan flag delete-max-age atau delete-expiration-time sebelumnya.	Tidak berlaku	Tidak berlaku	Tidak berlaku

Catatan:

1. Anda dapat meneruskan flag delete-max-idle dengan flag delete-expiration-time atau delete-max-age dalam permintaan pembuatan atau update cluster. Yang pertama menjadi benar akan berlaku untuk menghapus cluster.
2. Anda dapat meneruskan flag delete-expiration-time atau flag delete-max-age ke perintah pembuatan atau update cluster, tetapi tidak keduanya.

Contoh pembuatan cluster:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --delete-max-idle=DURATION \
    --delete-expiration-time=TIME \
    ... other flags ...

Contoh update cluster:

gcloud dataproc clusters update CLUSTER_NAME \
    --region=REGION \
    --delete-max-idle=DURATION \
    --no-delete-max-age \
    ... other flags

REST API

Anda dapat membuat atau memperbarui nilai penghapusan terjadwal di cluster dengan menetapkan kolom dan nilai Managed Service untuk Apache Spark API ClusterLifecycleConfig yang tercantum dalam tabel berikut sebagai bagian dari permintaan API Managed Service untuk Apache Spark cluster.create atau cluster.patch.

Kolom API	Deskripsi	Perincian nilai	Nilai min	Nilai maks.
idleDeleteTtl^1	Berlaku untuk perintah pembuatan cluster dan update cluster. Durasi dari waktu saat cluster menjadi tidak ada aktivitas setelah the cluster dibuat atau diperbarui dan dalam status siap digunakan hingga the moment saat cluster mulai dihapus. Saat memperbarui cluster dengan nilai baru, nilai baru harus lebih besar dari nilai yang ditetapkan sebelumnya. nilai. Berikan durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s". Kirim durasi kosong untuk membatalkan nilai idleDeleteTtl yang ditetapkan sebelumnya.	1 detik	5 menit	14 hari
autoDeleteTime^2	Berlaku untuk perintah pembuatan cluster dan update cluster. Waktu untuk mulai menghapus cluster. Saat memperbarui cluster dengan waktu baru, waktu baru harus lebih lambat dari waktu yang ditetapkan sebelumnya. Saat memperbarui, jika nilai kosong ditetapkan untuk autoDeleteTime, penghapusan otomatis yang ada akan dibatalkan. Berikan stempel waktu dalam RFC 3339 format UTC "Zulu", akurat hingga nanodetik. Contoh: "2014-10-02T15:01:23.045123456Z".	1 detik	10 menit dari waktu saat ini	14 hari dari waktu saat ini
autoDeleteTtl^2	Durasi dari saat pengiriman permintaan pembuatan atau update cluster hingga saat cluster mulai dihapus. Saat memperbarui cluster, waktu penghapusan terjadwal baru (waktu permintaan update ditambah durasi baru) harus lebih lambat dari waktu penghapusan cluster yang ditetapkan sebelumnya. Kirim nilai kosong untuk membatalkan nilai autoDeleteTtl yang ditetapkan sebelumnya. Berikan durasi dalam detik dengan maksimal sembilan digit pecahan, yang diakhiri dengan 's'. Contoh: "3.5s".	1 detik	10 menit	14 hari

Catatan:

1. Anda dapat menetapkan atau memperbarui idleDeleteTtl dan autoDeleteTime atau autoDeleteTtl dalam permintaan pembuatan atau update cluster. Yang pertama menjadi benar akan berlaku untuk menghapus cluster.
2. Anda dapat menetapkan atau memperbarui autoDeleteTime atau autoDeleteTtl dalam permintaan, tetapi tidak keduanya.

Konsol

1. Buka halaman Managed Service untuk Apache Spark Create a cluster.
2. Pilih panel Customize cluster.
3. Di bagian Scheduled deletion, pilih opsi yang akan diterapkan ke cluster Anda.

Melihat setelan cluster Penghapusan Terjadwal

gcloud CLI

Anda dapat menggunakan perintah gcloud dataproc clusters list untuk mengonfirmasi bahwa cluster telah mengaktifkan penghapusan terjadwal.

 gcloud dataproc clusters list \
     --region=REGION

Contoh output:

...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
CLUSTER_ID   NUMBER       ... enabled
...

Anda dapat menggunakan perintah gcloud dataproc clusters describe untuk memeriksa setelan penghapusan terjadwal LifecycleConfig cluster.

gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION

...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

autoDeleteTime dan idleDeleteTtl adalah nilai konfigurasi penghapusan terjadwal yang ditetapkan di cluster. Managed Service untuk Apache Spark menghasilkan nilai idleStartTime, yang merupakan waktu mulai nonaktif cluster terbaru. Managed Service untuk Apache Spark menghapus cluster jika cluster tetap nonaktif pada idleStartTime + idleDeleteTtl.

REST API

Anda dapat membuat clusters.list untuk mengonfirmasi bahwa cluster telah mengaktifkan penghapusan terjadwal.

Konsol

• Anda dapat melihat setelan penghapusan terjadwal cluster dengan memilih nama cluster dari halaman Managed Service untuk Apache Spark Clusters di Google Cloud konsol.
• Dari halaman detail cluster, pilih tab Configuration. Buka daftar konfigurasi cluster untuk melihat setelan penghapusan terjadwal.