Membuat cluster skala nol Managed Service for Apache Spark

Dokumen ini menjelaskan cara membuat cluster Managed Service untuk Apache Spark skala nol.

Cluster Managed Service untuk Apache Spark skala nol menyediakan cara hemat biaya untuk menggunakan cluster Managed Service untuk Apache Spark. Tidak seperti cluster Managed Service untuk Apache Spark standar yang memerlukan setidaknya dua worker utama, cluster Managed Service untuk Apache Spark skala nol hanya menggunakan worker sekunder yang dapat diskalakan hingga nol.

Cluster Managed Service untuk Apache Spark skala nol ideal untuk digunakan sebagai cluster yang berjalan lama dan mengalami periode tidak ada aktivitas, seperti cluster yang menghosting notebook Jupiter. Cluster ini memberikan pemanfaatan resource yang lebih baik melalui penggunaan kebijakan penskalaan otomatis skala nol.

Karakteristik dan batasan

Cluster Managed Service untuk Apache Spark skala nol memiliki kesamaan dengan cluster standar, tetapi memiliki karakteristik dan batasan unik berikut:

  • Memerlukan versi image 2.2.53 atau yang lebih baru.
  • Hanya mendukung worker sekunder, bukan worker utama.

  • Menyertakan layanan seperti YARN, tetapi tidak mendukung sistem file HDFS.

    • Untuk menggunakan Cloud Storage sebagai sistem file default, tetapkan properti cluster core:fs.defaultFS ke lokasi bucket Cloud Storage (gs://BUCKET_NAME).
    • Jika Anda menonaktifkan komponen selama pembuatan cluster, nonaktifkan juga HDFS.

  • Tidak dapat dikonversi ke atau dari cluster standar.

  • Memerlukan kebijakan penskalaan otomatis untuk jenis cluster ZERO_SCALE.

  • Memerlukan pemilihan VM fleksibel sebagai jenis mesin.

  • Tidak mendukung komponen Oozie.

  • Tidak dapat dibuat dari Google Cloud konsol.

Opsional: Mengonfigurasi kebijakan penskalaan otomatis

Anda dapat mengonfigurasi kebijakan penskalaan otomatis untuk menentukan penskalaan kerja sekunder untuk cluster skala nol. Saat melakukannya, perhatikan hal berikut:

  • Tetapkan jenis cluster ke ZERO_SCALE.
  • Konfigurasi kebijakan penskalaan otomatis hanya untuk konfigurasi worker sekunder.

Untuk mengetahui informasi selengkapnya, lihat Membuat kebijakan penskalaan otomatis.

Membuat cluster Managed Service untuk Apache Spark skala nol

Buat cluster skala nol menggunakan gcloud CLI atau Dataproc API.

gcloud

Jalankan gcloud dataproc clusters create perintah secara lokal di jendela terminal atau di Cloud Shell.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --cluster-type=zero-scale \
    --autoscaling-policy=AUTOSCALING_POLICY \
    --properties=core:fs.defaultFS=gs://BUCKET_NAME \
    --secondary-worker-machine-types="type=MACHINE_TYPE1[,type=MACHINE_TYPE2...][,rank=RANK]"
    ...other args

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster Managed Service untuk Apache Spark skala nol.
  • REGION: region Compute Engine yang tersedia.
  • AUTOSCALING_POLICY: ID atau URI resource kebijakan penskalaan otomatis.
  • BUCKET_NAME: nama bucket Cloud Storage Anda.
  • MACHINE_TYPE: jenis mesin Compute Engine tertentu, seperti n1-standard-4, e2-standard-8.
  • RANK: menentukan prioritas daftar jenis mesin.

REST

Buat cluster skala nol menggunakan permintaan Managed Service untuk Apache Spark REST API cluster.create:

Langkah berikutnya