Disk booting Managed Service for Apache Spark

Anda memilih Persistent Disk standar, SSD, seimbang, atau Google Cloud Hyperdisk seimbang sebagai disk booting untuk node cluster Managed Service untuk Apache Spark.

Opsi jenis boot disk:

  • Anda dapat memilih standard, SSD, atau persistent disk seimbang, boot disk untuk node cluster manager (master), primary worker, dan secondary worker.

  • Anda dapat memilih hyperdisk seimbang sebagai disk booting untuk node pengelola (master) dan pekerja utama. Perhatikan bahwa Managed Service for Apache Spark otomatis menetapkan jenis disk booting worker sekunder ke hyperdisk seimbang jika jenis disk booting worker utama ditetapkan ke hyperdisk seimbang.

Jenis persistent boot disk default untuk pengelola cluster Managed Service untuk Apache Spark (master) dan node worker utama adalah standard (pd-standard). Jika jenis mesin VM hanya mendukung Hyperdisk Balanced sebagai boot disk, boot disk default adalah Hyperdisk Balanced (hyperdisk-balanced). Jenis persistent boot disk default untuk node worker sekunder cluster adalah jenis persistent boot disk node worker utama.

Memilih jenis persistent boot disk untuk node cluster

Anda dapat memilih jenis persistent boot disk saat membuat cluster menggunakan Google Cloud konsol, Google Cloud CLI, atau Managed Service untuk Apache Spark API.

Konsol

Anda dapat membuat cluster dan memilih jenis boot disk node cluster dari panel Configure nodes di halaman Create a cluster Managed Service untuk Apache Spark di konsol Google Cloud .

gcloud CLI

Anda dapat membuat cluster dan memilih jenis boot disk node cluster menggunakan perintah gcloud dataproc clusters create dengan tanda --master-boot-disk-type, --worker-boot-disk-type, dan --secondary-worker-boot-disk-type.

Contoh: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

Anda dapat menetapkan nilai pd-standard, pd-ssd, pd-balanced, atau hyperdisk-balanced di kolom InstanceGroupConfig.DiskConfig.bootDiskType dalam masterConfig, workerConfig, dan secondaryWorkerConfig sebagai bagian dari permintaan API cluster.create.

Setelan Hyperdisk

Saat membuat cluster dengan volume Hyperdisk Balanced sebagai boot disk untuk node cluster Managed Service untuk Apache Spark, Anda dapat menetapkan IOPS dan throughput yang disediakan.

Konsol

Anda dapat menyetel IOPS dan throughput, atau menerima nilai default dari panel Konfigurasi node di halaman Buat cluster Managed Service untuk Apache Spark.

gcloud CLI

Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan boot disk hyperdisk-balanced menggunakan perintah gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, dan flag --worker-boot-disk-provisioned-throughput.

Contoh: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan disk boot hyperdisk menggunakan kolom InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops dan InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput untuk konfigurasi pengelola (master) dan pekerja.