Disk booting Managed Service for Apache Spark

Anda memilih Persistent Disk standar, SSD, seimbang , atau Google Cloud Hyperdisk seimbang sebagai boot disk untuk node cluster Managed Service for Apache Spark.

Opsi jenis boot disk:

  • Anda dapat memilih boot disk Persistent Disk standar, SSD, atau seimbang untuk node cluster pengelola (master), pekerja utama, dan pekerja sekunder.

  • Anda dapat memilih hyperdisk seimbang sebagai boot disk untuk node pengelola (master) dan pekerja utama. Perhatikan bahwa Managed Service for Apache Spark otomatis menetapkan jenis boot disk pekerja sekunder ke hyperdisk seimbang saat jenis boot disk pekerja utama ditetapkan ke hyperdisk seimbang.

Jenis boot disk persisten default untuk node pengelola (master) dan pekerja utama cluster Managed Service for Apache Spark adalah standar (pd-standard). Jika jenis mesin VM hanya mendukung hyperdisk seimbang sebagai boot disk, boot disk default adalah hyperdisk seimbang (hyperdisk-balanced). Jenis boot disk persisten default untuk node pekerja sekunder cluster adalah jenis boot disk persisten node pekerja utama.

Memilih jenis boot disk persisten untuk node cluster

Anda dapat memilih jenis boot disk persisten saat membuat cluster menggunakan Google Cloud konsol, Google Cloud CLI, atau Managed Service for Apache Spark API.

Konsol

Anda dapat membuat cluster dan memilih jenis boot disk node cluster dari panel Konfigurasi node di halaman Managed Service for Apache Spark Buat cluster di Google Cloud konsol.

gcloud CLI

Anda dapat membuat cluster dan memilih jenis boot disk node cluster menggunakan perintah gcloud dataproc clusters create dengan flag --master-boot-disk-type, --worker-boot-disk-type, dan --secondary-worker-boot-disk-type.

Contoh: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

Anda dapat menetapkan nilai pd-standard, pd-ssd, pd-balanced, atau hyperdisk-balanced di InstanceGroupConfig.DiskConfig.bootDiskType kolom di masterConfig, workerConfig, dan secondaryWorkerConfig sebagai bagian dari cluster.create permintaan API.

Setelan Hyperdisk

Saat membuat cluster dengan volume hyperdisk seimbang sebagai boot disk untuk node cluster Managed Service for Apache Spark, Anda dapat menetapkan IOPS dan throughput yang disediakan.

Konsol

Anda dapat menetapkan IOPS dan throughput, atau menerima nilai default dari panel Konfigurasi node di halaman Buat cluster Managed Service for Apache Spark.

gcloud CLI

Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan boot disk hyperdisk seimbang menggunakan perintah gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, dan flag --worker-boot-disk-provisioned-throughput.

Contoh: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan boot disk hyperdisk menggunakan kolom InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops dan InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput untuk konfigurasi pengelola (master) dan pekerja.