Anda memilih Persistent Disk standar, SSD, seimbang, atau Google Cloud Hyperdisk seimbang sebagai disk boot untuk node cluster Managed Service untuk Apache Spark.
Opsi jenis boot disk:
Anda dapat memilih standard, SSD, atau persistent disk seimbang, boot disk untuk node cluster master, primary worker, dan secondary worker.
Anda dapat memilih hyperdisk seimbang sebagai boot disk untuk node master dan primary worker. Perhatikan bahwa Managed Service untuk Apache Spark otomatis menetapkan jenis boot disk worker sekunder ke Hyperdisk Balanced jika jenis boot disk worker utama ditetapkan ke Hyperdisk Balanced.
Jenis persistent boot disk default untuk node master dan worker utama cluster Managed Service untuk Apache Spark adalah standard (pd-standard). Jika jenis mesin VM hanya mendukung hyperdisk balanced sebagai boot disk, boot disk default adalah hyperdisk balanced (hyperdisk-balanced). Jenis persistent boot disk default untuk node worker sekunder cluster adalah jenis persistent boot disk node worker utama.
Memilih jenis persistent boot disk untuk node cluster
Anda dapat memilih jenis persistent boot disk saat membuat cluster menggunakan konsolGoogle Cloud , Google Cloud CLI, atau Dataproc API.
KonsolGoogle Cloud
Untuk memilih jenis boot disk node cluster:
- Buka halaman Managed Service untuk Apache Spark Create a cluster.
- Klik Konfigurasi tambahan untuk meluaskan bagian tersebut.
- Klik Pekerja utama dan Pekerja sekunder untuk mengonfirmasi atau mengubah setelan default.
- Secara default, setelan node driver (master) sama dengan setelan pekerja utama. Di bagian Additional configuration, Anda dapat mengklik Driver node untuk menghapus centang pada kotak Default driver node to the same as primary worker, lalu menentukan setelan node driver.
gcloud CLI
Anda dapat membuat cluster dan memilih jenis boot disk node cluster menggunakan perintah
gcloud dataproc clusters create
dengan tanda --master-boot-disk-type,
--worker-boot-disk-type, dan
--secondary-worker-boot-disk-type.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
REST API
Anda dapat menetapkan nilai pd-standard, pd-ssd,
pd-balanced, atau hyperdisk-balanced di kolom
InstanceGroupConfig.DiskConfig.bootDiskType
dalam masterConfig, workerConfig, dan
secondaryWorkerConfig sebagai bagian dari
permintaan API cluster.create.
Setelan Hyperdisk
Saat membuat cluster dengan volume Hyperdisk Balanced sebagai boot disk untuk node cluster Managed Service untuk Apache Spark, Anda dapat menetapkan IOPS dan throughput yang disediakan.
Konsol
Untuk mengonfigurasi IOPS dan throughput yang disediakan:
- Buka halaman Managed Service untuk Apache Spark Create a cluster.
- Klik Konfigurasi tambahan untuk meluaskan bagian tersebut.
- Klik Driver node atau Primary workers.
- Di panel yang terbuka, konfigurasi setelan IOPS dan throughput yang disediakan, lalu klik Simpan.
gcloud CLI
Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan
boot disk hyperdisk-balanced menggunakan
perintah gcloud dataproc clusters create
--master-boot-disk-provisioned-iops,
--worker-boot-disk-provisioned-iops,
--master-boot-disk-provisioned-throughput, dan
flag --worker-boot-disk-provisioned-throughput.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
REST API
Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan
boot disk hyperdisk menggunakan kolom InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops dan InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput untuk
konfigurasi master dan worker.