Disk booting Dataproc

Anda memilih Persistent Disk standar, SSD, seimbang, atau Google Cloud Hyperdisk Seimbang sebagai disk boot untuk node cluster Dataproc.

Memilih jenis persistent boot disk untuk node cluster

Anda dapat memilih jenis boot disk persisten saat membuat cluster menggunakan konsolGoogle Cloud , Google Cloud CLI, atau Dataproc API.

Konsol

Anda dapat membuat cluster dan memilih boot disk Persistent Disk standar, SSD, seimbang, atau Hyperdisk Seimbang untuk node cluster pengelola (master), pekerja utama, dan pekerja sekunder dari panel Configure nodes di halaman Create a cluster Dataproc di konsol Google Cloud .

gcloud CLI

Anda dapat membuat cluster dan memilih boot disk persisten seimbang, SSD , standar, atau Hyperdisk seimbang untuk node cluster pengelola (master), pekerja utama, dan pekerja sekunder menggunakan perintah gcloud dataproc clusters create dengan tanda --master-boot-disk-type, --worker-boot-disk-type, dan --secondary-worker-boot-disk-type.

Jenis persistent boot disk default untuk pengelola (master) cluster Dataproc dan node worker utama adalah pd-standard. Jika jenis mesin VM hanya mendukung Hyperdisk Seimbang sebagai disk booting, disk booting default adalah hyperdisk-balanced. Jenis persistent boot disk default untuk node pekerja sekunder cluster adalah jenis persistent boot disk node pekerja utama.

Anda dapat meneruskan nilai pd-standard, pd-ssd, pd-balanced, atau hyperdisk-balanced ke flag --master-boot-disk-type, --worker-boot-disk-type, dan --secondary-worker-boot-disk-type. Nilai jenis disk yang valid dapat ditetapkan pada jenis node cluster mana pun.

Contoh:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

Anda dapat menetapkan ukuran disk boot persisten menggunakan flag --master-boot-disk-size, --worker-boot-disk-size, dan --secondary-worker-boot-disk-size.

REST API

Jenis boot disk default untuk pengelola cluster (master) dan node worker utama Dataproc adalah pd-standard. Jika jenis mesin VM hanya mendukung Hyperdisk Seimbang sebagai disk booting, disk booting default adalah hyperdisk-balanced. Jenis boot disk default untuk node pekerja sekunder adalah jenis boot disk node pekerja utama.

Anda dapat menetapkan nilai pd-standard, pd-ssd, pd-balanced, atau hyperdisk-balanced di kolom InstanceGroupConfig.DiskConfig.bootDiskType dalam masterConfig, workerConfig, dan secondaryWorkerConfig sebagai bagian dari permintaan API cluster.create. Nilai jenis boot disk yang valid dapat ditetapkan pada jenis node cluster apa pun.

Catatan: Tetapkan ukuran disk booting per node menggunakan kolom InstanceGroupConfig.DiskConfig.bootDiskSizeGb dalam konfigurasi master, worker, atau worker sekunder.

Setelan Hyperdisk

Saat membuat cluster dengan volume Hyperdisk Balanced sebagai disk booting untuk node cluster Dataproc, Anda dapat menetapkan IOPS dan throughput yang disediakan.

Konsol

Hyperdisk Balanced dipilih sebagai jenis disk booting utama default untuk node cluster pekerja dan pengelola (master) utama dari panel Configure nodes di halaman Create a cluster Dataproc di konsol Google Cloud . Anda dapat menyetel IOPS dan throughput, atau menerima nilai default.

gcloud CLI

Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan disk boot hyperdisk-balanced menggunakan perintah gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput, dan flag --worker-boot-disk-provisioned-throughput.

Contoh:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

Worker sekunder dikonfigurasi dengan setelan disk boot worker primer.

REST API

Anda dapat menetapkan IOPS yang disediakan dan throughput yang disediakan untuk node cluster dengan disk boot Hyperdisk menggunakan kolom InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops dan InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput untuk konfigurasi pengelola (master) dan worker.