Dischi di avvio Dataproc

Seleziona dischi permanenti standard, SSD, bilanciati Persistent Disk, o Google Cloud Hyperdisk bilanciato come dischi di avvio per i nodi del cluster Dataproc.

Selezionare i tipi di dischi di avvio permanenti per i nodi del cluster

Puoi selezionare il tipo di disco di avvio permanente quando crei un cluster utilizzando la Google Cloud console, Google Cloud CLI o l'API Dataproc.

Console

Puoi creare un cluster e selezionare un disco di avvio permanente standard, SSD, bilanciato, o Hyperdisk bilanciato per i nodi del cluster di gestione (master), worker primario e worker secondario dal riquadro Configura nodi nella pagina Crea un cluster di Dataproc della Google Cloud console.

Interfaccia a riga di comando gcloud

Puoi creare un cluster e selezionare un disco di avvio permanente standard, SSD o bilanciato, o Hyperdisk bilanciato per i nodi del cluster di gestione (master), worker primario e worker secondario utilizzando il comando gcloud dataproc clusters create con i flag --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

Il tipo di disco di avvio permanente predefinito per i nodi di gestione (master) e worker primario del cluster Dataproc è pd-standard. Se il tipo di macchina VM supporta solo Hyperdisk bilanciato come disco di avvio, il disco di avvio predefinito è hyperdisk-balanced. Il tipo di disco di avvio permanente predefinito per i nodi worker secondari del cluster è il tipo di disco di avvio permanente del nodo worker primario.

Puoi passare un valore di pd-standard, pd-ssd, pd-balanced, o hyperdisk-balanced ai --master-boot-disk-type, --worker-boot-disk-type, e --secondary-worker-boot-disk-type flag. È possibile impostare uno qualsiasi dei validi valori di tipo di disco su qualsiasi tipo di nodo del cluster.

Esempio:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

Puoi impostare le dimensioni dei dischi di avvio permanenti utilizzando i flag --master-boot-disk-size, --worker-boot-disk-size, e --secondary-worker-boot-disk-size.

API REST

Il tipo di disco di avvio predefinito per i nodi di gestione (master) e worker primario del cluster Dataproc è pd-standard. Se il tipo di macchina VM supporta solo Hyperdisk bilanciato come disco di avvio, il disco di avvio predefinito è hyperdisk-balanced. Il tipo di disco di avvio predefinito per i nodi worker secondari è il tipo di disco di avvio del nodo worker primario.

Puoi impostare un valore di pd-standard, pd-ssd, pd-balanced, o hyperdisk-balanced nel InstanceGroupConfig.DiskConfig.bootDiskType campo in masterConfig, workerConfig, e secondaryWorkerConfig nell'ambito di una cluster.create richiesta API. È possibile impostare uno qualsiasi dei valori di tipo di disco di avvio validi su qualsiasi tipo di nodo del cluster.

Nota: imposta le dimensioni del disco di avvio per nodo utilizzando il campo InstanceGroupConfig.DiskConfig.bootDiskSizeGb nella configurazione del master, del worker o del worker secondario.

Impostazioni Hyperdisk

Quando crei un cluster con un volume Hyperdisk bilanciato come disco di avvio per un nodo del cluster Dataproc, puoi impostare le IOPS e il throughput sottoposti a provisioning.

Console

Hyperdisk bilanciato è selezionato come tipo di disco di avvio primario predefinito per i nodi del cluster di gestione (master) e worker primario dal riquadro Configura nodi nella pagina Crea un cluster di Dataproc della Google Cloud console. Puoi impostare IOPS e throughput o accettare i valori predefiniti.

Interfaccia a riga di comando gcloud

Puoi impostare le IOPS e il throughput sottoposti a provisioning per i nodi del cluster con i dischi di avvio hyperdisk-balanced utilizzando il comando gcloud dataproc clusters create con i flag --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput.

Esempio:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

I worker secondari sono configurati con le impostazioni del disco di avvio del worker primario.

API REST

Puoi impostare le IOPS e il throughput sottoposti a provisioning per i nodi del cluster con dischi di avvio Hyperdisk utilizzando i campi InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput per le configurazioni di gestione (master) e worker.