Dischi di avvio di Managed Service per Apache Spark

Seleziona Persistent Disk standard, SSD o bilanciato oppure Google Cloud Hyperdisk bilanciato come dischi di avvio per i nodi del cluster Managed Service for Apache Spark.

Opzioni per il tipo di disco di avvio:

  • Puoi selezionare un disco di avvio standard, SSD o bilanciato Persistent Disk per i nodi del cluster manager (master), worker primario e worker secondario.

  • Puoi selezionare Hyperdisk Balanced come disco di avvio per i nodi manager (master) e worker primario. Tieni presente che Managed Service for Apache Spark imposta automaticamente il tipo di disco di avvio del worker secondario su Hyperdisk bilanciato quando il tipo di disco di avvio del worker primario è impostato su Hyperdisk bilanciato.

Il tipo di disco di avvio permanente predefinito per il gestore cluster Managed Service for Apache Spark (master) e i nodi worker primari è standard (pd-standard). Se il tipo di macchina della VM supporta solo Hyperdisk bilanciato come disco di avvio, il disco di avvio predefinito è Hyperdisk bilanciato (hyperdisk-balanced). Il tipo di disco di avvio permanente predefinito per i nodi worker secondari del cluster è il tipo di disco di avvio permanente del nodo worker primario.

Seleziona i tipi di disco di avvio permanente per i nodi del cluster

Puoi selezionare il tipo di disco di avvio permanente quando crei un cluster utilizzando la consoleGoogle Cloud , Google Cloud CLI o l'API Managed Service for Apache Spark.

Console

Puoi creare un cluster e selezionare i tipi di dischi di avvio dei nodi del cluster dal riquadro Configura nodi nella pagina Crea un cluster di Managed Service for Apache Spark della console Google Cloud .

Interfaccia a riga di comando gcloud

Puoi creare un cluster e selezionare i tipi di disco di avvio dei nodi del cluster utilizzando il comando gcloud dataproc clusters create con i flag --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

Esempio: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API REST

Puoi impostare un valore di pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced nel campo InstanceGroupConfig.DiskConfig.bootDiskType in masterConfig, workerConfig e secondaryWorkerConfig nell'ambito di una richiesta API cluster.create.

Impostazioni di Hyperdisk

Quando crei un cluster con un volume Hyperdisk bilanciato come disco di avvio per un nodo del cluster Managed Service per Apache Spark, puoi impostare le IOPS e il throughput sottoposti a provisioning.

Console

Puoi impostare IOPS e throughput o accettare i valori predefiniti del riquadro Configura nodi nella pagina Managed Service for Apache Spark Crea un cluster.

Interfaccia a riga di comando gcloud

Puoi impostare IOPS sottoposte a provisioning e throughput sottoposto a provisioning per i nodi del cluster con i dischi di avvio hyperdisk-balanced utilizzando i flag gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput.

Esempio: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

Puoi impostare IOPS sottoposte a provisioning e throughput sottoposto a provisioning per i nodi del cluster con dischi di avvio Hyperdisk utilizzando i campi InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput per le configurazioni di gestione (master) e worker.