Dischi di avvio di Managed Service per Apache Spark

Seleziona dischi permanenti standard, SSD, bilanciati Persistent Disk, o Google Cloud Hyperdisk bilanciati come dischi di avvio per i nodi del cluster Managed Service for Apache Spark.

Opzioni per il tipo di disco di avvio:

  • Puoi selezionare un disco di avvio standard, SSD o Balanced Persistent Disk per i nodi del cluster master, worker principali e worker secondari.

  • Puoi selezionare Hyperdisk bilanciato come disco di avvio per i nodi master e worker principali. Tieni presente che Managed Service for Apache Spark imposta automaticamente il tipo di disco di avvio del worker secondario su Hyperdisk bilanciato quando il tipo di disco di avvio del worker principale è impostato su Hyperdisk bilanciato.

Il tipo di disco di avvio permanente predefinito per i nodi master e worker principali del cluster Managed Service for Apache Spark è standard (pd-standard). Se il tipo di macchina VM supporta solo Hyperdisk bilanciato come disco di avvio, il disco di avvio predefinito è Hyperdisk bilanciato (hyperdisk-balanced). Il tipo di disco di avvio permanente predefinito per i nodi worker secondari del cluster è il tipo di disco di avvio permanente del nodo worker principale.

Seleziona i tipi di dischi di avvio permanenti per i nodi del cluster

Puoi selezionare il tipo di disco di avvio permanente quando crei un cluster utilizzando la Google Cloud console, Google Cloud CLI o l'API Dataproc.

Google Cloud Console

Per selezionare i tipi di dischi di avvio dei nodi del cluster:

  1. Apri la pagina Crea un cluster di Managed Service for Apache Spark.
  2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
  3. Fai clic su Worker principali e Worker secondari per confermare o modificare le impostazioni predefinite.
  4. Per impostazione predefinita, le impostazioni del nodo driver (master) sono le stesse del worker principale. In Configurazione aggiuntiva, puoi fare clic su Nodo driver per deselezionare la casella di controllo Imposta il nodo driver come il worker principale, quindi specificare le impostazioni del nodo driver.

gcloud CLI

Puoi creare un cluster e selezionare i tipi di dischi di avvio dei nodi del cluster utilizzando il comando gcloud dataproc clusters create con i flag --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

Esempio: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API REST

Puoi impostare un valore di pd-standard, pd-ssd, pd-balanced, o hyperdisk-balanced nel InstanceGroupConfig.DiskConfig.bootDiskType campo in masterConfig, workerConfig, e secondaryWorkerConfig nell'ambito di una cluster.create richiesta API.

Impostazioni Hyperdisk

Quando crei un cluster con un volume Hyperdisk bilanciato come disco di avvio per un nodo del cluster Managed Service for Apache Spark, puoi impostare le IOPS e il throughput sottoposti a provisioning.

Console

Per configurare le IOPS e il throughput sottoposti a provisioning:

  1. Apri la pagina Crea un cluster di Managed Service for Apache Spark.
  2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
  3. Fai clic su Nodo driver o Worker principali.
  4. Nel riquadro che si apre, configura le impostazioni delle IOPS e del throughput sottoposti a provisioning, quindi fai clic su Salva.

gcloud CLI

Puoi impostare le IOPS e il throughput sottoposti a provisioning per i nodi del cluster con i dischi di avvio Hyperdisk bilanciati utilizzando il comando gcloud dataproc clusters create con i flag --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput.

Esempio: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

Puoi impostare le IOPS e il throughput sottoposti a provisioning per i nodi del cluster con dischi di avvio Hyperdisk utilizzando i campi InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput per le configurazioni master e worker.