Discos de arranque de Managed Service para Apache Spark

Seleccionas discos persistentes estándar, SSD, balanceados Persistent Disk, o Google Cloud Hyperdisk balanced como discos de arranque para los nodos del clúster de Managed Service for Apache Spark.

Opciones de tipo de disco de arranque:

  • Puedes seleccionar un disco de arranque estándar, SSD o persistente balanceado para los nodos del clúster administrador (principal), trabajador principal y trabajador secundario.

  • Puedes seleccionar Hyperdisk balanceado como el disco de arranque para los nodos administrador (principal) y trabajador principal. Ten en cuenta que Managed Service for Apache Spark establece automáticamente el tipo de disco de arranque del trabajador secundario en Hyperdisk balanceado cuando el tipo de disco de arranque del trabajador principal se establece en Hyperdisk balanceado.

El tipo de disco de arranque persistente predeterminado para el administrador (principal) y los nodos trabajadores principales del clúster de Managed Service for Apache Spark es estándar (pd-standard). Si el tipo de máquina de VM solo admite Hyperdisk balanceado como el disco de arranque, el disco de arranque predeterminado es Hyperdisk balanceado (hyperdisk-balanced). El tipo de disco de arranque persistente predeterminado para los nodos trabajadores secundarios del clúster es el tipo de disco de arranque persistente del nodo trabajador principal.

Selecciona tipos de discos de arranque persistentes para los nodos del clúster

Puedes seleccionar el tipo de disco de arranque persistente cuando creas un clúster con la Google Cloud consola, Google Cloud CLI o la API de Managed Service for Apache Spark.

Console

Puedes crear un clúster y seleccionar los tipos de discos de arranque de los nodos del clúster en el panel Configurar nodos de la página Crear un clúster de Managed Service for Apache Spark Google Cloud en la consola.

gcloud CLI

Puedes crear un clúster y seleccionar los tipos de discos de arranque de los nodos del clúster con el comando gcloud dataproc clusters create con las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type.

Ejemplo: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API de REST

Puedes establecer un valor de pd-standard, pd-ssd, pd-balanced, o hyperdisk-balanced en el InstanceGroupConfig.DiskConfig.bootDiskType campo en masterConfig, workerConfig, y secondaryWorkerConfig como parte de una cluster.create solicitud a la API.

Configuración de Hyperdisk

Cuando creas un clúster con un volumen de Hyperdisk balanceado como el disco de arranque para un nodo del clúster de Managed Service for Apache Spark, puedes establecer las IOPS y la capacidad de procesamiento aprovisionadas.

Console

Puedes establecer las IOPS y la capacidad de procesamiento, o aceptar los valores predeterminados del panel Configurar nodos en la página Crear un clúster de Managed Service for Apache Spark.

gcloud CLI

Puedes establecer las IOPS aprovisionadas y la capacidad de procesamiento aprovisionada para los nodos del clúster con los discos de arranque Hyperdisk balanceados con el comando gcloud dataproc clusters create, las marcas --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput y --worker-boot-disk-provisioned-throughput.

Ejemplo: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API de REST

Puedes establecer las IOPS aprovisionadas y la capacidad de procesamiento aprovisionada para los nodos del clúster con discos de arranque Hyperdisk con los campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops y InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para las configuraciones del administrador (principal) y del trabajador.