Discos de arranque de Dataproc

Seleccionas discos persistentes estándar, SSD, balanceados Persistent Disk, o Google Cloud Hyperdisk Balanced como discos de arranque para los nodos del clúster de Dataproc.

Selecciona tipos de discos de arranque persistentes para los nodos del clúster

Puedes seleccionar el tipo de disco de arranque persistente cuando creas un clúster con la Google Cloud consola, la CLI de Google Cloud o la API de Dataproc.

Console

Puedes crear un clúster y seleccionar un disco de arranque persistente estándar, SSD, balanceado, o Hyperdisk balanceado para los nodos del clúster de administrador (principal), trabajador principal y trabajador secundario desde el panel Configurar nodos en la página Crear un clúster de Dataproc de la Google Cloud consola.

gcloud CLI

Puedes crear un clúster y seleccionar un disco de arranque persistente estándar, SSD, balanceado, o Hyperdisk balanceado para los nodos del clúster de administrador (principal), trabajador principal y trabajador secundario con el comando gcloud dataproc clusters create con las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type.

El tipo de disco de arranque persistente predeterminado para el administrador (principal) del clúster de Dataproc y los nodos trabajadores principales es pd-standard. Si el tipo de máquina de VM solo admite Hyperdisk balanceado como disco de arranque, el disco de arranque predeterminado es hyperdisk-balanced. El tipo de disco de arranque persistente predeterminado para los nodos trabajadores secundarios del clúster es el tipo de disco de arranque persistente del nodo trabajador principal.

Puedes pasar un valor de pd-standard, pd-ssd, pd-balanced, o hyperdisk-balanced a las --master-boot-disk-type, --worker-boot-disk-type, y --secondary-worker-boot-disk-type marcas. Cualquiera de los valores de tipo de disco válidos se puede establecer en cualquier tipo de nodo de clúster.

Ejemplo:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

Puedes establecer el tamaño de los discos de arranque persistentes con las --master-boot-disk-size, --worker-boot-disk-size, y --secondary-worker-boot-disk-size marcas.

API de REST

El tipo de disco de arranque predeterminado para el administrador (principal) del clúster de Dataproc y los nodos trabajadores principales es pd-standard. Si el tipo de máquina de VM solo admite Hyperdisk balanceado como disco de arranque, el disco de arranque predeterminado es hyperdisk-balanced. El tipo de disco de arranque predeterminado para nodos trabajadores secundarios es el tipo de disco de arranque del nodo trabajador principal.

Puedes establecer un valor de pd-standard, pd-ssd, pd-balanced, o hyperdisk-balanced en el InstanceGroupConfig.DiskConfig.bootDiskType campo en masterConfig, workerConfig, y secondaryWorkerConfig como parte de una cluster.create solicitud a la API. Cualquiera de los valores de tipo de disco de arranque válidos se puede establecer en cualquier tipo de nodo de clúster.

Nota: Configura el tamaño del disco de arranque por nodo con el campo InstanceGroupConfig.DiskConfig.bootDiskSizeGb en la configuración de la instancia principal, trabajador o trabajador secundario.

Configuración de Hyperdisk

Cuando creas un clúster con un volumen de Hyperdisk balanceado como disco de arranque para un nodo del clúster de Dataproc, puedes establecer las IOPS y la capacidad de procesamiento aprovisionadas.

Console

Hyperdisk balanceado se selecciona como el tipo de disco de arranque principal predeterminado para los nodos del clúster de administrador (principal) y trabajador principal desde el panel Configurar nodos en la página Crear un clúster de Dataproc de la Google Cloud consola. Puedes establecer las IOPS y la capacidad de procesamiento, o aceptar los valores predeterminados.

gcloud CLI

Puedes establecer las IOPS y la capacidad de procesamiento aprovisionadas para los nodos del clúster con los discos de arranque Hyperdisk balanceados con el comando gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput y las marcas --worker-boot-disk-provisioned-throughput.

Ejemplo:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

Los trabajadores secundarios se configuran con la configuración del disco de arranque del trabajador principal.

API de REST

Puedes establecer las IOPS y la capacidad de procesamiento aprovisionadas para los nodos del clúster con discos de arranque Hyperdisk con los campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops y InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para las configuraciones de administrador (principal) y trabajador.