Discos de arranque de Managed Service para Apache Spark

Seleccionas discos persistentes estándar, SSD, balanceados Persistent Disk, o Google Cloud Hyperdisk balanced como discos de arranque para los nodos del clúster de Managed Service para Apache Spark.

Opciones de tipo de disco de arranque:

  • Puedes seleccionar un disco de arranque estándar, SSD o disco persistente balanceado para los nodos del clúster principal, trabajador principal y trabajador secundario.

  • Puedes seleccionar Hyperdisk balanceado como el disco de arranque para los nodos principales y trabajadores principales. Ten en cuenta que Managed Service para Apache Spark establece automáticamente el tipo de disco de arranque del trabajador secundario en Hyperdisk balanceado cuando el tipo de disco de arranque del trabajador principal se establece en Hyperdisk balanceado.

El tipo de disco de arranque persistente predeterminado para los nodos principales y trabajadores principales del clúster de Managed Service para Apache Spark es estándar (pd-standard). Si el tipo de máquina de VM solo admite Hyperdisk balanceado como disco de arranque, el disco de arranque predeterminado es Hyperdisk balanceado (hyperdisk-balanced). El tipo de disco de arranque persistente predeterminado para los nodos trabajadores secundarios del clúster es el tipo de disco de arranque persistente del nodo trabajador principal.

Selecciona tipos de discos de arranque persistentes para los nodos del clúster

Puedes seleccionar el tipo de disco de arranque persistente cuando creas un clúster con la Google Cloud consola, Google Cloud CLI o la API de Dataproc.

Google Cloud Consola de

Para seleccionar los tipos de discos de arranque de los nodos del clúster, haz lo siguiente:

  1. Abre la página Crea un clúster de Managed Service para Apache Spark.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Haz clic en Trabajadores principales y Trabajadores secundarios para confirmar o cambiar la configuración predeterminada.
  4. De forma predeterminada, la configuración del nodo del controlador (principal) es la misma que la configuración del trabajador principal. En Configuración adicional, puedes hacer clic en Nodo del controlador para borrar la casilla de verificación Nodo del controlador predeterminado igual que el trabajador principal y, luego, especificar la configuración del nodo del controlador.

gcloud CLI

Puedes crear un clúster y seleccionar los tipos de discos de arranque de los nodos del clúster con el comando gcloud dataproc clusters create con las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type.

Ejemplo: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API de REST

Puedes establecer un valor de pd-standard, pd-ssd, pd-balanced, o hyperdisk-balanced en el InstanceGroupConfig.DiskConfig.bootDiskType campo en masterConfig, workerConfig, y secondaryWorkerConfig como parte de una cluster.create solicitud a la API.

Configuración de Hyperdisk

Cuando creas un clúster con un volumen de Hyperdisk balanceado como disco de arranque para un nodo del clúster de Managed Service para Apache Spark, puedes establecer las IOPS y la capacidad de procesamiento aprovisionadas.

Console

Para configurar las IOPS y la capacidad de procesamiento aprovisionadas, haz lo siguiente:

  1. Abre la página Crea un clúster de Managed Service para Apache Spark.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Haz clic en Nodo controlador o Trabajadores principales.
  4. En el panel que se abre, configura las IOPS y la capacidad de procesamiento aprovisionadas y, luego, haz clic en Guardar.

gcloud CLI

Puedes establecer las IOPS y la capacidad de procesamiento aprovisionadas para los nodos del clúster con los discos de arranque de Hyperdisk balanceado con el comando gcloud dataproc clusters create y las marcas --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput y --worker-boot-disk-provisioned-throughput.

Ejemplo: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API de REST

Puedes establecer las IOPS y la capacidad de procesamiento aprovisionadas para los nodos del clúster con discos de arranque de Hyperdisk con los campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops y InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para las configuraciones principal y de trabajador.