Discos de arranque de Managed Service para Apache Spark

Selecciona un Persistent Disk estándar, SSD o balanceado, o un Google Cloud Hyperdisk balanceado como discos de arranque para los nodos del clúster de Managed Service para Apache Spark.

Opciones de tipo de disco de arranque:

  • Puedes seleccionar un disco de arranque estándar, SSD o disco persistente balanceado para los nodos del clúster principal, trabajador principal y trabajador secundario.

  • Puedes seleccionar Hyperdisk balanceado como el disco de arranque para los nodos principal y trabajador principal. Ten en cuenta que Managed Service para Apache Spark establece automáticamente el tipo de disco de arranque del trabajador secundario en Hyperdisk Balanced cuando el tipo de disco de arranque del trabajador principal se establece en Hyperdisk Balanced.

El tipo de disco de arranque persistente predeterminado para los nodos trabajadores principales y de la instancia principal del clúster de Managed Service para Apache Spark es estándar (pd-standard). Si el tipo de máquina de la VM solo admite Hyperdisk balanceado como disco de arranque, el disco de arranque predeterminado es Hyperdisk balanceado (hyperdisk-balanced). El tipo de disco de arranque persistente predeterminado para los nodos trabajadores secundarios del clúster es el tipo de disco de arranque persistente del nodo trabajador principal.

Selecciona tipos de discos de arranque persistentes para los nodos del clúster

Puedes seleccionar el tipo de disco de arranque persistente cuando creas un clúster con la consola deGoogle Cloud , Google Cloud CLI o la API de Dataproc.

Consola deGoogle Cloud

Para seleccionar los tipos de discos de arranque de los nodos del clúster, sigue estos pasos:

  1. Abre la página Crear un clúster de Managed Service para Apache Spark.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Haz clic en Trabajadores principales y Trabajadores secundarios para confirmar o cambiar la configuración predeterminada.
  4. De forma predeterminada, la configuración del nodo del controlador (principal) es la misma que la del trabajador principal. En Configuración adicional, puedes hacer clic en Nodo controlador para desmarcar la casilla de verificación Nodo controlador predeterminado igual que el trabajador principal y, luego, especificar la configuración del nodo controlador.

gcloud CLI

Puedes crear un clúster y seleccionar los tipos de discos de arranque de los nodos del clúster con el comando gcloud dataproc clusters create con las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type.

Ejemplo:
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API de REST

Puedes establecer un valor de pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced en el campo InstanceGroupConfig.DiskConfig.bootDiskType en masterConfig, workerConfig y secondaryWorkerConfig como parte de una solicitud a la API de cluster.create.

Configuración de Hyperdisk

Cuando creas un clúster con un volumen de Hyperdisk Balanced como disco de arranque para un nodo de clúster de Managed Service para Apache Spark, puedes configurar las IOPS y la capacidad de procesamiento aprovisionadas.

Console

Para configurar las IOPS y la capacidad de procesamiento aprovisionadas, haz lo siguiente:

  1. Abre la página Crear un clúster de Managed Service para Apache Spark.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Haz clic en Nodo controlador o Trabajadores principales.
  4. En el panel que se abre, configura los parámetros de IOPS y de capacidad de procesamiento aprovisionados y, luego, haz clic en Guardar.

gcloud CLI

Puedes configurar las IOPS y la capacidad de procesamiento aprovisionadas para los nodos del clúster con los discos de arranque de Hyperdisk Balanced con el comando gcloud dataproc clusters create y las marcas --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput y --worker-boot-disk-provisioned-throughput.

Ejemplo:
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

API de REST

Puedes establecer las IOPS y la capacidad de procesamiento aprovisionadas para los nodos del clúster con discos de arranque de Hyperdisk con los campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops y InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para los parámetros de configuración de los nodos principales y trabajadores.