Discos de arranque de Managed Service para Apache Spark

Selecciona discos persistentes estándar, SSD o equilibrados, o Google Cloud Hyperdisk Balanced como discos de arranque para los nodos del clúster de Managed Service para Apache Spark.

Opciones de tipo de disco de arranque:

  • Puedes seleccionar un disco persistente estándar, SSD o disco persistente balanceado como disco de arranque para los nodos del clúster principal, trabajador principal y trabajador secundario.

  • Puedes seleccionar hyperdisk balanced como el disco de arranque para los nodos principal y trabajador principal. Ten en cuenta que Managed Service para Apache Spark establece automáticamente el tipo de disco de arranque del trabajador secundario en Hyperdisk Balanced cuando el tipo de disco de arranque del trabajador principal se establece en Hyperdisk Balanced.

El tipo de disco de arranque persistente predeterminado para los nodos principales y trabajadores principales del clúster de Managed Service para Apache Spark es estándar (pd-standard). Si el tipo de máquina de la VM solo admite Hyperdisk Balanced como disco de arranque, el disco de arranque predeterminado es Hyperdisk Balanced (hyperdisk-balanced). El tipo de disco de arranque persistente predeterminado para los nodos trabajadores secundarios del clúster es el tipo de disco de arranque persistente del nodo trabajador principal.

Selecciona tipos de discos de arranque persistentes para los nodos del clúster

Puedes seleccionar el tipo de disco de arranque persistente cuando creas un clúster con la consola deGoogle Cloud , la Google Cloud CLI o la API de Dataproc.

Consola deGoogle Cloud

Para seleccionar los tipos de discos de arranque de nodos del clúster, haz lo siguiente:

  1. Abre la página Crear un clúster de Managed Service para Apache Spark.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Haz clic en Trabajadores principales y Trabajadores secundarios para confirmar o cambiar la configuración predeterminada.
  4. De forma predeterminada, la configuración del nodo del controlador (principal) es la misma que la del trabajador principal. En Configuración adicional, puedes hacer clic en Nodo controlador para desmarcar la casilla de verificación Nodo controlador predeterminado igual que el trabajador principal y, luego, especificar la configuración del nodo controlador.

gcloud CLI

Puedes crear un clúster y seleccionar los tipos de discos de arranque de los nodos del clúster con el comando gcloud dataproc clusters create con las marcas --master-boot-disk-type, --worker-boot-disk-type y --secondary-worker-boot-disk-type.

Ejemplo: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API de REST

Puedes establecer un valor de pd-standard, pd-ssd, pd-balanced o hyperdisk-balanced en el campo InstanceGroupConfig.DiskConfig.bootDiskType de masterConfig, workerConfig y secondaryWorkerConfig como parte de una solicitud a la API de cluster.create.

Configuración de Hyperdisk

Cuando creas un clúster con un volumen de Hyperdisk Balanced como disco de arranque para un nodo de clúster de Managed Service para Apache Spark, puedes establecer las IOPS y la capacidad de procesamiento aprovisionadas.

Console

Para configurar las IOPS y la capacidad de procesamiento aprovisionadas, haz lo siguiente:

  1. Abre la página Crear un clúster de Managed Service para Apache Spark.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Haz clic en Nodo controlador o Trabajadores principales.
  4. En el panel que se abre, configura los parámetros de IOPS aprovisionadas y de capacidad de procesamiento y, luego, haz clic en Guardar.

gcloud CLI

Puedes configurar las IOPS aprovisionadas y la capacidad de procesamiento aprovisionada para los nodos del clúster con los discos de arranque de hiperdisco balanceado a través del comando gcloud dataproc clusters create con las marcas --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput y --worker-boot-disk-provisioned-throughput.

Ejemplo: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API de REST

Puedes establecer las IOPS aprovisionadas y la capacidad de procesamiento aprovisionada para los nodos del clúster con discos de arranque de hyperdisk usando los campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops y InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para las configuraciones del nodo principal y del trabajador.