Discos de inicialização do Managed Service for Apache Spark

Você seleciona disco permanente padrão, SSD, balanceado ou hiperdisco balanceado do Google Cloud como discos de inicialização para nós de cluster do Serviço Gerenciado para Apache Spark.

Opções de tipo de disco de inicialização:

  • É possível selecionar um disco permanente padrão, SSD ou balanceado, disco de inicialização para nós de cluster gerenciador (mestre), worker principal e worker secundário.

  • É possível selecionar hyperdisk balanced como o disco de inicialização para os nós manager (mestre) e primary worker. O Serviço Gerenciado para Apache Spark define automaticamente o tipo de disco de inicialização do worker secundário como hiperdisco balanceado quando o tipo de disco de inicialização do worker principal também é definido como hiperdisco balanceado.

O tipo de disco de inicialização permanente padrão para o gerenciador de cluster do Serviço Gerenciado para Apache Spark (mestre) e os nós de trabalho primários é standard (pd-standard). Se o tipo de máquina da VM oferecer suporte apenas a Hyperdisk Balanced como disco de inicialização, o disco de inicialização padrão será Hyperdisk Balanced (hyperdisk-balanced). O tipo de disco de inicialização permanente padrão para nós de trabalho secundários do cluster é o tipo de disco de inicialização permanente do nó de trabalho primário.

Selecionar tipos de disco de inicialização permanente para nós de cluster

É possível selecionar o tipo de disco de inicialização permanente ao criar um cluster usando o console doGoogle Cloud , a Google Cloud CLI ou a API do serviço gerenciado para Apache Spark.

Console

É possível criar um cluster e selecionar os tipos de disco de inicialização do nó do cluster no painel Configurar nós da página Criar um cluster do Serviço Gerenciado para Apache Spark no console do Google Cloud .

CLI da gcloud

É possível criar um cluster e selecionar os tipos de disco de inicialização do nó usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

Exemplo: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API REST

Você pode definir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced no campo InstanceGroupConfig.DiskConfig.bootDiskType em masterConfig, workerConfig e secondaryWorkerConfig como parte de uma solicitação de API cluster.create.

Configurações do Hyperdisk

Ao criar um cluster com um volume equilibrado de hiperdisco como disco de inicialização para um nó de cluster do Managed Service for Apache Spark, é possível definir o IOPS e a capacidade de processamento provisionados.

Console

É possível definir IOPS e capacidade de processamento ou aceitar os valores padrão do painel Configurar nós na página Criar um cluster do Serviço Gerenciado para Apache Spark.

CLI da gcloud

É possível definir IOPS e taxa de transferência provisionadas para nós de cluster com os discos de inicialização de hiperdisco equilibrado usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput.

Exemplo: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

É possível definir IOPS e capacidade de processamento provisionados para nós de cluster com discos de inicialização de hiperdisco usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações do gerenciador (mestre) e do worker.