Discos de inicialização do Managed Service for Apache Spark

Você seleciona disco permanente padrão, SSD, balanceado Persistent Disk ou Google Cloud Hyperdisk balanced como discos de inicialização para nós de cluster do Serviço Gerenciado para Apache Spark.

Opções de tipo de disco de inicialização:

  • É possível selecionar um disco permanente padrão, SSD ou balanceado, disco de inicialização para nós de cluster mestre, de trabalho primário e de trabalho secundário.

  • É possível selecionar hyperdisk balanced como o disco de inicialização para os nós mestre e de trabalho primário. Observação: o Serviço Gerenciado para Apache Spark define automaticamente o tipo de disco de inicialização do worker secundário como Hyperdisk Balanced quando o tipo de disco de inicialização do worker principal também é definido como Hyperdisk Balanced.

O tipo de disco de inicialização permanente padrão para os nós mestre e de trabalho primário do cluster do Serviço Gerenciado para Apache Spark é standard (pd-standard). Se o tipo de máquina da VM oferecer suporte apenas a Hyperdisk Balanced como disco de inicialização, o disco de inicialização padrão será Hyperdisk Balanced (hyperdisk-balanced). O tipo de disco de inicialização permanente padrão para os nós de trabalho secundário do cluster é o mesmo dos nós de trabalho primário.

Selecionar tipos de disco de inicialização permanente para nós de cluster

É possível selecionar o tipo de disco de inicialização persistente ao criar um cluster usando o consoleGoogle Cloud , a Google Cloud CLI ou a API Dataproc.

Console doGoogle Cloud

Para selecionar tipos de disco de inicialização de nós do cluster:

  1. Abra a página Criar um cluster do Serviço Gerenciado para Apache Spark.
  2. Clique em Configuração adicional para abrir a seção.
  3. Clique em Workers principais e Workers secundários para confirmar ou mudar as configurações padrão.
  4. Por padrão, as configurações do nó do driver (mestre) são as mesmas do worker principal. Em Configuração adicional, clique em Nó do driver para desmarcar a caixa de seleção Nó do driver padrão é o mesmo que o do worker principal e especifique as configurações do nó do driver.

CLI da gcloud

É possível criar um cluster e selecionar os tipos de disco de inicialização do nó usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

Exemplo: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API REST

Você pode definir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced no campo InstanceGroupConfig.DiskConfig.bootDiskType em masterConfig, workerConfig e secondaryWorkerConfig como parte de uma solicitação de API cluster.create.

Configurações do Hyperdisk

Ao criar um cluster com um volume Hyperdisk Balanced como disco de inicialização para um nó de cluster do Serviço Gerenciado para Apache Spark, é possível definir o IOPS e a capacidade de processamento provisionados.

Console

Para configurar IOPS e capacidade de processamento provisionadas:

  1. Abra a página Criar um cluster do Serviço Gerenciado para Apache Spark.
  2. Clique em Configuração adicional para abrir a seção.
  3. Clique em Nó do driver ou Principais trabalhadores.
  4. No painel que aparece, configure as opções de IOPS provisionadas e taxa de transferência e clique em Salvar.

CLI da gcloud

É possível definir IOPS e taxa de transferência provisionadas para nós de cluster com os discos de inicialização de hiperdisco equilibrado usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput.

Exemplo: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

É possível definir IOPS e capacidade de processamento provisionados para nós de cluster com discos de inicialização de hiperdisco usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações do mestre e do worker.