Discos de inicialização do Managed Service for Apache Spark

Selecione um disco permanente padrão, SSD ou equilibrado ou um Google Cloud Hyperdisk Balanced como discos de inicialização para nós de cluster do Serviço Gerenciado para Apache Spark.

Opções de tipo de disco de inicialização:

  • É possível selecionar um disco de inicialização padrão, SSD ou disco permanente equilibrado para nós de cluster mestre, worker primário e worker secundário.

  • É possível selecionar o Hyperdisk Balanced como o disco de inicialização para os nós mestre e worker primário. Observação: O Serviço Gerenciado para Apache Spark define automaticamente o tipo de disco de inicialização do worker secundário como Hyperdisk Balanced quando o tipo de disco de inicialização do worker primário é definido como Hyperdisk Balanced.

O tipo de disco de inicialização permanente padrão para os nós de worker mestre e primário do cluster do Managed Service para Apache Spark é padrão (pd-standard). Se o tipo de máquina da VM for compatível apenas com o Hyperdisk equilibrado como disco de inicialização, o disco de inicialização padrão será o Hyperdisk equilibrado (hyperdisk-balanced). O tipo de disco de inicialização permanente padrão para os nós de worker secundários do cluster é o tipo de disco de inicialização permanente do nó de worker primário.

Selecionar tipos de disco de inicialização permanente para nós de cluster

É possível selecionar o tipo de disco de inicialização permanente ao criar um cluster usando o console doGoogle Cloud , a Google Cloud CLI ou a API Dataproc.

Console doGoogle Cloud

Para selecionar os tipos de disco de inicialização do nó do cluster:

  1. Abra a página Criar um cluster do Serviço Gerenciado para Apache Spark.
  2. Clique em Configuração adicional para abrir a seção.
  3. Clique em Workers primários e Workers secundários para confirmar ou alterar as configurações padrão.
  4. Por padrão, as configurações do nó do driver (mestre) são as mesmas do worker primário. Em Configuração adicional, clique em Nó do driver para desmarcar a caixa de seleção Nó do driver padrão é o mesmo que o do worker primário e, em seguida, especifique as configurações do nó do driver.

CLI da gcloud

É possível criar um cluster e selecionar tipos de disco de inicialização de nó de cluster usando o comando gcloud dataproc clusters create com as sinalizações --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

Exemplo:
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API REST

É possível definir um valor de pd-standard, pd-ssd, pd-balanced ou hyperdisk-balanced no campo InstanceGroupConfig.DiskConfig.bootDiskType em masterConfig, workerConfig e secondaryWorkerConfig como parte de uma solicitação de API cluster.create.

Configurações do Hyperdisk

Ao criar um cluster com um volume do Hyperdisk Balanced como o disco de inicialização de um nó de cluster do Serviço Gerenciado para Apache Spark, é possível definir as IOPS e a capacidade de processamento provisionadas.

Console

Para configurar as IOPS e a capacidade de processamento provisionadas:

  1. Abra a página Criar um cluster do Serviço Gerenciado para Apache Spark.
  2. Clique em Configuração adicional para abrir a seção.
  3. Clique em Nó do driver ou Workers primários.
  4. No painel que é aberto, defina as configurações de IOPS provisionadas e de capacidade de processamento e clique em Salvar.

CLI da gcloud

É possível definir as IOPS e a capacidade de processamento provisionadas para nós de cluster com os discos de inicialização hyperdisk-balanced usando as flags --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput do comando gcloud dataproc clusters create.

Exemplo:
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

API REST

É possível definir as IOPS e a capacidade de processamento provisionadas para nós de cluster com discos de inicialização de hiperdisco usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações mestre e de worker.