Discos de inicialização do Managed Service for Apache Spark

Selecione disco permanente padrão, SSD, equilibrado Persistent Disk, ou Google Cloud Hyperdisk equilibrado como discos de inicialização para nós de cluster do Serviço Gerenciado para Apache Spark.

Opções de tipo de disco de inicialização:

  • É possível selecionar um disco permanente padrão, SSD ou equilibrado como disco de inicialização para nós de cluster mestre, worker principal e worker secundário.

  • É possível selecionar o hiperdisco equilibrado como disco de inicialização para nós mestre e worker principal. Observação: o Serviço Gerenciado para Apache Spark define automaticamente o tipo de disco de inicialização do worker secundário como Hyperdisk Balanced quando o tipo de disco de inicialização do worker principal é definido como Hyperdisk Balanced.

O tipo de disco de inicialização permanente padrão para nós mestre e de trabalho principal do cluster do Serviço Gerenciado para Apache Spark é padrão (pd-standard). Se o tipo de máquina da VM oferecer suporte apenas ao Hyperdisk Balanced como disco de inicialização, o disco de inicialização padrão será Hyperdisk Balanced (hyperdisk-balanced). O tipo de disco de inicialização permanente padrão para nós de trabalho secundário do cluster é o tipo de disco de inicialização permanente do nó de trabalho principal.

Selecionar tipos de disco de inicialização permanente para nós de cluster

É possível selecionar o tipo de disco de inicialização permanente ao criar um cluster usando o Google Cloud console, a Google Cloud CLI ou a API Dataproc.

Google Cloud Console

Para selecionar tipos de disco de inicialização de nós de cluster:

  1. Abra a página Criar um cluster do Serviço Gerenciado para Apache Spark.
  2. Clique em Configuração adicional para expandir essa seção.
  3. Clique em Workers principais e Workers secundários para confirmar ou mudar as configurações padrão.
  4. Por padrão, as configurações do nó do driver (mestre) são as mesmas que as configurações do worker principal. Em Configuração adicional, clique em Nó do driver para desmarcar a caixa de seleção Nó do driver padrão é o mesmo que o do worker principal e especifique as configurações do nó do driver.

CLI gcloud

É possível criar um cluster e selecionar tipos de disco de inicialização de nós de cluster usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

Exemplo: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API REST

É possível definir um valor de pd-standard, pd-ssd, pd-balanced, ou hyperdisk-balanced no InstanceGroupConfig.DiskConfig.bootDiskType campo em masterConfig, workerConfig, e secondaryWorkerConfig como parte de uma cluster.create solicitação de API.

Configurações do hiperdisco

Ao criar um cluster com um volume equilibrado do hiperdisco como disco de inicialização para um nó de cluster do Serviço Gerenciado para Apache Spark, é possível definir as IOPS e a capacidade de processamento provisionadas.

Console

Para configurar as IOPS e a capacidade de processamento provisionadas:

  1. Abra a página Criar um cluster do Serviço Gerenciado para Apache Spark.
  2. Clique em Configuração adicional para expandir essa seção.
  3. Clique em Nó do driver ou Workers principais.
  4. No painel que é aberto, configure as IOPS e as configurações de capacidade de processamento provisionadas e clique em Salvar.

CLI gcloud

É possível definir as IOPS e a capacidade de processamento provisionadas para nós de cluster com os discos de inicialização do hiperdisco equilibrado usando o gcloud dataproc clusters create comando --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput flags.

Exemplo: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

É possível definir as IOPS e a capacidade de processamento provisionadas para nós de cluster com discos de inicialização do hiperdisco usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações mestre e worker.