Discos de inicialização do Managed Service for Apache Spark

Selecione o disco permanente padrão, SSD, equilibrado Persistent Disk, ou Google Cloud Hyperdisk balanced como discos de inicialização para nós de cluster do Serviço Gerenciado para Apache Spark.

Opções de tipo de disco de inicialização:

  • É possível selecionar um disco permanente padrão, SSD ou equilibrado como disco de inicialização para nós de cluster mestre, worker primário e worker secundário.

  • É possível selecionar o hiperdisco equilibrado como disco de inicialização para nós mestre e worker primário. O Serviço Gerenciado para Apache Spark define automaticamente o tipo de disco de inicialização do worker secundário como hiperdisco equilibrado quando o tipo de disco de inicialização do worker primário é definido como hiperdisco equilibrado.

O tipo de disco de inicialização permanente padrão para nós mestre e worker primário do cluster do Serviço Gerenciado para Apache Spark é padrão (pd-standard). Se o tipo de máquina da VM oferecer suporte apenas ao hiperdisco equilibrado como disco de inicialização, o disco de inicialização padrão será o hiperdisco equilibrado (hyperdisk-balanced). O tipo de disco de inicialização permanente padrão para nós de worker secundário do cluster é o tipo de disco de inicialização permanente do nó de worker primário.

Selecionar tipos de disco de inicialização permanente para nós de cluster

É possível selecionar o tipo de disco de inicialização permanente ao criar um cluster usando o Google Cloud console, a Google Cloud CLI ou a API Dataproc.

Google Cloud Console

Para selecionar tipos de disco de inicialização de nós de cluster:

  1. Abra a página Criar um cluster do Serviço Gerenciado para Apache Spark.
  2. Clique em Configuração adicional para expandir essa seção.
  3. Clique em Workers primários e Workers secundários para confirmar ou mudar as configurações padrão.
  4. Por padrão, as configurações do nó do driver (mestre) são as mesmas que as configurações do worker primário. Em Configuração adicional, clique em Nó do driver para desmarcar a caixa de seleção Nó do driver padrão é o mesmo que o do worker primário e especifique as configurações do nó do driver.

CLI gcloud

É possível criar um cluster e selecionar tipos de disco de inicialização de nós de cluster usando o comando gcloud dataproc clusters create com as flags --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

Exemplo: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

API REST

É possível definir um valor de pd-standard, pd-ssd, pd-balanced, ou hyperdisk-balanced no InstanceGroupConfig.DiskConfig.bootDiskType campo em masterConfig, workerConfig, e secondaryWorkerConfig como parte de uma cluster.create solicitação de API.

Configurações do hiperdisco

Ao criar um cluster com um volume equilibrado do hiperdisco como disco de inicialização para um nó de cluster do Serviço Gerenciado para Apache Spark, é possível definir as IOPS e a capacidade de processamento provisionadas.

Console

Para configurar as IOPS e a capacidade de processamento provisionadas:

  1. Abra a página Criar um cluster do Serviço Gerenciado para Apache Spark.
  2. Clique em Configuração adicional para expandir essa seção.
  3. Clique em Nó do driver ou Workers primários.
  4. No painel que é aberto, configure as IOPS e as configurações de capacidade de processamento provisionadas e clique em Salvar.

CLI gcloud

É possível definir as IOPS e a capacidade de processamento provisionadas para nós de cluster com os discos de inicialização equilibrados do hiperdisco usando o gcloud dataproc clusters create comando --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e --worker-boot-disk-provisioned-throughput flags.

Exemplo: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

API REST

É possível definir as IOPS e a capacidade de processamento provisionadas para nós de cluster com discos de inicialização do hiperdisco usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações mestre e worker.