Discos de inicialização do Dataproc

Selecione o disco permanente padrão, SSD, equilibrado Persistent Disk, ou Google Cloud Hyperdisk Balanced como discos de inicialização para nós de cluster do Dataproc.

Selecionar tipos de disco permanente de inicialização para nós de cluster

É possível selecionar o tipo de disco permanente de inicialização ao criar um cluster usando o Google Cloud console, a CLI do Google Cloud ou a API Dataproc.

Console

É possível criar um cluster e selecionar um disco permanente padrão, SSD, equilibrado, ou Hyperdisk equilibrado para nós de cluster de gerenciador (mestre), worker primário e worker secundário no painel Configurar nós da página Criar um cluster do Dataproc do Google Cloud console.

CLI da gcloud

É possível criar um cluster e selecionar um disco permanente de inicialização padrão, SSD, equilibrado, ou Hyperdisk equilibrado para nós de cluster de gerenciador (mestre), worker primário e worker secundário usando o comando gcloud dataproc clusters create com as sinalizações --master-boot-disk-type, --worker-boot-disk-type e --secondary-worker-boot-disk-type.

O tipo de disco permanente de inicialização padrão para o gerenciador de cluster do Dataproc (mestre) e nós de worker primário é pd-standard. Se o tipo de máquina da VM oferecer suporte apenas ao Hyperdisk equilibrado como disco de inicialização, o disco de inicialização padrão será hyperdisk-balanced. O tipo de disco permanente de inicialização padrão para nós de worker secundário do cluster é o tipo de disco permanente de inicialização do nó de worker primário.

É possível transmitir um valor de pd-standard, pd-ssd, pd-balanced, ou hyperdisk-balanced para as --master-boot-disk-type, --worker-boot-disk-type, e --secondary-worker-boot-disk-type sinalizações. Qualquer um dos valores de tipo de disco válidos pode ser definido em qualquer tipo de nó de cluster.

Exemplo:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    --secondary-worker-boot-disk-type=pd-standard \
    other args ...

p

É possível definir o tamanho dos discos permanentes de inicialização usando as --master-boot-disk-size, --worker-boot-disk-size, e --secondary-worker-boot-disk-size sinalizações.

API REST

O tipo de disco de inicialização padrão para o gerenciador de cluster do Dataproc (mestre) e nós de worker primário é pd-standard. Se o tipo de máquina da VM oferecer suporte apenas ao Hyperdisk equilibrado como disco de inicialização, o disco de inicialização padrão será hyperdisk-balanced. O tipo de disco de inicialização padrão para nós de worker secundário é o tipo de disco de inicialização do nó de trabalho primário.

É possível definir um valor de pd-standard, pd-ssd, pd-balanced, ou hyperdisk-balanced no InstanceGroupConfig.DiskConfig.bootDiskType campo em masterConfig, workerConfig, e secondaryWorkerConfig como parte de uma cluster.create solicitação de API. Qualquer um dos valores de tipo de disco de inicialização válidos pode ser definido em qualquer tipo de nó de cluster.

Observação: defina o tamanho do disco de inicialização por nó usando o campo InstanceGroupConfig.DiskConfig.bootDiskSizeGb `InstanceGroupConfig.DiskConfig.bootDiskSizeGb` na configuração do mestre, worker ou worker secundário.

Configurações do Hyperdisk

Ao criar um cluster com um volume equilibrado do Hyperdisk como disco de inicialização para um nó de cluster do Dataproc, é possível definir o IOPS e a capacidade provisionados.

Console

O Hyperdisk equilibrado é selecionado como o tipo de disco de inicialização primário padrão para nós de cluster de gerenciador (mestre) e worker primário no painel Configurar nós da página Criar um cluster do Dataproc do Google Cloud console. É possível definir o IOPS e a capacidade ou aceitar os valores padrão.

CLI da gcloud

É possível definir o IOPS provisionado e a capacidade provisionada para nós de cluster com os discos de inicialização do Hyperdisk equilibrado usando o comando gcloud dataproc clusters create --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput e as sinalizações --worker-boot-disk-provisioned-throughput.

Exemplo:

  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

Os workers secundários são configurados com as configurações de disco de inicialização do worker primário.

API REST

É possível definir o IOPS provisionado e a capacidade provisionada para nós de cluster com discos de inicialização do Hyperdisk usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para as configurações de gerenciador (mestre) e worker.