Selecione o disco permanente padrão, SSD, equilibrado Persistent Disk, ou Google Cloud Hyperdisk balanced como discos de inicialização para nós de cluster do Managed Service for Apache Spark.
Opções de tipo de disco de inicialização:
É possível selecionar um disco permanente padrão, SSD ou equilibrado como disco de inicialização para nós de cluster gerenciador (mestre), worker primário e worker secundário nodes.
É possível selecionar o hyperdisk equilibrado como disco de inicialização para nós gerenciador (mestre) e worker primário. O Managed Service for Apache Spark define automaticamente o tipo de disco de inicialização do worker secundário como hyperdisk equilibrado quando o tipo de disco de inicialização do worker primário é definido como hyperdisk equilibrado.
O tipo de disco de inicialização permanente padrão para o gerenciador de clusters (mestre) e os nós de trabalho primário do Managed Service for Apache Spark é padrão (pd-standard). Se o tipo de máquina da VM oferecer suporte apenas ao como disco de inicialização, o disco de inicialização padrão será (hyperdisk-balanced). O tipo de disco de inicialização permanente padrão para nós de trabalho secundário do cluster é o tipo de disco de inicialização permanente do nó de trabalho primário.
Selecionar tipos de disco de inicialização permanente para nós de cluster
É possível selecionar o tipo de disco de inicialização permanente ao criar um cluster usando o Google Cloud console, a Google Cloud CLI ou a API Managed Service for Apache Spark.
Console
É possível criar um cluster e selecionar tipos de disco de inicialização de nós de cluster no painel Configurar nós na página do Managed Service for Apache Spark Criar um cluster do Google Cloud console.
CLI gcloud
É possível criar um cluster e selecionar tipos de disco de inicialização de nós de cluster usando o
comando gcloud dataproc clusters create
com as flags --master-boot-disk-type,
--worker-boot-disk-type e
--secondary-worker-boot-disk-type.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
API REST
É possível definir um valor de pd-standard, pd-ssd,
pd-balanced, ou hyperdisk-balanced no
InstanceGroupConfig.DiskConfig.bootDiskType
campo em masterConfig, workerConfig, e
secondaryWorkerConfig como parte de uma
cluster.create
solicitação de API.
Configurações do Hyperdisk
Ao criar um cluster com um volume Hyperdisk Balanced como disco de inicialização para um nó de cluster do Managed Service for Apache Spark, é possível definir o IOPS e a capacidade de processamento provisionados.
Console
É possível definir o IOPS e a capacidade ou aceitar os valores padrão no painel Configurar nós na página Criar um cluster do Managed Service for Apache Spark.
CLI gcloud
É possível definir o IOPS provisionado e a capacidade provisionada para nós de cluster com os
discos de inicialização hyperdisk-balanced usando o
gcloud dataproc clusters create
comando --master-boot-disk-provisioned-iops,
--worker-boot-disk-provisioned-iops,
--master-boot-disk-provisioned-throughput e
as flags --worker-boot-disk-provisioned-throughput.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
API REST
É possível definir o IOPS provisionado e a capacidade provisionada para nós de cluster com
discos de inicialização do Hyperdisk usando os campos InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops e InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput para
as configurações do gerenciador (mestre) e do worker.