Para complementar o disco de inicialização, é possível anexar unidades de estado sólido locais (SSDs locais) aos nós mestre, de worker primário e de worker secundário no cluster. Quando SSDs locais são fornecidos ao cluster, tanto o HDFS quanto os dados temporários, como as saídas de embaralhamento, usam os SSDs locais em vez do disco permanente de inicialização.
- Os SSDs locais podem fornecer tempos de leitura e gravação mais rápidos do que o disco permanente (consulte Desempenho do SSD local).
- O tamanho de 375 GB de cada SSD local é fixo, mas é possível anexar vários SSDs locais para aumentar o armazenamento SSD (consulte Sobre SSDs locais).
- Cada SSD local é montado em
/mnt/<id>nos nós do cluster do Serviço Gerenciado para Apache Spark. - Os SSDs locais usam
ext4como o sistema de arquivos padrão.
Usar SSDs locais
Console doGoogle Cloud
Crie um cluster e anexe SSDs locais aos nós:
- Abra a página Criar cluster do Serviço Gerenciado para Apache Spark.
- Clique em Configuração adicional para abrir a seção.
- Edite Workers primários e Workers secundários para definir as configurações de SSD local.
- Por padrão, as configurações do nó do driver (mestre) são as mesmas do worker primário. Em Configuração adicional, clique em Nó do driver para desmarcar a caixa de seleção Nó do driver padrão é o mesmo que o do worker primário e, em seguida, especifique as configurações do nó do driver.
Comando da CLI gcloud
Use o comando
gcloud dataproc clusters create
com as flags --num-master-local-ssds,
--num-workers-local-ssds e
--num-secondary-worker-local-ssds para anexar SSDs locais
aos nós de trabalho mestre, primário e secundário
do cluster.
Os SSDs locais podem ser anexados às VMs do Serviço Gerenciado para Apache Spark usando uma interface SCSI
(Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (consulte
Desempenho do SSD local).
A interface padrão de SSD local da VM do cluster do Serviço Gerenciado para Apache Spark é a SCSI. Use o comando
gcloud dataproc clusters create
com as flags --master-local-ssd-interface,
--worker-local-ssd-interface e
--secondary-worker-local-ssd-interface
para especificar a interface do SSD local para os nós de trabalho mestre, primário e secundário.
Exemplo:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
API REST
Defina o campo
numLocalSsds
em masterConfig, workerConfig e
secondaryWorkerConfig
InstanceGroupConfig
em uma solicitação de API
cluster.create
para anexar SSDs locais aos nós mestre, de worker primário e
de worker secundário do cluster.
Os SSDs locais podem ser anexados às VMs do Serviço Gerenciado para Apache Spark usando uma interface SCSI
(Small Computer System Interface) ou NVME (Non-Volatile Memory Express). Consulte
Desempenho do SSD local.
A interface padrão de SSD local da VM do cluster do Serviço Gerenciado para Apache Spark é a SCSI. Defina o campo
localSsdInterface
em masterConfig, workerConfig e
secondaryWorkerConfig
InstanceGroupConfig
em uma solicitação de API
cluster.create
para especificar a interface "SCSI" ou "NVME" para anexar SSDs locais aos nós mestre,
worker primário e worker secundário do cluster.