SSDs locais do Managed Service for Apache Spark

Para complementar o disco de inicialização, é possível anexar unidades de estado sólido locais (SSDs locais) aos nós mestre, de worker primário e de worker secundário no cluster. Quando SSDs locais são fornecidos ao cluster, tanto o HDFS quanto os dados temporários, como as saídas de embaralhamento, usam os SSDs locais em vez do disco permanente de inicialização.

  • Os SSDs locais podem fornecer tempos de leitura e gravação mais rápidos do que o disco permanente (consulte Desempenho do SSD local).
  • O tamanho de 375 GB de cada SSD local é fixo, mas é possível anexar vários SSDs locais para aumentar o armazenamento SSD (consulte Sobre SSDs locais).
  • Cada SSD local é montado em /mnt/<id> nos nós do cluster do Serviço Gerenciado para Apache Spark.
  • Os SSDs locais usam ext4 como o sistema de arquivos padrão.

Usar SSDs locais

Console doGoogle Cloud

Crie um cluster e anexe SSDs locais aos nós:

  1. Abra a página Criar cluster do Serviço Gerenciado para Apache Spark.
  2. Clique em Configuração adicional para abrir a seção.
  3. Edite Workers primários e Workers secundários para definir as configurações de SSD local.
  4. Por padrão, as configurações do nó do driver (mestre) são as mesmas do worker primário. Em Configuração adicional, clique em Nó do driver para desmarcar a caixa de seleção Nó do driver padrão é o mesmo que o do worker primário e, em seguida, especifique as configurações do nó do driver.

Comando da CLI gcloud

Use o comando gcloud dataproc clusters create com as flags --num-master-local-ssds, --num-workers-local-ssds e --num-secondary-worker-local-ssds para anexar SSDs locais aos nós de trabalho mestre, primário e secundário do cluster.

Os SSDs locais podem ser anexados às VMs do Serviço Gerenciado para Apache Spark usando uma interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express) (consulte Desempenho do SSD local). A interface padrão de SSD local da VM do cluster do Serviço Gerenciado para Apache Spark é a SCSI. Use o comando gcloud dataproc clusters create com as flags --master-local-ssd-interface, --worker-local-ssd-interface e --secondary-worker-local-ssd-interface para especificar a interface do SSD local para os nós de trabalho mestre, primário e secundário.

Exemplo:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

API REST

Defina o campo numLocalSsds em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para anexar SSDs locais aos nós mestre, de worker primário e de worker secundário do cluster.

Os SSDs locais podem ser anexados às VMs do Serviço Gerenciado para Apache Spark usando uma interface SCSI (Small Computer System Interface) ou NVME (Non-Volatile Memory Express). Consulte Desempenho do SSD local. A interface padrão de SSD local da VM do cluster do Serviço Gerenciado para Apache Spark é a SCSI. Defina o campo localSsdInterface em masterConfig, workerConfig e secondaryWorkerConfig InstanceGroupConfig em uma solicitação de API cluster.create para especificar a interface "SCSI" ou "NVME" para anexar SSDs locais aos nós mestre, worker primário e worker secundário do cluster.