Nesta página, descrevemos como criar um cluster do Slurm de computação de alto desempenho (HPC) que usa o acesso remoto direto à memória (RDMA) com VMs H4D com recursos aprimorados de gerenciamento de clusters. Use a CLI gcloud e o Cluster Toolkit para configurar o cluster.
A série de máquinas H4D foi projetada especificamente para atender às necessidades de cargas de trabalho de HPC exigentes. A H4D oferece instâncias com maior escalonabilidade de carga de trabalho por meio da rede Cloud RDMA com capacidade de processamento de 200 Gbps. Para mais informações sobre os tipos de máquina H4D otimizados para computação no Google Cloud, consulte Série de máquinas H4D.
Antes de começar
Antes de criar um cluster do Slurm, se ainda não tiver feito isso, conclua as seguintes etapas:
- Escolha uma opção de consumo: a opção escolhida determina como você quer receber e usar os recursos de vCPU.
- Obter capacidade: obtenha capacidade para a opção de consumo selecionada.
- Verifique se você tem cota suficiente do Filestore ou do Google Cloud Managed Lustre:
é necessário ter cota suficiente do Filestore ou do Managed Lustre
na região e na zona de destino antes de implantar.
A cota mínima necessária depende do serviço de armazenamento e dos tipos de máquina
no cluster:
- Managed Lustre:
- A4X Max: requer um mínimo de 18.000 GiB de cota de capacidade de armazenamento e 9 GBps de cota de capacidade de processamento.
- A4X, A4, A3 Ultra, A3 Mega e A3 High: requer um mínimo de 36.000 GiB de cota de capacidade de armazenamento e 18 GBps de cota de capacidade de processamento.
- Filestore:
- A4X Max, A4X, A4, A3 Ultra e A3 Mega: requer um mínimo de 10 TiB (10.240 GiB) de cota de capacidade HIGH_SCALE_SSD (zonal).
- A3 High: requer um mínimo de 2,5 TiB (2.560 GiB) de cota de capacidade BASIC_SSD (padrão).
Para verificar a cota ou solicitar um aumento, consulte o seguinte:
- Para verificar a cota no seu projeto, consulte Ver cota específica da API.
- Se você não tiver cota suficiente, solicite um aumento de cota do Filestore ou solicite uma cota adicional do Managed Lustre.
- Managed Lustre:
- Instale o Cluster Toolkit: para provisionar clusters do Slurm, use a versão
v1.62.0ou mais recente do Cluster Toolkit.Para instalar o Cluster Toolkit, consulte Configurar o Cluster Toolkit.
Para saber mais, consulte Escolher uma opção de consumo e obter capacidade.
No console do Google Cloud , ative o Cloud Shell.
Na parte de baixo do console do Google Cloud , uma sessão do Cloud Shell é iniciada e exibe um prompt de linha de comando. O Cloud Shell é um ambiente shell com a CLI do Google Cloud já instalada e com valores já definidos para o projeto atual. A inicialização da sessão pode levar alguns segundos.
Configurar um bucket de armazenamento
Os blueprints de cluster usam módulos do Terraform para provisionar a infraestrutura em nuvem. Uma prática recomendada ao trabalhar com o Terraform é armazenar o estado remotamente em um arquivo com suporte a versões. Em Google Cloud, é possível criar um bucket do Cloud Storage com o controle de versões ativado.
Para criar esse bucket e ativar o controle de versões na CLI, execute os seguintes comandos:
gcloud storage buckets create gs://BUCKET_NAME \
--project=PROJECT_ID \
--default-storage-class=STANDARD --location=BUCKET_REGION \
--uniform-bucket-level-access
gcloud storage buckets update gs://BUCKET_NAME --versioning
Substitua:
BUCKET_NAME: um nome para o bucket do Cloud Storage que atende aos requisitos de nomenclatura de bucket.PROJECT_ID: o ID do projeto.BUCKET_REGION: qualquer local disponível.
Abra o diretório do Cluster Toolkit.
Verifique se você está no diretório do Cluster Toolkit executando o seguinte comando:
cd cluster-toolkit
Essa implantação de cluster requer o Cluster Toolkit v1.70.0 ou
mais recente. Para verificar sua versão, execute o seguinte comando:
./gcluster --version
Criar um arquivo de implantação
Crie um arquivo de implantação para especificar o bucket do Cloud Storage, definir nomes para sua rede e sub-rede e definir variáveis de implantação, como ID do projeto, região e zona.
Para criar um arquivo de implantação, siga as etapas para o tipo de máquina H4D:
Os parâmetros que você precisa adicionar ao arquivo de implantação dependem da opção de consumo que você está usando para a implantação. Selecione a guia que corresponde à opção de consumo que você quer usar.
Vinculada à reserva
Para criar o arquivo de implantação, use um editor de texto para criar um arquivo YAML chamado
h4d-slurm-deployment.yaml e adicione o conteúdo a seguir.
terraform_backend_defaults:
type: gcs
configuration:
bucket: BUCKET_NAME
vars:
deployment_name: DEPLOYMENT_NAME
project_id: PROJECT_ID
region: REGION
zone: ZONE
h4d_cluster_size: NUMBER_OF_INSTANCES
h4d_reservation_name: RESERVATION_NAME
Substitua:
BUCKET_NAME: o nome do bucket do Cloud Storage, que você criou na seção anterior.DEPLOYMENT_NAME: um nome para a implantação. Se você estiver criando vários clusters, selecione um nome exclusivo para cada um.PROJECT_ID: o ID do projeto.REGION: a região que tem as máquinas reservadas.ZONE: a zona em que você quer provisionar o cluster. Se você estiver usando uma opção de consumo baseada em reserva, as informações de região e zona foram fornecidas pela equipe de conta quando a capacidade foi entregue.NUMBER_OF_INSTANCES: o número de instâncias do Compute Engine que você quer para o cluster.RESERVATION_NAME: o nome da sua reserva.
Início flexível
Para criar o arquivo de implantação, use um editor de texto para criar um arquivo YAML chamado
h4d-slurm-deployment.yaml e adicione o conteúdo a seguir.
terraform_backend_defaults:
type: gcs
configuration:
bucket: BUCKET_NAME
vars:
deployment_name: DEPLOYMENT_NAME
project_id: PROJECT_ID
region: REGION
zone: ZONE
h4d_cluster_size: NUMBER_OF_INSTANCES
h4d_dws_flex_enabled: true
Substitua:
BUCKET_NAME: o nome do bucket do Cloud Storage, que você criou na seção anterior.DEPLOYMENT_NAME: um nome para a implantação. Se você estiver criando vários clusters, selecione um nome exclusivo para cada um.PROJECT_ID: o ID do projeto.REGION: a região em que você quer provisionar o cluster.ZONE: a zona em que você quer provisionar o cluster.NUMBER_OF_INSTANCES: o número de instâncias do Compute Engine que você quer para o cluster.
Essa implantação provisiona nós de computação estáticos,
o que significa que o cluster tem um número definido de nós em todos os momentos. Se você quiser ativar o escalonamento automático do cluster, use o arquivo examples/h4d/hpc-slurm-h4d.yaml e edite os valores de node_count_static e node_count_dynamic_max para que correspondam ao seguinte:
node_count_static: 0
node_count_dynamic_max: $(vars.h4d_cluster_size)
Spot
Para criar o arquivo de implantação, use um editor de texto para criar um arquivo YAML chamado
h4d-slurm-deployment.yaml e adicione o conteúdo a seguir.
terraform_backend_defaults:
type: gcs
configuration:
bucket: BUCKET_NAME
vars:
deployment_name: DEPLOYMENT_NAME
project_id: PROJECT_ID
region: REGION
zone: ZONE
h4d_cluster_size: NUMBER_OF_INSTANCES
h4d_enable_spot_vm: true
Substitua:
BUCKET_NAME: o nome do bucket do Cloud Storage, que você criou na seção anterior.DEPLOYMENT_NAME: um nome para a implantação. Se você estiver criando vários clusters, selecione um nome exclusivo para cada um.PROJECT_ID: o ID do projeto.REGION: a região em que você quer provisionar o cluster.ZONE: a zona em que você quer provisionar o cluster.NUMBER_OF_INSTANCES: o número de instâncias do Compute Engine que você quer para o cluster.
Provisionar um cluster do Slurm H4D
O Cluster Toolkit provisiona o cluster com base no arquivo de implantação que você criou na etapa anterior e no blueprint de cluster padrão. Para mais informações sobre o software instalado pelo blueprint, consulte saiba mais sobre as imagens personalizadas do Slurm.
No Cloud Shell, no diretório em que você instalou o Cluster Toolkit e criou o arquivo de implantação, é possível provisionar o cluster com o comando a seguir, que usa o arquivo de blueprint do H4D Slurm. Essa etapa leva de 20 a 30 minutos.
./gcluster deploy -d h4d-slurm-deployment.yaml examples/hpc-slurm-h4d/hpc-slurm-h4d.yaml --auto-approve
Conectar-se ao cluster do Slurm
Para acessar o cluster, faça login no nó de login do Slurm. Para fazer login, use o console do Google Cloud ou a Google Cloud CLI.
Console
Acesse a página Compute Engine > Instâncias de VM.
Localize o nó de login. Ele precisa ter um nome com o padrão
DEPLOYMENT_NAME+login-001.Na coluna Conectar do nó de login, clique em SSH.
gcloud
Para se conectar ao nó de login, siga estas etapas:
Identifique o nó de login usando o comando
gcloud compute instances list.gcloud compute instances list \ --zones=
ZONE\ --filter="name ~ login" --format "value(name)"Se a saída listar vários clusters do Slurm, será possível identificar o nó de login pelo
DEPLOYMENT_NAMEque você especificou.Use o comando
gcloud compute sshpara se conectar ao nó de login.gcloud compute ssh LOGIN_NODE \ --zone=
ZONE--tunnel-through-iapSubstitua:
ZONE: a zona em que as VMs do cluster estão localizadas.LOGIN_NODE: o nome do nó de login, que você identificou na etapa anterior.
Reimplante o cluster do Slurm.
Se você precisar aumentar o número de nós de computação ou adicionar novas partições ao cluster, talvez seja necessário atualizar as configurações do cluster do Slurm reimplantando-o.
Para reimplantar o cluster usando uma imagem atual, faça o seguinte:
Execute este comando:
./gcluster deploy -d h4d-slurm-deployment.yaml examples/h4d/h4d-slurm-deployment.yaml --only cluster-env,cluster --auto-approve -w
Esse comando é apenas para reimplantações em que uma imagem já existe. Ele apenas reimplanta o cluster e a infraestrutura de TI dele.
Destruir o cluster do Slurm
Para remover o cluster do Slurm e as instâncias dentro dele, siga estas etapas:
Desconecte-se do cluster, se ainda não tiver feito isso.
Antes de executar o comando de destruição, navegue até a raiz do diretório do Cluster Toolkit. Por padrão, DEPLOYMENT_FOLDER está localizado na raiz do diretório do Cluster Toolkit.
Para destruir o cluster, execute:
./gcluster destroy DEPLOYMENT_FOLDER --auto-approve
Substitua:
DEPLOYMENT_FOLDER: o nome da pasta de implantação. Geralmente, é o mesmo que DEPLOYMENT_NAME.
Quando a remoção do cluster for concluída, você verá uma mensagem semelhante a esta:
Destroy complete! Resources: xx destroyed.
Para saber como destruir a infraestrutura de forma limpa e ver instruções avançadas de implantação manual, consulte a pasta de implantação localizada na raiz do diretório do Cluster Toolkit: DEPLOYMENT_FOLDER/instructions.txt
A seguir
- Verificar o consumo de reserva
- Conferir a topologia das VMs
- Gerenciar eventos do host nas VMs
- Gerenciar eventos de host em todas as reservas
- Monitorar VMs no cluster do Slurm
- Reportar um host com falha