Criar um cluster Slurm totalmente gerenciado com duas VMs A4

Criar um cluster Slurm totalmente gerenciado com duas VMs A4

Este guia de início rápido explica como criar e se conectar a um cluster do Slurm usando o Cluster Director. O cluster criado usa duas instâncias de máquina virtual (VM) A4, projetadas para ajudar o cluster do Slurm a processar com eficiência cargas de trabalho de treinamento e inferência de modelos em grande escala.

Importante :para concluir este início rápido, você precisa ter recursos suficientes para criar duas VMs A4. Para conseguir esses recursos, reserve recursos para uma data e hora futuras ou crie VMs A4 como VMs de início flexível ou VMs do Spot. Para mais informações, consulte Escolher uma opção de consumo.

O Cluster Director é um serviço gerenciado que simplifica e automatiza a implantação de clusters, reduzindo o overhead operacional e permitindo que você se concentre na execução da sua carga de trabalho. Se você quiser mais controle sobre a implantação e o gerenciamento do cluster, crie um cluster Slurm usando o Cluster Toolkit.

---

Para seguir as instruções detalhadas desta tarefa diretamente no console do Google Cloud , clique em Orientação:

Orientações

---

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Ative as APIs Hypercompute Cluster, API Compute Engine, API Filestore, Google Cloud Managed Lustre, API Cloud Logging e API Cloud Monitoring:

   Ative as APIs
2. Verifique se o projeto e a conta de serviço padrão do Compute Engine têm os seguintes papéis do Identity and Access Management (IAM):

   • Para conseguir as permissões necessárias a fim de concluir o guia de início rápido, peça ao administrador para conceder a você os seguintes papéis do IAM:

     • Para criar e gerenciar um cluster: Editor do Cluster Director (roles/hypercomputecluster.editor) no seu projeto
     • Para criar e gerenciar VMs em um cluster: Admin da instância do Compute (v1) (roles/compute.instanceAdmin.v1) no seu projeto
     • Para efetivar uma reserva de projeto único: Admin da instância do Compute (v1) (roles/compute.instanceAdmin.v1) no seu projeto
     • Para consumir uma reserva compartilhada: Administrador de instâncias do Compute (v1) (roles/compute.instanceAdmin.v1) no projeto proprietário e em qualquer projeto consumidor em que você queira consumir a reserva
     • Para se conectar ao nó de login em um cluster:
       • Login do SO do Compute (roles/compute.osLogin) no seu projeto
       • Usuário do túnel protegido pelo IAP (roles/iap.tunnelResourceAccessor) no projeto

     Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

     Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

   • Para conseguir as permissões necessárias a fim de concluir o guia de início rápido, peça ao administrador para conceder a você os seguintes papéis do IAM na conta de serviço padrão do Compute Engine:

     • Para criar um cluster: Usuário da conta de serviço (roles/iam.serviceAccountUser)
     • Para gerenciar recursos em um cluster:
       • Gravador de registros (roles/logging.logWriter)
       • Gravador de métricas do Monitoring (roles/monitoring.metricWriter)
       • Leitor de objetos do Storage (roles/storage.objectViewer)

3. Se a organização em que seu projeto está inserido tiver uma política de imagem confiável (constraints/compute.trustedImageProjects), verifique se o projeto clusterdirector-public-images está incluído na lista de projetos permitidos. Para conferir as políticas de imagem confiável da sua organização, consulte Definir restrições de acesso a imagens.

Custos

Neste guia de início rápido, usamos os seguintes recursos faturáveis do Google Cloud :

• Compute Engine:

  • Duas VMs com tipos de máquina A4

  • Um volume de disco permanente para o nó de login do Slurm com 100 GB

  • Um volume do Hyperdisk Balanced do Google Cloud com 100 GB para as VMs A4

• Filestore: uma instância do Filestore com 10 TiB (10.240 GiB)

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.

Criar um cluster do Slurm

Para criar um cluster do Slurm, siga estas etapas:

1. No console Google Cloud , acesse a página Cluster Director.

   Acessar o Cluster Director

2. Clique em Criar um cluster.

3. Na caixa de diálogo exibida, clique em Configuração passo a passo. A página Criar cluster é exibida.

4. No campo Nome do cluster, insira cluster001.

5. Na seção Computação, clique em Configurar recursos. No painel Adicionar configuração de recurso que aparece, siga estas etapas:

   1. Na lista Tipo de GPU, selecione NVIDIA B200 180 GB.

   2. No campo Número de instâncias, insira 2.

   3. Na seção Opções de consumo, selecione a opção que você quer usar para receber recursos.

   4. Na seção Local, especifique a Região e a Zona em que você quer criar as VMs A4 ou onde está a reserva que você quer usar para criar as VMs.

   5. Clique em Concluído.

6. No menu de navegação, clique em Armazenamento.

7. Na seção Armazenamento, clique em Editar configuração de armazenamento. No painel Adicionar configuração de armazenamento que aparece, siga estas etapas:

   1. Na seção Capacidade, selecione 10 a 100 TiB, com incrementos de 2,5 TiB.

   2. Clique em Concluído.

8. Clique em Criar. A página Clusters é exibida.

   A criação do cluster pode levar algum tempo. O tempo de conclusão depende do número de VMs solicitadas e da disponibilidade de recursos na zona das VMs. Se os recursos solicitados não estiverem disponíveis, o Cluster Director vai manter a solicitação de criação até que eles fiquem disponíveis.

Ver a solicitação de criação de cluster

Para analisar a solicitação de criação do cluster, siga estas etapas:

1. Na tabela Clusters, na coluna Nome, clique em cluster001. Uma página com os detalhes do cluster vai aparecer, e a guia Detalhes será selecionada.

2. Na seção Compute, localize a linha Status. Quando o Hipercomputador de IA definir o valor como Pronto, avance para a próxima seção.

Conectar-se ao cluster por SSH

Para se conectar ao cluster por SSH, siga estas etapas:

1. Clique na guia Nós.

2. Na tabela Nós de login, encontre a linha que contém o nó cluster001-login-001. Na mesma linha, na coluna Conectar, clique no botão SSH. A janela SSH no navegador vai aparecer.

3. Se for solicitado, clique em Autorizar. A conexão com o cluster pode levar algum tempo para ser concluída. Quando o terminal estiver pronto, siga para a próxima seção.

   Observação: se você encontrar erros ao se conectar ao cluster, consulte Solução de problemas de erros de SSH.

Executar jobs de amostra

Na janela SSH no navegador, conclua as seguintes etapas:

1. Para verificar se o Slurm está em execução, execute o seguinte comando:

   sinfo
   

2. Para enviar um job de teste que retorna o nome do host do nó, execute o seguinte comando:

   srun hostname
   

3. Para enviar um job em lote que fica inativo por 30 segundos, execute o seguinte comando:

   sbatch --wrap="sleep 30"
   

4. Para verificar o status dos jobs na fila, execute o seguinte comando:

   squeue
   

5. Para conferir os dados de faturamento dos jobs, execute o seguinte comando:

   sacct
   

Você criou um cluster do Slurm, se conectou a ele e executou jobs de amostra. Se o Hipercomputador de IA ainda não tiver criado as VMs A4, aguarde a criação ou modifique ou exclua o cluster para evitar cobranças desnecessárias.

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

Excluir o projeto

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

Cuidado: a exclusão de um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto atual para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos nele.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um ID do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja explorar várias arquiteturas, tutoriais e guias de início rápido, a reutilização de projetos pode evitar que você exceda limites da cota.

1. No console Google Cloud , acesse a página Gerenciar recursos.

   Acessar "Gerenciar recursos"

2. Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
3. Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Excluir seu cluster

Para excluir o cluster e os recursos associados criados como parte deste guia de início rápido, siga estas etapas:

1. Na página que contém os detalhes do cluster, clique em Excluir.

2. Na caixa de diálogo que aparece, digite cluster001 e clique em Excluir para confirmar.

A seguir

• Verificar o consumo de reserva

• Conferir a topologia do cluster

• Modificar um cluster

• Gerenciar a integridade do cluster