Este documento resume como criar um cluster para suas cargas de trabalho de IA no Hipercomputador de IA. Especificamente, este documento orienta você no processo e nas escolhas a serem feitas ao iniciar um cluster. Como alternativa à avaliação manual, você pode pedir ao Gemini no console Google Cloud para comparar as opções de consumo da sua carga de trabalho e do seu orçamento. Para mais informações, consulte Projetar infraestrutura de IA com o Compute Advisor.
Este documento pressupõe que você já conhece a terminologia usada com frequência para cargas de trabalho de IA e ML, como treinamento de modelo e inferência. Também pressupõe que você identificou a carga de trabalho de IA específica para a qual precisa determinar o tipo de máquina e as necessidades de capacidade ideais para sua implantação, por exemplo, pré-treinamento, ajuste fino ou inferência de modelo de fundação.
Iniciar um cluster
Para iniciar um cluster, siga estas etapas:
- Determine sua carga de trabalho e escolha um tipo de máquina
- Escolher uma opção de consumo e obter capacidade
- Escolher uma opção de implantação
- Escolher um orquestrador
- Escolher o sistema operacional e a imagem do cluster
- Crie seu cluster
- Provisionar armazenamento para sua carga de trabalho
Determine sua carga de trabalho e escolha um tipo de máquina
Selecione um tipo de máquina para sua carga de trabalho de IA. O Hipercomputador de IA aceita a criação de clusters para GPUs em cluster e GPUs gerais.
Para ajudar você a escolher, determine os requisitos da sua carga de trabalho e combine-os com o tipo de máquina e de GPU recomendados:
- GPUs em cluster: ideais para cargas de trabalho de grande escala e alto desempenho, como pré-treinamento de modelos de fundação, ajuste de modelos grandes e inferência em vários hosts.
- GPUs gerais: ideais para inferência e disponibilização convencionais, geração aumentada por recuperação (RAG) e treinamento de modelo e ajuste fino de modelos pequenos a médios econômicos.
Para corresponder sua carga de trabalho ao tipo de máquina recomendado, use esta tabela:
| Tipo de GPU | Carga de trabalho ou caso de uso | Tipos de máquina recomendados |
|---|---|---|
| GPU em cluster | Pré-treinamento de modelos de fundação e inferência em vários hosts | A4X Max (NVIDIA GB300)*, A4X (NVIDIA GB200)* |
| Treinamento de modelo grande, ajuste fino e inferência | A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141GB) | |
| Inferência e ajuste do modelo principal | A3 Mega (NVIDIA H100 80GB), A3 High (NVIDIA H100 80GB) | |
| GPU geral | Inferência e disponibilização de borda de alta capacidade de processamento | A3 Edge (NVIDIA H100 80GB) |
| Veiculação de alto desempenho em um único nó e ajuste fino em pequena escala | A2 (NVIDIA A100) | |
| Inferência de nível básico com custo otimizado | G4 (NVIDIA RTX PRO 6000), N1 (NVIDIA T4 ou V100) | |
| Inferência principal, RAG e treinamento de modelo pequenos a médios | G2 (NVIDIA L4) |
Para informações detalhadas sobre cada série de máquinas, consulte Sobre aceleradores de GPU.
Escolher uma opção de consumo e obter capacidade
Selecione uma opção de consumo para seus recursos de GPU com base no tipo de máquina escolhido e se você usa GPUs gerais ou em cluster.
Opções de consumo para GPUs gerais
| Opção de consumo | Disponível para | Ideal para | Como solicitar |
|---|---|---|---|
| Sob demanda | Todas as GPUs gerais. | Cargas de trabalho que não exigem capacidade garantida. | Crie uma instância de computação ou cluster e especifique o modelo de provisionamento padrão. Para instruções, consulte Criar instâncias de VM. Dica:para aumentar suas chances de conseguir capacidade geral de GPU, use o início flexível ou spot. |
| Reservas padrão e reservas adiantadas padrão | Todas as GPUs gerais. | Cargas de trabalho que exigem capacidade garantida imediatamente (reservas padrão) ou para uma data futura específica (reservas adiantadas padrão). | Crie uma reserva imediata ou uma solicitação de reserva adiantada. Para instruções, consulte Reservar capacidade. |
| Início flexível | Todos os tipos de máquina com GPU, exceto A4X Max e A4X. | Cargas de trabalho que exigem clusters densos e de curta duração, com prazo de até sete dias. Oferece alocação densa de recursos e até 53% de desconto nos tipos de máquinas compatíveis. Caso contrário, as taxas padrão sob demanda serão aplicadas. | Crie uma solicitação usando o Compute Engine, o Cluster Director, o Cluster Toolkit ou o GKE. Os recursos são provisionados assim que ficam disponíveis (o horário de início não é imediato). Para instruções, consulte Obter capacidade. |
| Spot | Todos os tipos de máquina com GPU, exceto A4X Max e A4X. | Cargas de trabalho tolerantes a falhas, em lote ou de curta duração. Oferece o maior desconto (entre 61% e 90%), mas os recursos de computação podem ser interrompidos a qualquer momento. | Crie instâncias ou pools de nós imediatamente usando o modelo de provisionamento spot. Para instruções, consulte Obter capacidade. |
Opções de consumo para GPUs em cluster
| Opção de consumo | Disponível para | Ideal para | Como solicitar |
|---|---|---|---|
| Reservas adiantadas para blocos de capacidade | Todos os tipos de máquina de GPUs em cluster e A3 Edge. | Cargas de trabalho que exigem estabilidade por um período prolongado, como pré-treinamento de modelos de fundação ou inferência de modelos de fundação em vários hosts. Esse método de reserva oferece alocação densa de recursos e um pool de Hyperdisk opcional, além de descontos para vCPUs, memória, GPUs, discos SSD locais e pools de Hyperdisk se você reservar recursos por 365 dias ou mais. | Solicite recursos à equipe da sua Conta do Google para uma data e hora futuras e por um período de 90 dias ou mais. |
| Reservas adiantadas no modo de calendário | Todas as GPUs em cluster, exceto A4X Max e A4X. | Cargas de trabalho que são executadas por até 90 dias e exigem estabilidade, como pré-treinamento ou ajuste fino de modelos. Oferece alocação densa de recursos e um desconto de até 53%. | Crie uma solicitação de reserva de autoatendimento para uma data e hora futuras. O Google Cloud precisa aprovar a solicitação. Para instruções, consulte Reservar capacidade. |
| Início flexível | Todos os tipos de máquina com GPU, exceto A4X Max e A4X. | Cargas de trabalho que exigem clusters densos e de curta duração, com prazo de até sete dias. Oferece alocação densa de recursos e até 53% de desconto nos tipos de máquina compatíveis. Caso contrário, as taxas padrão sob demanda serão aplicadas. | Crie uma solicitação usando o Compute Engine, o Cluster Director, o Cluster Toolkit ou o GKE. Os recursos são provisionados assim que ficam disponíveis (o horário de início não é imediato). Para instruções, consulte Obter capacidade. |
| Spot | Todos os tipos de máquina com GPU, exceto A4X Max e A4X. | Cargas de trabalho tolerantes a falhas, em lote ou de curta duração. Oferece o maior desconto (entre 61% e 90%), mas os recursos de computação podem ser interrompidos a qualquer momento. | Crie instâncias ou pools de nós imediatamente usando o modelo de provisionamento spot. Para instruções, consulte Obter capacidade. |
Escolher uma opção de implantação
Dependendo do nível de controle que você precisa sobre a implantação do cluster, escolha entre as seguintes opções:
- Implantação altamente gerenciada:os serviços gerenciados automatizam a configuração, a orquestração e a configuração dos recursos de computação, rede e armazenamento.
- Menos gerenciamento, mais controle de implantação:você cria e gerencia manualmente suas VMs, ambientes personalizados e camadas de orquestração.
Totalmente gerenciado
As opções de implantação altamente gerenciadas automatizam a configuração e a orquestração dos recursos de computação, rede e armazenamento, o que reduz a sobrecarga operacional do gerenciamento de clusters. Para implantar e configurar sua infraestrutura, use o Cluster Director, o Cluster Toolkit ou o GKE.
Cluster Director: um produto doGoogle Cloud que automatiza a configuração e implantação complexas de clusters, ajudando você a configurar recursos de computação, rede e armazenamento para maximizar o desempenho e minimizar os tempos de inatividade. O Cluster Director foi projetado para administradores de TI e pesquisadores de IA que querem evitar o trabalho de gerenciar um cluster e, em vez disso, se concentrar na execução das cargas de trabalho.
Cluster Toolkit: uma ferramenta de código aberto oferecida pelo Google que simplifica a configuração e a implantação de clusters para o GKE ou o Compute Engine. Você usa modelos predefinidos para implantar configurações comuns, como tipos de máquina A4 com Slurm. É possível modificar blueprints para personalizar implantações e sua pilha de software.
GKE: um serviço gerenciado do Kubernetes e uma plataforma de orquestração de contêineres de código aberto. O GKE oferece recursos como escalonamento automático e alta disponibilidade. Ele também pode orquestrar aplicativos em contêineres, oferecer suporte a hardware especializado e é compatível com o ecossistema Google Cloud, o que o torna adequado para implantação e gerenciamento de cargas de trabalho de IA ou ML. É possível implantar clusters do GKE usando o GKE diretamente ou o Cluster Toolkit.
Menos gerenciamento, mais controle
Para ter um controle mais granular sobre seus clusters e o software instalado neles, crie um cluster do Compute Engine usando grupos gerenciados de instâncias (MIGs) do Compute Engine ou criando instâncias em massa. Em seguida, instale manualmente qualquer software essencial necessário nas instâncias.
Escolher um orquestrador
Um orquestrador automatiza o gerenciamento dos seus clusters. Com um orquestrador, não é preciso gerenciar cada instância de computação no cluster. Um orquestrador, como o Slurm ou o GKE, processa tarefas como enfileiramento de jobs, alocação de recursos, escalonamento automático (no caso do GKE) e outras tarefas diárias de gerenciamento de clusters.
Slurm: é um orquestrador de código aberto usado com frequência para cargas de trabalho de HPC, IA ou ML. Para uma experiência gerenciada do Slurm, use o Cluster Director. Para usar o Slurm de forma nativa, use o Cluster Toolkit (que oferece modelos de cluster que instalam automaticamente o Slurm nos seus clusters) ou instale manualmente o Slurm em um cluster do Compute Engine.
GKE: o GKE é um serviço gerenciado criado com base no Kubernetes, uma plataforma de orquestração de contêineres de código aberto. O GKE é ideal para implantar e gerenciar cargas de trabalho de IA ou ML devido à capacidade de orquestrar aplicativos conteinerizados, ao suporte de hardware especializado e ao lugar no ecossistema do Google Cloud. É possível implantar clusters do GKE usando o GKE diretamente ou o Cluster Toolkit.
Usar um orquestrador próprio: para usar outros orquestradores, use clusters do Compute Engine. Criar um cluster do Compute Engine é a opção menos gerenciada oferecida no Google Cloud. Isso significa que você é responsável por configurar, manter e atualizar suas instâncias.
Escolher a imagem do sistema operacional
A imagem que você deve usar depende da infraestrutura de GPU que está usando (GPUs em cluster ou GPUs gerais) e de como você planeja implantar seus clusters (GKE, Slurm ou Compute Engine). Para clusters do GKE, use o Container-Optimized OS. Para clusters do Compute Engine e do Slurm, selecione uma imagem de sistema operacional otimizada para aceleradores, como GPUs. Além disso, é possível selecionar uma imagem de contêiner da camada de software de aprendizado profundo (DLSL, na sigla em inglês) para sua carga de trabalho.
Para informações detalhadas, consulte Imagens do hipercomputador de IA.
Imagens para clusters do GKE
Para criar clusters do GKE, use as imagens padrão do SO do contêiner nos modos Standard e Autopilot. No entanto, no modo Standard, você também pode usar outras imagens disponíveis, como o Ubuntu.
Se você usar o Cluster Toolkit para implantar seu cluster, só poderá usar imagens do SO do contêiner, já que são as imagens integradas aos modelos do cluster. Para mais informações sobre cada imagem de nó, consulte Imagens de nó na documentação do GKE.
O GKE também oferece imagens de contêiner da camada de software de aprendizado profundo (DLSL, na sigla em inglês) que instalam pacotes como NVIDIA CUDA e NCCL, além de frameworks de ML, como o PyTorch, oferecendo um ambiente pronto para uso para cargas de trabalho de aprendizado profundo. Essas imagens de contêiner DLSL pré-criadas são testadas e verificadas para funcionar sem problemas em clusters do GKE.
Imagens de SO para clusters do Compute Engine
O Hipercomputador de IA oferece imagens otimizadas para executar cargas de trabalho de IA e ML usando o Compute Engine. Escolha o SO com que você tem mais familiaridade:
- Acelerador do Rocky Linux 9
- Acelerador do Rocky Linux 8
- Acelerador do Ubuntu 24.04 LTS
- Acelerador do Ubuntu 22.04 LTS
Se você usa o Cluster Toolkit, essas imagens de acelerador já estão agrupadas em blueprints do Cluster Toolkit, porque o Cluster Toolkit cria imagens personalizadas que estendem as imagens do SO do acelerador Ubuntu LTS.
Para mais informações sobre cada imagem do SO, consulte Detalhes do sistema operacional na documentação do Compute Engine.
Crie o cluster
Depois de analisar o processo de criação do cluster e tomar decisões preliminares para sua carga de trabalho, crie o cluster usando uma destas opções:
- Crie um cluster do GKE:
- Crie um cluster do Slurm:
- Criar instâncias de VM (únicas, em massa ou MIGs)
Provisionar armazenamento para sua carga de trabalho
Escolha um serviço de armazenamento para provisionar com base nos requisitos de desempenho, custo e arquitetura de armazenamento.