As GPUs em cluster são otimizadas para cargas de trabalho de inteligência artificial (IA) e machine learning (ML) que priorizam o treinamento distribuído em grande escala, a inferência de vários hosts e tarefas complexas de computação de alto desempenho (HPC).
As GPUs em cluster permitem que as equipes implantem e escalonem milhares de aceleradores interconectados como um único sistema com acoplamento rígido usando redes especializadas e manutenção sincronizada. Eles são ideais para cargas de trabalho que exigem computação, memória e sincronização de rede de alta velocidade extremas. Os casos de uso comuns incluem o pré-treinamento de modelos de fundação com trilhões de parâmetros, a disponibilização do modelo de fronteira e simulações para descoberta de medicamentos.
Principais características das GPUs em cluster
- Manutenção sincronizada: Google Cloud atualiza todos os nós do cluster simultaneamente, impedindo que a reinicialização de um único nó interrompa um job.
- Monitoramento de integridade automatizado: o sistema identifica proativamente atrasos e monitora falhas de hardware ou corrupção silenciosa de dados.
- Substituição proativa de nós: o sistema remove e reprograma VMs com desempenho insatisfatório em máquinas íntegras de um pool de reserva.
- Topologia alinhada por rails: uma topologia alinhada por rails isola o tráfego entre GPUs da comunicação padrão do host para ajudar a garantir um desempenho sem instabilidade para coordenação massiva de vários nós.
- Protocolos avançados: essas séries de máquinas são compatíveis com interconexões de alta largura de banda, incluindo GPUDirect RDMA (com base em RoCE).
Famílias de GPUs em cluster e especificações técnicas
Confira as cargas de trabalho e as especificações de hardware da série de máquinas premium de GPU em cluster nestas tabelas. Para treinamento em exaescala, use as séries A4X ou A3 Ultra.
Séries A4X Max e A4X
Se você estiver treinando modelos de fundação em exaescala ou executando simulações de computação de alto desempenho (HPC) bare metal altamente complexas, use as séries de máquinas A4X Max ou A4X. Essas séries contam com os superchips NVIDIA GB300 Grace Blackwell Ultra para lidar com demandas extremas de computação e memória.
A4X Max (Bare Metal)
Os tipos de máquina A4X Max
usam os superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) e
são ideais para treinamento e disponibilização de modelos de fundação. Os tipos de máquina A4X Max estão disponíveis
como instâncias bare metal.
A A4X Max é uma plataforma de exaescala baseada no NVIDIA GB300 NVL72. Cada máquina tem dois soquetes com CPUs NVIDIA Grace com núcleos Arm Neoverse V2. Essas CPUs estão conectadas a quatro GPUs NVIDIA B300 Blackwell com comunicação rápida entre chips (NVLink-C2C). Para informações sobre as limitações de tipo de máquina, consulte Limitações do A4X Max e do A4X.
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA GB300 | Memória da GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12.000 | 6 | 3.600 | 4 | 1.116 |
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
A4X
Os tipos de máquina A4X usam superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) e são ideais para treinamento e disponibilização de modelos de fundação.
A A4X é uma plataforma de exaescala baseada no NVIDIA GB200 NVL72. Cada máquina tem dois soquetes com CPUs NVIDIA Grace com núcleos Arm Neoverse V2. Essas CPUs estão conectadas a quatro GPUs NVIDIA B200 Blackwell com comunicação rápida entre chips (NVLink-C2C). Para informações sobre as limitações de tipo de máquina, consulte Limitações do A4X Max e do A4X.
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA GB200 | Memória da GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12.000 | 6 | 2.000 | 4 | 744 |
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Série A4
Se o objetivo é treinar modelos de fundação de última geração que exigem uma escala de processamento paralelo massiva, use a série de máquinas A4 para otimizar o tempo de processamento e maximizar a capacidade de processamento do hardware.
Os tipos de máquina A4
têm
GPUs NVIDIA B200 Blackwell
(nvidia-b200) anexadas e são ideais para treinamento e disponibilização de modelos de fundação. Para informações sobre as limitações de tipo de máquina, consulte
Limitações da A4.
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA B200 Blackwell | Memória da GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3.968 | 12.000 | 10 | 3.600 | 8 | 1,440 |
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Série A3 (Ultra, Mega e High com 8 GPUs)
Se você precisar executar treinamentos distribuídos em grande escala ou disponibilizar modelos de fronteira em vários hosts com tabelas de conjuntos de dados grandes, use a série de máquinas A3 para minimizar a latência de rede entre hosts.
A3 Ultra
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA H200 | Memória da GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2.952 | 12.000 | 10 | 3.600 | 8 | 1128 |
A3 Mega
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA H100 | Memória da GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1.872 | 6.000 | 9 | 1.800 | 8 | 640 |
A3 High
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA H100 | Memória da GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1.500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3.000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1.872 | 6.000 | 5 | 1.000 | 8 | 640 |
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Aquisição de capacidade
A aquisição de capacidade de computação para GPUs em cluster requer coordenação para gerenciar a oferta e a demanda de aceleradores de alto desempenho. Como esses recursos estão fisicamente localizados em malhas de rede especializadas, é necessário solicitá-los por meio de fluxos de trabalho gerenciados.
É possível reservar capacidade por meio da equipe de conta ou usar reservas adiantadas e o Dynamic Workload Scheduler.
A seguir
- Para saber como adquirir capacidade, consulte Opções de consumo.
- Para avaliar os requisitos de infraestrutura, consulte Escolher uma infraestrutura.
- Para planejar sua topologia de rede, consulte Requisitos de rede de GPU para ambientes em cluster.
- Para reservar recursos de computação, consulte Reservar capacidade.