Tipos de máquina de GPU

Este documento descreve as séries de máquinas com GPU compatíveis com o AI Hypercomputer. É possível criar instâncias e clusters do Compute Engine que usam essas séries de máquinas para executar cargas de trabalho de inteligência artificial (IA), machine learning (ML) e computação de alto desempenho (HPC).

Para usar GPUs no Hipercomputador de IA, é possível usar a maioria das séries de máquinas da família otimizada para aceleradores. Cada série de máquinas na família de máquinas com otimização para aceleradores usa um modelo de GPU específico. Para mais informações sobre a família de máquinas otimizada para aceleradores, consulte Família de máquinas otimizada para aceleradores.

A seção a seguir descreve as séries de máquinas otimizadas para aceleradores compatíveis com o AI Hypercomputer.

Séries A4X Max e A4X

Atenção: o Contrato de nível de serviço (SLA) do Compute Engine não se aplica às séries de máquinas A4X Max e A4X.

Esta seção descreve as configurações disponíveis para as séries de máquinas A4X Max e A4X. Para mais informações sobre essas séries de máquinas, consulte Séries de máquinas A4X e A4X Max otimizadas para aceleradores na documentação do Compute Engine.

A4X Max (bare metal)

Os tipos de máquina A4X Max usam superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) e são ideais para treinamento e disponibilização de modelos de fundação. Os tipos de máquina A4X Max estão disponíveis como instâncias bare metal.

A A4X Max é uma plataforma de exaescala baseada em NVIDIA GB300 NVL72. Cada máquina tem dois soquetes com CPUs NVIDIA Grace e núcleos Arm Neoverse V2. Essas CPUs estão conectadas a quatro GPUs NVIDIA B300 Blackwell com comunicação rápida de chip para chip (NVLink-C2C).

Observação:para começar a usar os tipos de máquina A4X Max, entre em contato com sua equipe de conta.

						Superchips NVIDIA GB300 Grace Blackwell Ultra conectados
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12.000	6	3.600	4	1.116

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
³A memória da GPU é a memória em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A4X

Os tipos de máquina A4X usam superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) e são ideais para treinamento e disponibilização de modelos de fundação.

A A4X é uma plataforma de exaescala baseada em NVIDIA GB200 NVL72. Cada máquina tem dois soquetes com CPUs NVIDIA Grace e núcleos Arm Neoverse V2. Essas CPUs estão conectadas a quatro GPUs NVIDIA B200 Blackwell com comunicação rápida chip a chip (NVLink-C2C).

Observação:ao provisionar instâncias A4X, é necessário reservar capacidade para criar instâncias e clusters. Em seguida, é possível criar instâncias que usam os recursos e serviços disponíveis no Hipercomputador de IA. Para mais informações, consulte Visão geral das opções de implantação.

						Superchips NVIDIA GB200 Grace Blackwell conectados
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3e)
a4x-highgpu-4g	140	884	12.000	6	2.000	4	744

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
³A memória da GPU é a memória em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Série A4

Observação: é possível usar a ferramenta Cluster Health Scanner (CHS) para resolver problemas nos clusters de GPU da série de máquinas A4. Para mais informações, consulte Resolver problemas de clusters de GPU.

Esta seção descreve as configurações disponíveis para a série de máquinas A4. Para mais informações sobre essa série de máquinas, consulte Série de máquinas A4 otimizada para aceleradores na documentação do Compute Engine.

A4

Os tipos de máquina A4 têm GPUs NVIDIA B200 Blackwell (nvidia-b200) anexadas e são ideais para treinamento e disponibilização de modelos de fundação.

Observação:ao provisionar tipos de máquina A4, é necessário reservar capacidade para criar instâncias ou clusters, usar VMs spot, usar VMs de início flexível ou criar uma solicitação de redimensionamento em um MIG. Para instruções sobre como criar instâncias A4, consulte Visão geral da criação de VMs e clusters. .

						GPUs NVIDIA B200 Blackwell anexadas
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3e)
a4-highgpu-8g	224	3.968	12.000	10	3.600	8	1,440

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
³A memória da GPU é a memória em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Série A3

Observação: é possível usar a ferramenta CHS para resolver problemas nos clusters de GPU A3 Ultra, A3 Mega e A3 High. Para mais informações, consulte Resolver problemas de clusters de GPU.

Nesta seção, descrevemos as configurações disponíveis para a série de máquinas A3. Para mais informações sobre essa série de máquinas, consulte Série de máquinas A3 otimizada para aceleradores na documentação do Compute Engine.

A3 Ultra

Os tipos de máquina A3 Ultra têm GPUs NVIDIA H200 SXM (nvidia-h200-141gb) anexadas e oferecem o maior desempenho de rede na série A3. Os tipos de máquina A3 Ultra são ideais para treinamento e serviço de modelos de fundação.

Observação:ao provisionar tipos de máquina A3 Ultra, é necessário reservar capacidade para criar instâncias ou clusters, usar VMs do Spot, usar VMs de início flexível ou criar uma solicitação de redimensionamento em um MIG. Para mais informações sobre os parâmetros a serem definidos ao criar uma instância do A3 Ultra, consulte Visão geral da criação de VMs e clusters.

						GPUs NVIDIA H200 anexadas
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3e)
a3-ultragpu-8g	224	2.952	12.000	10	3.600	8	1128

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
³A memória da GPU é a memória em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A3 Mega

Os tipos de máquina A3 Mega têm GPUs NVIDIA H100 SXM e são ideais para treinamento de modelo grandes e inferência de vários hosts.

Observação:ao provisionar tipos de máquina a3-megagpu-8g, recomendamos usar um cluster dessas instâncias e implantar com um programador como o Google Kubernetes Engine (GKE) ou o Slurm. Para instruções detalhadas sobre qualquer uma dessas opções, consulte o seguinte:

• Para criar um cluster do Google Kubernetes Engine, consulte Implantar um cluster A3 Mega com o GKE.
• Para criar um cluster do Slurm, consulte Implantar um cluster A3 Mega Slurm.

						GPUs NVIDIA H100 anexadas
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3)
a3-megagpu-8g	208	1.872	6.000	9	1.800	8	640

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
³A memória da GPU é a memória em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A3 High

Os tipos de máquina A3 High têm GPUs NVIDIA H100 SXM e são adequados para inferência de modelos grandes e ajuste fino de modelos.

Observação:ao provisionar tipos de máquina a3-highgpu-1g, a3-highgpu-2g ou a3-highgpu-4g, crie instâncias usando VMs spot ou de início flexível. Para instruções detalhadas sobre essas opções, consulte o seguinte:

• Para criar VMs do Spot, defina o modelo de provisionamento como SPOT ao criar uma VM otimizada para aceleradores.
• Para criar VMs de início flexível, use um dos seguintes métodos:
  • Crie uma VM independente e defina o modelo de provisionamento como FLEX_START ao criar uma VM otimizada para aceleradores.
  • Crie uma solicitação de redimensionamento em um grupo gerenciado de instâncias (MIG). Para instruções, consulte Criar um MIG com VMs de GPU.

						GPUs NVIDIA H100 anexadas
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1.500	1	50	2	160
a3-highgpu-4g	104	936	3.000	1	100	4	320
a3-highgpu-8g	208	1.872	6.000	5	1.000	8	640

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
³A memória da GPU é a memória em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A3 Edge

Os tipos de máquina A3 Edge têm GPUs NVIDIA H100 SXM e são projetados especificamente para veiculação. Eles estão disponíveis em um conjunto limitado de regiões.

Observação:para começar a usar instâncias A3 Edge, consulte Criar uma VM A3 com o GPUDirect-TCPX ativado.

						GPUs NVIDIA H100 anexadas
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3)
a3-edgegpu-8g	208	1.872	6.000	5	600: para asia-south1 e northamerica-northeast2 400: para todas as outras regiões do A3 Edge	8	640

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
³A memória da GPU é a memória em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A seguir

Para mais informações sobre GPUs, consulte as seguintes páginas na documentação do Compute Engine:

• Saiba sobre GPUs no Compute Engine.
• Confira a disponibilidade de zonas e regiões de GPU.
• Saiba mais sobre os preços da GPU.