Tipos de máquina de GPU

Este documento descreve as séries de máquinas de GPU compatíveis com o Hipercomputador de IA. É possível criar instâncias e clusters do Compute Engine que usam essas séries de máquinas para executar cargas de trabalho de inteligência artificial (IA), machine learning (ML) e computação de alto desempenho (HPC).

Para usar GPUs no Hipercomputador de IA, é possível usar a maioria das séries de máquinas da família de máquinas otimizadas para aceleradores. Cada série de máquinas na família de máquinas otimizadas para aceleradores usa um modelo de GPU específico. Para mais informações sobre a família de máquinas otimizadas para aceleradores, consulte Família de máquinas otimizadas para aceleradores.

A seção a seguir descreve as séries de máquinas otimizadas para aceleradores compatíveis com o Hipercomputador de IA.

Séries A4X Max e A4X

Atenção: O Contrato de nível de serviço (SLA) do Compute Engine não se aplica às séries de máquinas A4X Max e A4X.

Esta seção descreve as configurações disponíveis para as séries de máquinas A4X Max e A4X. Para mais informações sobre essas séries de máquinas, consulte Séries de máquinas otimizadas para aceleradores A4X e A4X Max na documentação do Compute Engine.

A4X Max (bare metal)

Os tipos de máquina A4X Max usam superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) e são ideais para treinamento de modelo e disponibilização de modelos de fundação. Os tipos de máquina A4X Max estão disponíveis como instâncias bare metal.

A4X Max é uma plataforma de exaescala baseada no NVIDIA GB300 NVL72. Cada máquina tem dois soquetes com CPUs NVIDIA Grace com núcleos Arm Neoverse V2. Essas CPUs estão conectadas a quatro GPUs NVIDIA B300 Blackwell com comunicação rápida de chip para chip (NVLink-C2C).

Observação: ao provisionar instâncias A4X Max, é necessário reservar capacidade para criar instâncias e clusters. Em seguida, é possível criar instâncias que usam os recursos e serviços disponíveis no Hipercomputador de IA. Para mais informações, consulte Visão geral das opções de implantação.

						Superchips NVIDIA GB300 Grace Blackwell Ultra anexados
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12.000	6	3.600	4	1.116

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre a largura de banda da rede, consulte Largura de banda da rede.
³A memória da GPU é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A4X

Os tipos de máquina A4X usam superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) e são ideais para treinamento de modelo e disponibilização de modelos de fundação.

A4X é uma plataforma de exaescala baseada em NVIDIA GB200 NVL72. Cada máquina tem dois soquetes com CPUs NVIDIA Grace com núcleos Arm Neoverse V2. Essas CPUs estão conectadas a quatro GPUs NVIDIA B200 Blackwell com comunicação rápida de chip para chip (NVLink-C2C) .

Observação: ao provisionar instâncias A4X, é necessário reservar capacidade para criar instâncias e clusters. Em seguida, é possível criar instâncias que usam os recursos e serviços disponíveis no Hipercomputador de IA. Para mais informações, consulte Visão geral das opções de implantação.

						Superchips NVIDIA GB200 Grace Blackwell anexados
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3e)
a4x-highgpu-4g	140	884	12.000	6	2.000	4	744

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre a largura de banda da rede, consulte Largura de banda da rede.
³A memória da GPU é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Série A4

Esta seção descreve as configurações disponíveis para a série de máquinas A4. Para mais informações sobre essa série de máquinas, consulte Série de máquinas otimizadas para aceleradores A4 na documentação do Compute Engine.

A4

Os tipos de máquina A4 têm GPUs NVIDIA B200 Blackwell (nvidia-b200) anexadas e são ideais para treinamento e disponibilização de modelos de fundação.

Observação:ao provisionar tipos de máquina A4, é necessário reservar capacidade para criar instâncias ou clusters, usar VMs spot, usar VMs de início flexível ou criar uma solicitação de redimensionamento em um MIG. Para instruções sobre como criar instâncias A4, consulte Visão geral da criação de VMs e clusters. .

						GPUs NVIDIA B200 Blackwell anexadas
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3e)
a4-highgpu-8g	224	3.968	12.000	10	3.600	8	1.440

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre a largura de banda da rede, consulte Largura de banda da rede.
³A memória da GPU é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Série A3

Esta seção descreve as configurações disponíveis para a série de máquinas A3. Para mais informações sobre essa série de máquinas, consulte Série de máquinas otimizadas para aceleradores A3 na documentação do Compute Engine.

A3 Ultra

Os tipos de máquina A3 Ultra têm GPUs NVIDIA H200 SXM (nvidia-h200-141gb) anexadas e oferecem o maior desempenho de rede na série A3. Os tipos de máquina A3 Ultra são ideais para treinamento de modelo e disponibilização de modelos de fundação.

Observação:ao provisionar tipos de máquina A3 Ultra, é necessário reservar capacidade para criar instâncias ou clusters, usar VMs spot, usar VMs de início flexível ou criar uma solicitação de redimensionamento em um MIG. Para mais informações sobre os parâmetros a serem definidos ao criar uma instância A3 Ultra, consulte Visão geral da criação de VMs e clusters.

						GPUs NVIDIA H200 anexadas
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3e)
a3-ultragpu-8g	224	2.952	12.000	10	3.600	8	1128

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre a largura de banda da rede, consulte Largura de banda da rede.
³A memória da GPU é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A3 Mega

Os tipos de máquina A3 Mega têm GPUs NVIDIA H100 SXM e são ideais para treinamento de modelo grandes e inferência de vários hosts.

Observação:ao provisionar tipos de máquina a3-megagpu-8g, recomendamos usar um cluster dessas instâncias e implantar com um programador, como o Google Kubernetes Engine (GKE) ou o Slurm. Para instruções detalhadas sobre qualquer uma dessas opções, consulte o seguinte:

• Para criar um cluster do Google Kubernetes Engine, consulte Implantar um cluster A3 Mega com o GKE.
• Para criar um cluster do Slurm, consulte Implantar um cluster A3 Mega Slurm.

						GPUs NVIDIA H100 anexadas
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3)
a3-megagpu-8g	208	1.872	6.000	9	1.800	8	640

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre a largura de banda da rede, consulte Largura de banda da rede.
³A memória da GPU é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A3 Alto

Os tipos de máquina A3 High têm GPUs NVIDIA H100 SXM e são adequados para inferência de modelos grandes e ajuste fino de modelos.

Observação:ao provisionar tipos de máquina a3-highgpu-1g, a3-highgpu-2g ou a3-highgpu-4g, é necessário criar instâncias usando VMs spot ou VMs de início flexível. Para instruções detalhadas sobre essas opções, consulte o seguinte:

• Para criar VMs spot, defina o modelo de provisionamento como SPOT ao criar uma VM otimizada para aceleradores.
• Para criar VMs de início flexível, use um destes métodos:
  • Crie uma VM independente e defina o modelo de provisionamento como FLEX_START ao criar uma VM otimizada para aceleradores.
  • Crie uma solicitação de redimensionamento em um grupo gerenciado de instâncias (MIG). Para instruções, consulte Criar um MIG com VMs de GPU.

						GPUs NVIDIA H100 anexadas
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1.500	1	50	2	160
a3-highgpu-4g	104	936	3.000	1	100	4	320
a3-highgpu-8g	208	1.872	6.000	5	1.000	8	640

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre a largura de banda da rede, consulte Largura de banda da rede.
³A memória da GPU é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A3 Edge

Os tipos de máquina A3 Edge têm GPUs NVIDIA H100 SXM e são projetados especificamente para disponibilização e estão disponíveis em um conjunto limitado de regiões.

Observação: para começar a usar instâncias A3 Edge, consulte Criar uma VM A3 com o GPUDirect-TCPX ativado.

						GPUs NVIDIA H100 anexadas
Tipo de máquina	Contagem de vCPU^1	Memória da instância (GB)	SSD local anexado (GiB)	Contagem de NICs físicas	Largura de banda máxima da rede (Gbps)^2	Contagem de GPUs	Memória da GPU^3 (GB HBM3)
a3-edgegpu-8g	208	1.872	6.000	5	600: para asia-south1 e northamerica-northeast2 400: para todas as outras regiões do A3 Edge	8	640

¹Uma vCPU é implementada como um único hyper-thread de hardware em uma das plataformas de CPU disponíveis.
²A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre a largura de banda da rede, consulte Largura de banda da rede.
³A memória da GPU é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A seguir

• Para mais informações sobre GPUs, consulte as seguintes páginas na documentação do Compute Engine:

  • Saiba mais sobre GPUs no Compute Engine.
  • Confira a disponibilidade de zonas e regiões de GPU.
  • Saiba mais sobre os preços da GPU.

• Saiba mais sobre serviços de rede e serviços de armazenamento para o Hipercomputador de IA.