Neste documento, descrevemos os modelos de GPU NVIDIA que podem ser usados para acelerar cargas de trabalho de machine learning (ML), tratamento de dados e uso intensivo de gráficos nas instâncias do Compute Engine. Este documento também detalha quais GPUs vêm pré-anexadas a séries de máquinas otimizadas para aceleradores, como A4X Max, A4X, A4, A3, A2, G4 e G2, e quais GPUs podem ser anexadas a instâncias de uso geral N1.
Use este documento para comparar o desempenho, a memória e os recursos de diferentes modelos de GPU. Para uma visão geral mais detalhada da família de máquinas com otimização para aceleradores, incluindo informações sobre plataformas de CPU, opções de armazenamento e recursos de rede, e para encontrar o tipo de máquina específico que corresponde à sua carga de trabalho, consulte Família de máquinas com otimização para aceleradores.
Para mais informações sobre GPUs no Compute Engine, consulte Sobre GPUs.
Para ver as regiões e zonas disponíveis para GPUs no Compute Engine, consulte Regiões de GPUs e disponibilidade de zonas.
Visão geral
O Compute Engine oferece diferentes tipos de máquina para dar suporte às suas várias cargas de trabalho.
Alguns tipos de máquina são compatíveis com as estações de trabalho virtuais (vWS) NVIDIA RTX. Quando você cria uma instância que usa a NVIDIA RTX Virtual Workstation, o Compute Engine adiciona automaticamente uma licença vWS. Para informações sobre preços de estações de trabalho virtuais, consulte a página de preços da GPU.
| Tipos de máquina de GPU | |||
|---|---|---|---|
| Cargas de trabalho de IA e ML | Gráficos e visualização | Outras cargas de trabalho de GPU | |
|
Os tipos de máquina da série A otimizados para aceleradores foram projetados para cargas de trabalho de computação de alto desempenho (HPC), inteligência artificial (IA) e machine learning (ML).
A série A de última geração é ideal para pré-treinar e ajustar modelos de fundação que envolvem grandes clusters de aceleradores, enquanto a série A2 pode ser usada para treinar modelos menores e inferência de host único. Para esses tipos de máquina, o modelo de GPU é anexado automaticamente à instância. |
Os tipos de máquina da série G otimizados para aceleradores são projetados para cargas de trabalho, como as de simulação do NVIDIA Omniverse, aplicativos com uso intenso de gráficos, transcodificação de vídeo e áreas de trabalho virtuais. Esses tipos de máquina são compatíveis com as
estações de trabalho virtuais (vWS) NVIDIA RTX.
A série G também pode ser usada para treinar modelos menores e para inferência de host único. Para esses tipos de máquina, o modelo de GPU é anexado automaticamente à instância. |
Para tipos de máquina de uso geral N1, exceto para o núcleo compartilhado N1
( |
|
|
Os seguintes modelos de GPU podem ser anexados a tipos de máquina de uso geral N1:
|
||
Também é possível usar alguns tipos de máquina de GPU no Hipercomputador de IA. O Hipercomputador de IA é um sistema de supercomputação otimizado para oferecer suporte às suas cargas de trabalho de inteligência artificial (IA) e machine learning (ML). Essa opção é recomendada para criar uma infraestrutura densa e com desempenho otimizado que tenha integrações para os programadores do Google Kubernetes Engine (GKE) e do Slurm.
Série de máquinas A4X Max e A4X
As séries de máquinas A4X Max e A4X são executadas em uma plataforma de exaescala baseada na arquitetura de rack da NVIDIA e são otimizadas para treinamento de ML e cargas de trabalho de HPC com uso intensivo de computação e memória e vinculadas à rede. O A4X Max e o A4X diferem principalmente nos componentes de GPU e rede. A A4X Max está disponível apenas como instâncias bare metal, que fornecem acesso direto à CPU e à memória do servidor host, sem a camada de hipervisor do Compute Engine.
Tipos de máquina A4X Max (NVIDIA GB300)
Os tipos de máquina otimizados para aceleradores A4X Max
usam os superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) e
são ideais para treinamento e disponibilização de modelos de fundação. Os tipos de máquina A4X Max estão disponíveis
como instâncias bare metal.
A A4X Max é uma plataforma de exaescala baseada no NVIDIA GB300 NVL72. Cada máquina tem dois soquetes com CPUs NVIDIA Grace com núcleos Arm Neoverse V2. Essas CPUs estão conectadas a quatro GPUs NVIDIA B300 Blackwell com comunicação rápida entre chips (NVLink-C2C). Para informações sobre as limitações de tipo de máquina, consulte Limitações do A4X Max e do A4X.
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA GB300 | Memória da GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12.000 | 6 | 3.600 | 4 | 1.116 |
Observações sobre o tipo de máquina A4X Max
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Tipo de máquina A4X (NVIDIA GB200)
Os tipos de máquina otimizados para aceleradores A4X
usam superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) e
são ideais para treinamento e disponibilização de modelos de fundação.
A A4X é uma plataforma de exaescala baseada no NVIDIA GB200 NVL72. Cada máquina tem dois soquetes com CPUs NVIDIA Grace com núcleos Arm Neoverse V2. Essas CPUs estão conectadas a quatro GPUs NVIDIA B200 Blackwell com comunicação rápida entre chips (NVLink-C2C). Para informações sobre as limitações de tipo de máquina, consulte Limitações do A4X Max e do A4X.
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA GB200 | Memória da GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12.000 | 6 | 2.000 | 4 | 744 |
Observações sobre o tipo de máquina A4X
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Série de máquinas A4 (NVIDIA B200)
Os tipos de máquina otimizados para acelerador A4
têm
GPUs NVIDIA B200 Blackwell
(nvidia-b200) anexadas e são ideais para treinamento e disponibilização de modelos de fundação. Para informações sobre as limitações de tipo de máquina, consulte
Limitações da A4.
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA B200 Blackwell | Memória da GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3.968 | 12.000 | 10 | 3.600 | 8 | 1,440 |
Observações sobre o tipo de máquina A4
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Série de máquinas A3
Os tipos de máquina otimizados para aceleradores A3 têm GPUs NVIDIA H100 SXM ou NVIDIA H200 SXM anexadas.
Tipo de máquina A3 Ultra (NVIDIA H200)
Os tipos de máquina A3 Ultra têm GPUs NVIDIA H200 SXM (nvidia-h200-141gb) anexadas e oferecem o melhor desempenho de rede na série A3. Os tipos de máquina A3 Ultra são ideais para treinamento e disponibilização de modelos de fundação. Para informações sobre as limitações do tipo de máquina, consulte
Limitações do A3 Ultra.
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA H200 | Memória da GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2.952 | 12.000 | 10 | 3.600 | 8 | 1128 |
Observações sobre o tipo de máquina A3 Ultra
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Tipos de máquina A3 Mega, High e Edge (NVIDIA H100)
Para usar GPUs NVIDIA H100 SXM, você tem as seguintes opções:
- A3 Mega: esses tipos de máquina têm GPUs H100 SXM (
nvidia-h100-mega-80gb) e são ideais para cargas de trabalho de treinamento e disponibilização em grande escala. - A3 High: esses tipos de máquina têm GPUs H100 SXM (
nvidia-h100-80gb) e são adequados para tarefas de treinamento e disponibilização. - A3 Edge: esses tipos de máquinas têm GPUs H100 SXM (
nvidia-h100-80gb), são projetados especificamente para veiculação e estão disponíveis em um conjunto limitado de regiões.
A3 Mega
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA H100 | Memória da GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1.872 | 6.000 | 9 | 1.800 | 8 | 640 |
A3 High
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA H100 | Memória da GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1.500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3.000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1.872 | 6.000 | 5 | 1.000 | 8 | 640 |
A3 Edge
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA H100 | Memória da GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
208 | 1.872 | 6.000 | 5 | 600 (asia-south1 e northamerica-northeast2) ou 400 (todas as outras regiões da A3 Edge) |
8 | 640 |
Observações sobre os tipo de máquina A3 Mega, High e Edge
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Série de máquinas A2 (NVIDIA A100)
Os tipos de máquina otimizados para aceleradores A2 têm GPUs NVIDIA A100 anexadas e são ideais para ajuste fino de modelos, modelos grandes e inferência com custo otimizado.
A série de máquinas A2 oferece dois tipos:
- A2 Ultra: esses tipos de máquina têm GPUs A100 de 80 GB
(
nvidia-a100-80gb) e discos SSD locais conectados. - A2 Standard: esses tipos de máquina têm GPUs A100 de 40 GB
(
nvidia-tesla-a100) anexadas. Também é possível adicionar discos SSD locais ao criar uma instância padrão A2. Para saber o número de discos que podem ser anexados, consulte Tipos de máquina que exigem que você escolha um número de discos SSD locais.
A2 Ultra
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD local anexado (GiB) | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA A100 de 80 GB | Memória da GPU (GB HBM2e) |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1.500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1.360 | 3.000 | 100 | 8 | 640 |
A2 Padrão
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | Compatível com SSD local | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA A100 de 40 GB | Memória da GPU (GB HBM2) |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
12 | 85 | Sim | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | Sim | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | Sim | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | Sim | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1.360 | Sim | 100 | 16 | 640 |
Observações sobre o tipo de máquina A2
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Série de máquinas G4 (NVIDIA RTX PRO 6000)
Os tipos de máquina otimizados para acelerador G4
usam
GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000)
e são
adequados para cargas de trabalho de simulação do NVIDIA Omniverse, aplicativos com uso intensivo de gráficos, transcodificação de vídeo
e áreas de trabalho virtuais. Os tipos de máquina G4 também oferecem uma solução de baixo custo para
realizar inferência de host único e ajuste de modelo em comparação com os tipos de máquina da série A.
Também é possível adicionar discos SSD Titanium ao criar uma instância G4. Para saber o número de discos que podem ser anexados, consulte Tipos de máquina que exigem que você escolha um número de discos SSD locais. Para informações sobre as limitações do tipo de máquina, consulte Limitações do G4.
Um recurso importante da série G4 é o suporte à comunicação direta de GPU ponto a ponto (P2P)
em tipos de máquina com várias GPUs (g4-standard-96, g4-standard-192,
g4-standard-384). Isso permite que as GPUs na mesma instância
troquem dados diretamente pelo barramento PCIe, sem envolver o host da CPU. Para mais informações sobre
a comunicação ponto a ponto da GPU G4, consulte
Comunicação ponto a ponto da GPU G4.
| Tipo de máquina | Contagem de vCPU | Memória da instância (GB) | SSD Titanium máximo compatível (GiB) | Contagem de NICs físicas | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA RTX PRO 6000 | Memória da GPU (GB GDDR7) |
|---|---|---|---|---|---|---|---|
g4-standard-6 |
6 | 22 | 0 | 1 | 20 | 1/8 | 12 |
g4-standard-12 |
12 | 45 | 375 | 1 | 20 | 1/4 | 24 |
g4-standard-24 |
24 | 90 | 750 | 1 | 20 | 1/2 | 48 |
g4-standard-48 |
48 | 180 | 1.500 | 1 | 50 | 1 | 96 |
g4-standard-96 |
96 | 360 | 3.000 | 1 | 100 | 2 | 192 |
g4-standard-192 |
192 | 720 | 6.000 | 1 | 200 | 4 | 384 |
g4-standard-384 |
384 | 1,440 | 12.000 | 2 | 400 | 8 | 768 |
Observações sobre o tipo de máquina G4
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Série de máquinas G2 (NVIDIA L4)
Os tipos de máquina otimizados para acelerador G2 têm GPUs NVIDIA L4 anexadas e são ideais para inferência com otimização de custos, cargas de trabalho de computação de alto desempenho e gráficos intensivos.
Cada tipo de máquina G2 também tem uma memória padrão e um intervalo de memória personalizado. O intervalo de memória personalizado define a quantidade de memória que pode ser alocada à instância para cada tipo de máquina. Também é possível adicionar discos SSD locais ao criar uma instância G2. Para saber o número de discos que podem ser anexados, consulte Tipos de máquina que exigem que você escolha um número de discos SSD locais.
Para informações sobre as limitações do tipo de máquina, consulte Limitações do G2.
| Tipo de máquina | Contagem de vCPU | Memória padrão da instância (GB) | Intervalo de memória da instância personalizada (GB) | Suporte máximo para SSD local (GiB) | Largura de banda máxima da rede (Gbps) | Contagem de GPUs NVIDIA L4 | Memória da GPU (GB GDDR6) |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
4 | 16 | 16 a 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32 a 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48 a 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54 a 64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96 a 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96 a 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192 a 216 | 1.500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384 a 432 | 3.000 | 100 | 8 | 192 |
Observações sobre os tipo de máquina G2
As observações a seguir se aplicam à tabela anterior:
- Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
- Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
- Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Série de máquinas N1
É possível anexar os seguintes modelos de GPU a um tipo de máquina N1, exceto os tipos de máquina com núcleo compartilhado N1.
Ao contrário dos tipos de máquina na série de máquinas otimizadas para aceleradores, os tipos de máquina N1 não vêm com um número definido de GPUs anexadas. Em vez disso, especifique o número de GPUs a serem anexadas ao criar a instância.
As instâncias N1 com menos GPUs limitam o número máximo de vCPUs. Em geral, um número maior de GPUs possibilita a criação de instâncias com um número maior de vCPUs e memória.
GPUs N1+T4
É possível anexar GPUs NVIDIA T4 a instâncias de uso geral N1 com as seguintes configurações de instância.
| Tipo de acelerador | Contagem de GPUs NVIDIA T4 | Memória da GPU (GB GDDR6) | Contagem de vCPU | Memória da instância (GB) | Compatível com SSD local |
|---|---|---|---|---|---|
nvidia-tesla-t4 ou nvidia-tesla-t4-vws |
1 | 16 | 1 a 48 | 1 a 312 | Sim |
nvidia-tesla-t4 ou nvidia-tesla-t4-vws |
2 | 32 | 1 a 48 | 1 a 312 | Sim |
nvidia-tesla-t4 ou nvidia-tesla-t4-vws |
4 | 64 | 1 a 96 | 1 a 624 | Sim |
Observações sobre o tipo de máquina N1+T4
A observação a seguir se aplica à tabela anterior:
- Memória da GPU: é a memória disponível em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
GPUs N1+P4
É possível anexar GPUs NVIDIA P4 a instâncias de uso geral N1 com as seguintes configurações de instância.
Para instâncias com GPUs NVIDIA P4 anexadas, os discos SSD locais só são compatíveis
nas zonas us-central1-c e northamerica-northeast1-b.
| Tipo de acelerador | Contagem de GPUs NVIDIA P4 | Memória da GPU (GB GDDR5) | Contagem de vCPU | Memória da instância (GB) | Compatível com SSD local |
|---|---|---|---|---|---|
nvidia-tesla-p4 ou nvidia-tesla-p4-vws |
1 | 8 | 1 a 24 | 1 a 156 | Sim (somente us-central1-c e northamerica-northeast1-b) |
nvidia-tesla-p4 ou nvidia-tesla-p4-vws |
2 | 16 | 1 a 48 | 1 a 312 | Sim (somente us-central1-c e northamerica-northeast1-b) |
nvidia-tesla-p4 ou nvidia-tesla-p4-vws |
4 | 32 | 1 a 96 | 1 a 624 | Sim (somente us-central1-c e northamerica-northeast1-b) |
Observações sobre o tipo de máquina N1+P4
A observação a seguir se aplica à tabela anterior:
- Memória da GPU: é a memória disponível em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
GPUs N1+V100
É possível anexar GPUs NVIDIA V100
a instâncias de uso geral N1 com as seguintes configurações de instância.
Para instâncias com GPUs NVIDIA V100 anexadas, os discos SSD locais não são compatíveis
na zona us-east1-c.
| Tipo de acelerador | Contagem de GPUs NVIDIA V100 | Memória da GPU (GB HBM2) | Contagem de vCPU | Memória da instância (GB) | Compatível com SSD local |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | 1 a 12 | 1 a 78 | Sim (exceto us-east1-c) |
nvidia-tesla-v100 |
2 | 32 | 1 a 24 | 1 a 156 | Sim (exceto us-east1-c) |
nvidia-tesla-v100 |
4 | 64 | 1 a 48 | 1 a 312 | Sim (exceto us-east1-c) |
nvidia-tesla-v100 |
8 | 128 | 1 a 96 | 1 a 624 | Sim (exceto us-east1-c) |
Observações sobre o tipo de máquina N1+V100
A observação a seguir se aplica à tabela anterior:
- Memória da GPU: é a memória disponível em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
Experiência de manutenção para instâncias N1 com GPUs
Durante o ciclo de vida de uma instância do Compute Engine, a máquina host em que a instância é executada passa por vários eventos de host. Um evento de host pode incluir a manutenção regular da infraestrutura do Compute Engine ou, em casos raros, um erro de host. O Compute Engine também aplica alguns upgrades leves e sem interrupções para o hipervisor e a rede em segundo plano.
A tabela a seguir descreve os recursos de manutenção do host para tipos de máquina N1 com GPU anexada:
| Tipo de máquina | Número de GPUs | Frequência típica de eventos de manutenção programada | Comportamento de manutenção | Notificação antecipada de manutenção programada | Manutenção sob demanda | Simular manutenção |
|---|---|---|---|---|---|---|
| N1+T4 | 1 ou 2 | Mínimo de 15 dias | Encerrar e reiniciar | 7 dias | Não | Sim |
| N1+T4 | 4 | No mínimo 30 dias | Encerrar e reiniciar | 7 dias | Sim | Sim |
| N1+P4 | 1 ou 2 | Mínimo de 15 dias | Encerrar e reiniciar | 7 dias | Não | Sim |
| N1+P4 | 4 | No mínimo 30 dias | Encerrar e reiniciar | 7 dias | Sim | Sim |
| N1+V100 | 1, 2 ou 4 | Mínimo de 15 dias | Encerrar e reiniciar | 7 dias | Não | Sim |
| N1+V100 | 8 | No mínimo 30 dias | Encerrar e reiniciar | 7 dias | Sim | Sim |
As observações a seguir se aplicam à tabela anterior:
- Frequência típica de eventos de manutenção programada:
As frequências de manutenção mostradas na tabela anterior são aproximadas, não garantias. O Compute Engine pode, às vezes, realizar manutenção com mais frequência.
Gráfico de comparação geral
A tabela a seguir descreve o tamanho da memória da GPU, a disponibilidade do recurso e os tipos de carga de trabalho ideais nos diferentes modelos de GPU no Compute Engine.
Na tabela a seguir, N/A indica que a métrica não é aplicável ou não está disponível para esse modelo de GPU.
| Tipo de máquina (modelo de GPU) | Memória e largura de banda da GPU | Interconexão | Compatibilidade com NVIDIA RTX Virtual Workstation (vWS) | Melhor aplicação |
|---|---|---|---|---|
| A4X Max (GB300) | 279 GB HBM3e (8 TBps) | NVLink Full Mesh (1.800 GBps) | Não | Treinamento e inferência distribuídos em grande escala de LLMs de MoE, recomendadores e HPC |
| A4X (GB200) | 186 GB HBM3e (8 TBps) | NVLink Full Mesh (1.800 GBps) | Não | Treinamento e inferência distribuídos em grande escala de LLMs, recomendadores e HPC |
| A4 (B200) | 180 GB HBM3e (8 TBps) | NVLink Full Mesh (1.800 GBps) | Não | Treinamento e inferência distribuídos em grande escala de LLMs, recomendadores e HPC |
| A3 Ultra (H200) | 141 GB HBM3e (4,8 TBps) | Malha completa NVLink (900 GBps) | Não | Modelos grandes com tabelas de dados enormes para treinamento de ML, inferência, HPC, BERT e DLRM |
| A3 Mega, A3 High, A3 Edge (H100) | 80 GB HBM3 (3,35 TBps) | Malha completa NVLink (900 GBps) | Não | Modelos grandes com tabelas de dados enormes para treinamento de ML, inferência, HPC, BERT e DLRM |
| A2 Ultra (A100 80GB) | 80 GB HBM2e (1,9 TBps) | NVLink Full Mesh (600 GBps) | Não | Modelos grandes com tabelas de dados enormes para treinamento de ML, inferência, HPC, BERT e DLRM |
| A2 Standard (A100 40GB) | 40 GB HBM2 (1,6 TBps) | NVLink Full Mesh (600 GBps) | Não | Treinamento de ML, inferência, HPC |
| G4 (RTX PRO 6000) | 96 GB GDDR7 (1,597 TBps) | N/A | Sim | Inferência de ML, treinamento, estações de trabalho de visualização remota, transcodificação de vídeos, HPC |
| G2 (L4) | 24 GB GDDR6 (300 GBps) | N/A | Sim | Inferência de ML, treinamento, estações de trabalho de visualização remota, transcodificação de vídeos, HPC |
| N1 (T4) | 16 GB GDDR6 (320 GBps) | N/A | Sim | Inferência de ML, treinamento, estações de trabalho de visualização remota, transcodificação de vídeos |
| N1 (P4) | 8 GB GDDR5 (192 GBps) | N/A | Sim | Estações de trabalho de visualização remota, inferência de ML e transcodificação de vídeos |
| N1 (V100) | 16 GB HBM2 (900 GBps) | Anel NVLink (300 GBps) | Não | Treinamento de ML, inferência, HPC |
Para comparar os preços de GPU para os diferentes modelos e regiões de GPU disponíveis no Compute Engine, consulte o sistema de preços de GPU.
Desempenho do Tensor Core e do núcleo CUDA padrão
As seções a seguir mostram as métricas de performance de cada arquitetura de GPU, separadas em núcleos CUDA vetoriais ou padrão e desempenho de Tensor Core.
Tensor Cores: o desempenho do Tensor se refere à capacidade de processamento que os Tensor Cores especializados alcançam. São unidades de hardware dedicadas (geralmente chamadas de unidades de matriz) projetadas especificamente para acelerar as grandes operações de multiplicação e acumulação de matrizes que formam a base do aprendizado profundo, do treinamento e da inferência.
Esse tipo de desempenho é ideal para aprendizado profundo, modelos de linguagem grandes (LLMs) e qualquer carga de trabalho que possa ser expressa como operações de matriz densa. Os núcleos Tensor oferecem uma capacidade de processamento significativamente maior do que os núcleos CUDA para o mesmo tipo de dados.
Núcleos CUDA vetoriais ou padrão: o desempenho vetorial se refere à capacidade de processamento que os núcleos CUDA padrão alcançam. São unidades de uso geral que operam usando um modelo de instrução única, várias linhas de execução (SIMT, na sigla em inglês), normalmente realizando operações em elementos ou vetores de dados individuais.
Esse tipo de desempenho é ideal para computação geral, renderização de gráficos e cargas de trabalho que não envolvem matemática de matriz densa.
Arquitetura Blackwell
Os tipos de máquina A4X Max, A4X, A4 e G4 são executados na arquitetura Blackwell da NVIDIA.
Tensor Core
A arquitetura Blackwell da NVIDIA, usada por esses tipos de máquina, introduz o suporte do Tensor Core para precisão FP4 e recursos INT4 expandidos para alto desempenho em inferências de modelos grandes.
Na tabela a seguir, N/A indica que a métrica não é aplicável ou não está disponível para esse modelo de GPU. As seguintes observações também se aplicam:
- TF32, FP16/32 misto, INT8, FP8 e FP4: a arquitetura Blackwell é compatível com a esparsidade estrutural para essas métricas de precisão, o que pode dobrar a capacidade computacional. Os valores de desempenho nesta tabela pressupõem uma multiplicação de matriz densa. Se você usar a esparsidade estrutural, o desempenho será dobrado.
- FP16/32 mista: para treinamento de precisão mista, as GPUs que são executadas na arquitetura Blackwell também são compatíveis com o tipo de dados
bfloat16.
| Tipo de máquina (modelo de GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 misto (TFLOPS) | INT8 (TFLOPS) | FP8 (TFLOPS) | FP4 (TFLOPS) |
|---|---|---|---|---|---|---|
| A4X Max (GB300) | 1.3 | 1.250 | 2.500 | 5.000 | 5.000 | 15.000 |
| A4X (GB200) | 45 | 1.250 | 2.500 | 5.000 | 5.000 | 10.000 |
| A4 (B200) | 40 | 1.100 | 2.250 | 4.500 | 4.500 | 9.000 |
| G4 (RTX PRO 6000) | N/A | 233,9 | 467,8 | 935,6 | 935,6 | 1871.2 |
Núcleos CUDA padrão
Os tipos de máquina que usam a arquitetura Blackwell fornecem operações FP64 e FP32 de alto desempenho para cargas de trabalho exigentes de HPC e IA.
Para A4X Max, A4X e A4, as operações FP16 são aceleradas por Tensor Cores. Para G4, o desempenho de FP16 em núcleos CUDA padrão está incluído porque as cargas de trabalho gráficas, como renderização e visualização, podem se beneficiar do uso da memória reduzido e dos requisitos de largura de banda da precisão de FP16, mesmo quando não usam núcleos Tensor.
Na tabela a seguir, N/A indica que a métrica não é relevante ou
não está disponível para esse modelo de GPU. A seguinte observação também se aplica:
- A4X Max (GB300) FP64: o desempenho do FP64 no GB300 é reduzido para priorizar o desempenho do FP4.
| Tipo de máquina (modelo de GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) | FP16 (TFLOPS) |
|---|---|---|---|
| A4X Max (GB300) | 1,39 | 45 | N/A |
| A4X (GB200) | 45 | 45 | N/A |
| A4 (B200) | 40 | 80 | N/A |
| G4 (RTX PRO 6000) | 1,8 | 117 | 117 |
Arquiteturas Hopper, Ada Lovelace e Ampere
A série A3 usa a arquitetura Hopper, que introduziu mecanismos especializados para modelos de transformador. A série A2 usa a arquitetura Ampere, fornecendo uma base equilibrada para treinamento e inferência de alto desempenho. A série G2 usa a arquitetura Ada Lovelace, que oferece aceleração versátil e eficiente em termos de energia para inferência de IA, transcodificação de vídeo e cargas de trabalho gráficas.
Tensor Core
As arquiteturas Hopper, Ada Lovelace e Ampere apresentam Tensor Cores avançados que aceleram os tipos de dados TF32, FP16, FP8 e INT8, proporcionando alta capacidade de processamento para treinamento e inferência de precisão mista.
Na tabela a seguir, N/A indica que a métrica não é relevante ou
não está disponível para esse modelo de GPU. As seguintes observações também se aplicam:
- TF32, FP16/32 misto, INT8 e FP8: as arquiteturas Hopper, Ada Lovelace e Ampere são compatíveis com a esparsidade estrutural para essas métricas de precisão (e INT4), o que pode dobrar a capacidade computacional. Os valores de desempenho nesta tabela pressupõem uma multiplicação de matriz densa. Se você usar a esparsidade estrutural, o desempenho será dobrado.
- FP16/32 mista: para treinamento de precisão mista, as GPUs NVIDIA H200, H100, A100 e L4 também são compatíveis com o tipo de dados
bfloat16.
| Tipo de máquina (modelo de GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 misto (TFLOPS) | INT8 (TOPS) | FP8 (TFLOPS) |
|---|---|---|---|---|---|
| A3 Ultra (H200) | 67 | 494,5 | 989,5 | 1.979 | 1.979 |
| A3 Mega/High/Edge (H100) | 67 | 494,5 | 989,5 | 1.979 | 1.979 |
| A2 Ultra (A100 80GB) | 19,5 | 156 | 312 | 624 | N/A |
| A2 Standard (A100 40GB) | 19,5 | 156 | 312 | 624 | N/A |
| G2 (L4) | N/A | 60 | 121 | 242,5 | 121 |
Núcleos CUDA padrão
Os tipos de máquina que usam as arquiteturas Hopper, Ada Lovelace e Ampere fornecem operações FP64 e FP32 de alto desempenho para cargas de trabalho exigentes de HPC e IA.
Na tabela a seguir, N/A indica que a métrica não é aplicável ou não está disponível para esse modelo de GPU.
| Tipo de máquina (modelo de GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| A3 Ultra (H200) | 34 | 67 |
| A3 Mega, High, Edge (H100) | 34 | 67 |
| A2 Ultra (A100 80GB) | 9,7 | N/A |
| A2 Standard (A100 40GB) | 9,7 | N/A |
| G2 (L4) | N/A | 30.3 |
Arquiteturas Volta, Pascal e Turing
Os tipos de máquina N1 usam as seguintes arquiteturas de GPU:
Tensor Core
As arquiteturas Turing e Volta da NVIDIA, disponíveis em instâncias N1, oferecem suporte a Tensor Core para operações de precisão mista, INT8 e INT4, oferecendo aceleração fundamental para inferência de aprendizado profundo.
Essas GPUs introduziram as primeiras gerações de Tensor Cores, usadas principalmente para treinamento de FP16 e quantização de INT8 e INT4 em inferência. Esta tabela não inclui o tipo de máquina N1 (P4) porque ele não tem núcleos Tensor.
Na tabela a seguir, N/A indica que a métrica não é relevante ou
não está disponível para esse modelo de GPU.
| Tipo de máquina (modelo de GPU) | FP16/32 misto (TFLOPS) | INT8 (TOPS) | INT4 (TOPS) |
|---|---|---|---|
| N1 (V100) | 125 | N/A | N/A |
| N1 (T4) | 65 | 130 | 260 |
Núcleos CUDA padrão
Os tipos de máquina que usam as arquiteturas Volta, Pascal e Turing são equipados com núcleos CUDA FP64 e FP32 para acelerar uma variedade de cargas de trabalho de HPC e IA.
Na tabela a seguir, N/A indica que a métrica não é relevante ou
não está disponível para esse modelo de GPU.
| Tipo de máquina (modelo de GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| N1 (V100) | 7,8 | 15,60 |
| N1 (T4) | N/A | 8.1 |
| N1 (P4) | 0,2 | 5,5 |
A seguir
- Saiba mais sobre as GPUs do Compute Engine.
- Verifique a disponibilidade de regiões e zonas de GPU.
- Consulte Larguras de banda de rede e GPUs.
- Confira os detalhes de preços de GPU.