Visão geral das GPUs

As GPUs gerais são otimizadas para cargas de trabalho de inteligência artificial (IA) e machine learning (ML) que priorizam a flexibilidade operacional, a independência de recursos e a relação custo-benefício.

As GPUs gerais permitem que as equipes implantem e escalonem aceleradores da NVIDIA com total autonomia operacional, ignorando a complexidade arquitetônica dos clusters de supercomputação coordenados. Eles são ideais para cargas de trabalho que priorizam alta disponibilidade, provisionamento de autoatendimento e escalonamento independente. Os casos de uso comuns incluem inferência em tempo real, RAG, prototipagem e treinamento de modelo de pequeno a médio porte.

Principais características das GPUs gerais

  • Flexibilidade operacional: é possível gerenciar recursos usando as interfaces padrão do GKE (Autopilot e Standard) e do Compute Engine para simplificar a implantação e o escalonamento.
  • Alta disponibilidade: Google Cloud atualiza instâncias individuais de forma independente para garantir que as atualizações em um nó não afetem a disponibilidade de outros, permitindo que o balanceador de carga redirecione o tráfego sem interromper as frotas de exibição.
  • Simplicidade de rede: suas cargas de trabalho usam serviços padrão de nuvem privada virtual (VPC) e TCP/IP padrão em interfaces de placa de rede virtual do Google (gVNIC) para eliminar estruturas complexas no nível do hardware.
  • Otimização de custos: use VMs spot para pesquisas tolerantes a falhas e economize até 90% em comparação com as taxas padrão sob demanda.
  • Aquisição de autoatendimento: é possível obter capacidade diretamente por meio de reservas padrão e solicitações sob demanda, sem precisar de fluxos de trabalho gerenciados pela equipe de conta.

Famílias gerais de GPUs e especificações técnicas

Analise as cargas de trabalho e as especificações de hardware da série de máquinas de GPU geral. Para veiculação de alta capacidade de processamento, use a série A3 Edge.

Série A3 (High com 1, 2 ou 4 GPUs e Edge)

A3 High (1, 2 ou 4 GPUs)

Se você estiver executando cargas de trabalho de inferência ou treinamento padrão que exigem alto desempenho, mas não precisam de um cluster sincronizado completo de 8 GPUs, use a série de máquinas A3 High com 1, 2 ou 4 GPUs anexadas.

Os tipos de máquina A3 High têm GPUs NVIDIA H100 SXM e são adequados para inferência de modelos grandes e ajuste fino de modelos. Para informações sobre limitações de tipo de máquina, consulte Limitações do A3 High.

Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA H100 Memória da GPU (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1.500 1 50 2 160
a3-highgpu-4g 104 936 3.000 1 100 4 320
a3-highgpu-8g 208 1.872 6.000 5 1.000 8 640

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A3 Edge

Se você estiver executando cargas de trabalho de inferência distribuída de alta capacidade de processamento em vários hosts sem uma estrutura de cluster coordenada, use a série A3 Edge para simplificar a implantação em redes privadas virtuais padrão.

Os tipos de máquina A3 Edge têm GPUs NVIDIA H100 SXM, são projetados especificamente para veiculação e estão disponíveis em um conjunto limitado de regiões. Para informações sobre as limitações de tipo de máquina, consulte Limitações do A3 Edge.

Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA H100 Memória da GPU (GB HBM3)
a3-edgegpu-8g 208 1.872 6.000 5 600 (asia-south1 e northamerica-northeast2) ou 400 (todas as outras regiões da A3 Edge) 8 640

Série A2 (Standard e Ultra)

Se você precisar realizar a disponibilização do modelo de nó único de alto desempenho ou o ajuste fino de modelos em pequena escala, use a série de máquinas A2 para acessar recursos dedicados de GPU NVIDIA A100.

A2 Ultra

Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA A100 de 80 GB Memória da GPU (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1.500 50 4 320
a2-ultragpu-8g 96 1.360 3.000 100 8 640

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

A2 Padrão

Tipo de máquina Contagem de vCPU Memória da instância (GB) Compatível com SSD local Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA A100 de 40 GB Memória da GPU (GB HBM2)
a2-highgpu-1g 12 85 Sim 24 1 40
a2-highgpu-2g 24 170 Sim 32 2 80
a2-highgpu-4g 48 340 Sim 50 4 160
a2-highgpu-8g 96 680 Sim 100 8 320
a2-megagpu-16g 96 1.360 Sim 100 16 640

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Série G4

Se a equipe precisar de inferência básica econômica ou cargas de trabalho de renderização de gráficos padrão, use a série de máquinas G4 com GPUs NVIDIA RTX PRO 6000.

Os tipos de máquina G4 usam GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) e são adequados para cargas de trabalho de simulação do NVIDIA Omniverse, aplicativos com uso intensivo de gráficos, transcodificação de vídeo e áreas de trabalho virtuais. Os tipos de máquina G4 também oferecem uma solução de baixo custo para realizar inferência de host único e ajuste de modelo em comparação com os tipos de máquina da série A.

Também é possível adicionar discos SSD Titanium ao criar uma instância G4. Para saber o número de discos que podem ser anexados, consulte Tipos de máquina que exigem que você escolha um número de discos SSD locais. Para informações sobre as limitações do tipo de máquina, consulte Limitações do G4.

Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD Titanium máximo compatível (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA RTX PRO 6000 Memória da GPU (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1.500 1 50 1 96
g4-standard-96 96 360 3.000 1 100 2 192
g4-standard-192 192 720 6.000 1 200 4 384
g4-standard-384 384 1,440 12.000 2 400 8 768

*A memória da GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho aceleradas, como machine learning e cargas de trabalho com uso intensivo de gráficos.

Série G2

Se você estiver implantando aplicativos de inferência em tempo real ou pipelines de geração aumentada de recuperação (RAG, na sigla em inglês), use a série de máquinas G2 para equilibrar o desempenho e a eficiência de custos com as GPUs NVIDIA L4.

Tipo de máquina Contagem de vCPU Memória padrão da instância (GB) Intervalo de memória da instância personalizada (GB) Suporte máximo para SSD local (GiB) Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA L4 Memória da GPU (GB GDDR6)
g2-standard-4 4 16 16 a 32 375 10 1 24
g2-standard-8 8 32 32 a 54 375 16 1 24
g2-standard-12 12 48 48 a 54 375 16 1 24
g2-standard-16 16 64 54 a 64 375 32 1 24
g2-standard-24 24 96 96 a 108 750 32 2 48
g2-standard-32 32 128 96 a 128 375 32 1 24
g2-standard-48 48 192 192 a 216 1.500 50 4 96
g2-standard-96 96 384 384 a 432 3.000 100 8 192

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Série N1 (NVIDIA T4 ou V100)

Se a prioridade for a experimentação com foco em custos ou a execução de inferências de nível básico com baixa simultaneidade, use a série de máquinas N1 para anexar GPUs NVIDIA T4 ou V100.

NVIDIA T4

Tipo de acelerador Contagem de GPUs NVIDIA T4 Memória da GPU (GB GDDR6) Contagem de vCPU Memória da instância (GB) Compatível com SSD local
nvidia-tesla-t4 ou nvidia-tesla-t4-vws 1 16 1 a 48 1 a 312 Sim
nvidia-tesla-t4 ou nvidia-tesla-t4-vws 2 32 1 a 48 1 a 312 Sim
nvidia-tesla-t4 ou nvidia-tesla-t4-vws 4 64 1 a 96 1 a 624 Sim

NVIDIA V100

Tipo de acelerador Contagem de GPUs NVIDIA V100 Memória da GPU (GB HBM2) Contagem de vCPU Memória da instância (GB) Compatível com SSD local
nvidia-tesla-v100 1 16 1 a 12 1 a 78 Sim (exceto us-east1-c)
nvidia-tesla-v100 2 32 1 a 24 1 a 156 Sim (exceto us-east1-c)
nvidia-tesla-v100 4 64 1 a 48 1 a 312 Sim (exceto us-east1-c)
nvidia-tesla-v100 8 128 1 a 96 1 a 624 Sim (exceto us-east1-c)

Aquisição de capacidade

Os aceleradores de GPU gerais usam o provisionamento padrão de autoatendimento. É possível conseguir capacidade por meio de reservas padrão, solicitações on demand ou VMs spot. Como a capacidade on demand pode sofrer com falta de estoque, use VMs spot ou de início flexível sempre que possível.

A seguir