Máquinas de GPU na família de máquinas otimizadas para aceleradores

Neste documento, descrevemos as instâncias do Compute Engine que têm GPUs NVIDIA pré-anexadas na família de máquinas com otimização de aceleradores. Essas instâncias são projetadas especificamente para inteligência artificial (IA), machine learning (ML), computação de alto desempenho (HPC) e aplicativos com uso intensivo de gráficos.

A família de máquinas com otimização para aceleradores inclui as seguintes séries de máquinas: A4X Max, A4X, A4, A3, A2, G4 e G2. Cada tipo de máquina em uma série tem um modelo específico e um número de GPUs NVIDIA anexadas. Também é possível anexar alguns modelos de GPU a tipos de máquinas de uso geral N1.

Para informações sobre instâncias otimizadas para aceleradores com TPUs anexadas, consulte Máquinas de TPU na família de máquinas otimizadas para aceleradores.

Modelos de GPU e séries de máquinas

A tabela a seguir resume as especificações de hardware, os mapeamentos de séries de máquinas, a largura de banda de rede e os recursos de armazenamento dos modelos de GPU disponíveis no Compute Engine:

Modelo de GPU Série de máquina Arquitetura Memória e largura de banda da GPU GPUs por instância de computação Largura de banda máxima da rede SSD local Interconexão Compatibilidade com NVIDIA RTX Virtual Workstation (vWS)
NVIDIA GB300 A4X Max Blackwell Ultra 279 GB HBM3e (8 TBps) 4 (NVL72) 3.600 Gbps 12.000 GiB NVLink Full Mesh (1.800 GBps) Não
NVIDIA GB200 A4X Blackwell 186 GB HBM3e (8 TBps) 4 (NVL72) 2.000 Gbps 12.000 GiB NVLink Full Mesh (1.800 GBps) Não
NVIDIA B200 A4 Blackwell 180 GB HBM3e (8 TBps) 8 3.600 Gbps 12.000 GiB NVLink Full Mesh (1.800 GBps) Não
NVIDIA H200 A3 Ultra Funil 141 GB HBM3e (4,8 TBps) 8 3.600 Gbps 12.000 GiB Malha completa NVLink (900 GBps) Não
NVIDIA H100 A3 Mega, High, Edge Funil 80 GB HBM3 (3,35 TBps) 1, 2, 4, 8 Até 1.000 Gbps Até 6.000 GiB Malha completa NVLink (900 GBps) Não
NVIDIA A100 (80 GB) A2 Ultra Ampere 80 GB HBM2e (1,9 TBps) 1, 2, 4, 8 100 Gbps Até 3.000 GiB NVLink Full Mesh (600 GBps) Não
NVIDIA A100 (40 GB) A2 Standard Ampere 40 GB HBM2 (1,6 TBps) 1, 2, 4, 8, 16 100 Gbps Até 3.000 GiB NVLink Full Mesh (600 GBps) Não
NVIDIA RTX PRO 6000 G4 Blackwell 96 GB GDDR7 (1,597 TBps) 1/8, 1/4, 1/2, 1, 2, 4, 8 200 Gbps Até 3.000 GiB PCIe Gen 5 Sim
NVIDIA L4 G2 Ada Lovelace 24 GB GDDR6 (300 GBps) 1, 2, 4, 8 100 Gbps Até 3.000 GiB PCIe Gen 4 Sim
NVIDIA V100 N1+V100 Volta 16 GB HBM2 (900 GBps) 1, 2, 4, 8 100 Gbps Com suporte Anel NVLink (300 GBps) Não
NVIDIA T4 (fim do suporte se aproximando) N1+T4 Turing 16 GB GDDR6 (320 GBps) 1, 2, 4 100 Gbps Com suporte PCIe Gen 3 Sim
NVIDIA P4 (próximo do fim do suporte) N1+P4 Pascal 8 GB GDDR5 (192 GBps) 1, 2, 4 100 Gbps Com suporte PCIe Gen 3 Sim

Na seção a seguir, apresentamos as séries de máquinas recomendadas com base nas cargas de trabalho da GPU. Para mais informações sobre como escolher uma estratégia de computação para cargas de trabalho de IA/ML e HPC, consulte Escolher uma estratégia de computação na documentação do Hipercomputador de IA.

Treinamento com IA/ML

Inferência de IA/ML

  • Inferência de modelos grandes (mais de 70 bilhões de parâmetros): a disponibilização de modelos de linguagem grandes (LLMs) se beneficia da alta capacidade de memória de alta largura de banda (HBM3e) (141 a 186 GB por GPU) para ajustar os pesos do modelo em menos GPUs, reduzindo a sobrecarga de comunicação entre chips. Série de máquinas recomendada:

  • Disponibilização em tempo real e de alta capacidade de processamento: consultas interativas de baixa latência, respostas de streaming e geração de imagens usam formatos numéricos quantizados acelerados por hardware, como ponto flutuante de 8 bits (FP8), inteiro de 8 bits (INT8) e inteiro de 4 bits (INT4), para maximizar a capacidade de processamento de solicitações por dólar. Série de máquinas recomendada:

    Para mais informações, consulte Recomendações para disponibilizar inferência na documentação do Hipercomputador de IA.

Gráficos e recursos visuais

HPC e simulação

As séries de máquinas A4X Max e A4X

As séries de máquinas A4X Max e A4X são executadas em uma plataforma de exaescala baseada na arquitetura de escala de rack da NVIDIA e são otimizadas para treinamento de ML vinculado à rede e cargas de trabalho de HPC com uso intensivo de computação e memória. O A4X Max e o A4X diferem principalmente nos componentes de GPU e rede. O A4X Max está disponível apenas como instâncias bare metal, que fornecem acesso direto à CPU e à memória do servidor host, sem o hipervisor do Compute Engine no meio.

Todos os tipos de máquina nas séries A4X Max e A4X têm dois soquetes com CPUs NVIDIA Grace™ com núcleos Arm® Neoverse™ V2. Essas CPUs se conectam a quatro GPUs com comunicação rápida de chip para chip NVLink-C2.

As séries de máquinas A4X Max e A4X são criadas na arquitetura de rack NVL72 da NVIDIA, que usa domínios NVLink para permitir computação de GPU de alto desempenho em grande escala. Um domínio NVLink é um grupo de chips NVIDIA NVSwitch interconectados e as GPUs que se conectam a eles, formando uma malha de rede de alta velocidade que permite a comunicação direta e rápida entre GPUs. Para os tipos de máquina A4X Max e A4X, um único domínio NVL72 (NVLink) é composto por 18 instâncias e 72 GPUs.

Comparação entre A4X Max e A4X

A tabela a seguir compara os recursos que diferem entre os tipos de máquina A4X Max e A4X:

Recurso A4X Max (NVIDIA GB300) A4X (NVIDIA GB200)
Aceleração de GPU As instâncias A4X Max têm superchips NVIDIA GB300 Ultra anexados automaticamente. Esses superchips têm GPUs NVIDIA B300, que oferecem até 20 TB de memória de GPU total por domínio NVL72, o que fornece cerca de 279 GB por GPU. As instâncias A4X têm superchips NVIDIA GB200 anexados automaticamente. Esses superchips têm GPUs NVIDIA B200 e oferecem 186 GB de memória por GPU.
Rede aprimorada com RoCE

Para instâncias A4X Max, o RDMA em Ethernet convergente (RoCE) aumenta o desempenho da rede combinando SuperNICs NVIDIA ConnectX-8 (CX-8) e a rede de todo o data center do Google, que conta com alinhamento por rails de oito vias. Essa configuração oferece até 3.200 Gbps de largura de banda, o que é ideal para tarefas exigentes de treinamento em grande escala e HPC.

Para redes de uso geral, cada instância também tem até 400 Gbps de largura de banda.

Para instâncias A4X, o RDMA em Ethernet convergente (RoCE) aumenta o desempenho da rede combinando NICs NVIDIA ConnectX-7 (CX-7) e a rede de todo o data center do Google, que conta com alinhamento por rails de quatro vias. Essa arquitetura oferece até 1.600 Gbps de largura de banda, permitindo comunicação de alta capacidade de processamento e baixa latência para cargas de trabalho distribuídas em grande escala.

Para redes de uso geral, cada instância também tem até 400 Gbps de largura de banda.
Desempenho Os superchips NVIDIA GB300 Ultra oferecem 15 PetaFLOPS de desempenho denso de FP4. Para inferência de FP4 em grande escala, os superchips GB300 Ultra devem oferecer um desempenho 20% a 40% maior do que os superchips GB200. Os superchips NVIDIA GB200 oferecem 10 PetaFLOPS de desempenho denso de FP4.
Suporte a bare metal e VM Somente instâncias bare metal Somente instâncias de VM
Suporte a SO As instâncias A4X Max são compatíveis com várias imagens do SO Linux. No entanto, como as instâncias bare metal usam o driver de rede da função de caminho de dados de infraestrutura (IDPF), sua imagem do SO precisa ser compatível com IDPF. Para usar uma imagem do SO disponível no Compute Engine, consulte Imagens do SO compatíveis com o IDPF. As instâncias A4X são compatíveis com várias imagens do SO Linux. Para uma lista completa de sistemas operacionais compatíveis com o Compute Engine, consulte Suporte do SO para GPUs.

Os tipos de máquina A4X Max e A4X compartilham os seguintes recursos:

  • Plataforma de CPU: os tipos de máquina A4X Max e A4X usam a plataforma de CPU NVIDIA Grace com núcleos Arm® Neoverse™ V2. Para mais detalhes sobre a plataforma, consulte Plataformas de CPU.

  • Escalabilidade do NVLink: o NVLink de vários nós é escalonado para até 72 GPUs em um único domínio e fornece largura de banda bidirecional de GPU NVLink de 1.800 GBps por GPU.

  • Suporte a disco: as instâncias A4X Max e A4X são compatíveis com SSD local para discos de trabalho rápidos, o que é útil para alimentar dados em GPUs e evitar gargalos de E/S. 12.000 GiB de SSD local são adicionados automaticamente às instâncias A4X Max e A4X.

    Para armazenamento durável, é possível anexar até 512 TiB de armazenamento do Hyperdisk. Para mais informações sobre tipos de disco, consulte Escolher um tipo de disco.

  • Suporte à alocação densa e à programação com reconhecimento de topologia: os tipos de máquina A4X Max e A4X permitem solicitar blocos de capacidade densamente alocada. As máquinas host são alocadas fisicamente próximas umas das outras, provisionadas como blocos de recursos e interconectadas com uma malha de rede de ML dinâmica para minimizar os saltos de rede e otimizar a baixa latência. Além disso, para instâncias A4X Max e A4X, é possível receber informações de topologia no nível do nó e do cluster que podem ser usadas para o posicionamento de jobs.

Opções de preços e consumo para instâncias A4X Max e A4X

As instâncias A4X Max e A4X são compatíveis com as seguintes opções de consumo e desconto:

OGoogle Cloud cobra as instâncias A4X Max e A4X pelas GPUs anexadas, vCPUs predefinidas, memória e discos SSD locais incluídos. O uso de hiperdisco e de rede é cobrado separadamente do preço do tipo de máquina. Para mais informações, consulte Opções de preços e consumo, Preços da família tipo de máquina otimizados para aceleradores e Preços de GPU.

Tipo de máquina A4X Max (NVIDIA GB300)

Os tipos de máquina otimizados para aceleradores A4X Max usam os superchips NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) e são ideais para treinamento e disponibilização de modelos de fundação. Os tipos de máquina A4X Max estão disponíveis como instâncias bare metal.

A A4X Max é uma plataforma de exaescala baseada no NVIDIA GB300 NVL72. Cada máquina tem dois soquetes com CPUs NVIDIA Grace com núcleos Arm Neoverse V2. Essas CPUs estão conectadas a quatro GPUs NVIDIA B300 Blackwell com comunicação rápida entre chips (NVLink-C2C). Para informações sobre as limitações de tipo de máquina, consulte Limitações do A4X Max e do A4X.

Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA GB300 Memória da GPU (GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12.000 6 3.600 4 1.116

Observações sobre o tipo de máquina A4X Max

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Tipo de máquina A4X (NVIDIA GB200)

Os tipos de máquina otimizados para aceleradores A4X usam superchips NVIDIA GB200 Grace Blackwell (nvidia-gb200) e são ideais para treinamento e disponibilização de modelos de fundação.

A A4X é uma plataforma de exaescala baseada no NVIDIA GB200 NVL72. Cada máquina tem dois soquetes com CPUs NVIDIA Grace com núcleos Arm Neoverse V2. Essas CPUs estão conectadas a quatro GPUs NVIDIA B200 Blackwell com comunicação rápida entre chips (NVLink-C2C). Para informações sobre as limitações de tipo de máquina, consulte Limitações do A4X Max e do A4X.

Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA GB200 Memória da GPU (GB HBM3e)
a4x-highgpu-4g 140 884 12.000 6 2.000 4 744

Observações sobre o tipo de máquina A4X

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Limitações do A4X Max e do A4X

As limitações a seguir se aplicam às instâncias A4X Max e A4X:

Instâncias A4X Max

Instâncias A4X

Tipos de disco compatíveis com as instâncias A4X Max e A4X

A4X Max

As instâncias A4X Max podem usar os seguintes tipos de armazenamento em blocos:

  • Hyperdisk Balanced (hyperdisk-balanced): esse é o único tipo de disco compatível com o disco de inicialização.
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Hyperdisk ML (hyperdisk-ml)
  • Hiperdisco extremo (hyperdisk-extreme)
  • SSD local: adicionado automaticamente às instâncias criadas usando qualquer um dos tipos de máquina A4X Max

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os Hyperdisks Hiperdisco equilibrado Hyperdisk Throughput Hyperdisk ML Hiperdisco extremo SSD local anexado
a4x-maxgpu-4g-metal 32 32 32 32 8 4

A4X

As instâncias A4X podem usar os seguintes tipos de armazenamento em blocos:

  • Hyperdisk Balanced (hyperdisk-balanced): esse é o único tipo de disco compatível com o disco de inicialização.
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD local: adicionado automaticamente às instâncias criadas usando qualquer um dos tipos de máquina A4X

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os Hyperdisks Hiperdisco equilibrado Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hiperdisco extremo SSD local anexado
a4x-highgpu-4g 128 128 0 0 128 8 4

A observação a seguir se aplica à tabela anterior:

Limites de disco e capacidade

É possível anexar uma combinação de diferentes tipos de Hyperdisk a uma instância, mas a capacidade total máxima de disco (em TiB) em todos os tipos de disco não pode exceder 512 TiB para todos os Hyperdisks.

Para detalhes sobre os limites de capacidade, consulte Limites de tamanho e anexos do Hyperdisk.

Experiência de manutenção para instâncias A4X Max e A4X

Durante o ciclo de vida de uma instância do Compute Engine, a máquina host em que a instância é executada passa por vários eventos de host. Um evento de host pode incluir a manutenção regular da infraestrutura do Compute Engine ou, em casos raros, um erro de host. O Compute Engine também aplica alguns upgrades leves e sem interrupções para o hipervisor e a rede em segundo plano.

A tabela a seguir descreve os recursos de manutenção de host para os tipos de máquina A4X Max e A4X:

Tipo de máquina Número de GPUs Frequência típica de eventos de manutenção programada Comportamento de manutenção Notificação antecipada de manutenção programada Manutenção sob demanda Simular manutenção
A4X Max e A4X 4 Mínimo de 90 dias Termina com persistência de dados do SSD local 90 dias Sim Não

As observações a seguir se aplicam à tabela anterior:

  • Frequência típica de eventos de manutenção programada:

    As frequências de manutenção mostradas na tabela anterior são aproximadas, não garantias. O Compute Engine pode, às vezes, realizar manutenção com mais frequência.

Para mais informações sobre a manutenção do host no Hipercomputador de IA, consulte Noções básicas sobre a manutenção do host na documentação do Hipercomputador de IA.

A série de máquinas A4

A série de máquinas A4 oferece tipos de máquinas com até 224 vCPUs e 3.968 GB de memória. As instâncias A4 oferecem até 3 vezes o desempenho dos tipos de instância de GPU anteriores para a maioria das cargas de trabalho aceleradas por GPU. A A4 é recomendada para cargas de trabalho de treinamento de ML, especialmente em grande escala, por exemplo, centenas ou milhares de GPUs. A série de máquinas A4 está disponível em um único tipo de máquina.

As instâncias de VM criadas usando o tipo de máquina A4 oferecem os seguintes recursos:

  • Aceleração de GPU com GPUs NVIDIA B200: as GPUs NVIDIA B200 são anexadas automaticamente às instâncias A4, que oferecem 180 GB de memória de GPU por GPU.

  • Processador escalonável Intel Xeon de 5ª geração (Emerald Rapids): oferece até 4,0 GHz de frequência turbo máxima sustentada com um núcleo. Para mais informações sobre esse processador, consulte Plataforma de CPU.

  • Escalabilidade do NVLink: as GPUs NVIDIA B200 fornecem largura de banda de GPU NVLink de 1.800 GBps, bidirecionalmente por GPU.

    Com a topologia de NVLink completa entre oito GPUs em um sistema, a largura de banda NVLink agregada é de até 14,4 TBps.

  • Rede aprimorada com RoCE: o RDMA em Ethernet convergente (RoCE) aumenta o desempenho da rede combinando placas de rede (NICs) NVIDIA ConnectX-7 com a rede de quatro vias alinhada por rails em todo o data center do Google. Ao usar o RDMA em Ethernet convergente (RoCE), as instâncias A4 alcançam uma capacidade de processamento muito maior entre as instâncias em um cluster em comparação com a maioria das instâncias A3, exceto aquelas em execução no tipo de máquina A3 Ultra.

  • Velocidades de rede maiores: oferece velocidades de rede até quatro vezes maiores em comparação com as instâncias A2 da geração anterior.

    Para mais informações sobre rede, consulte Larguras de banda de rede e GPUs.

  • Otimizações de virtualização para transferências e recuperação de dados: a topologia Express de interconexão de componentes periféricos (PCIe) das instâncias A4 fornece informações de localidade mais precisas que as cargas de trabalho podem usar para otimizar as transferências de dados.

    As GPUs também expõem a redefinição de nível de função (FLR) para recuperação graciosa de falhas e compatibilidade com operações atômicas para melhorias de simultaneidade em determinados cenários.

  • Suporte a disco: as instâncias A4 são compatíveis com SSD local para discos de trabalho rápidos, o que é útil para alimentar dados em GPUs e evitar gargalos de E/S. Para armazenamento durável, é possível anexar volumes do Hyperdisk.

    12.000 GiB de SSD local são adicionados automaticamente às instâncias A4. Para cargas de trabalho que exigem armazenamento em blocos durável, também é possível anexar até 512 TiB de Hyperdisk a instâncias A4. Para mais informações sobre tipos de disco, consulte Escolher um tipo de disco.

  • Suporte à alocação densa e à programação com reconhecimento de topologia: ao provisionar instâncias A4, é possível solicitar blocos de capacidade densamente alocada. As máquinas host são alocadas fisicamente próximas umas das outras, provisionadas como blocos de recursos e interconectadas com uma estrutura de rede de ML dinâmica para minimizar os saltos de rede e otimizar a latência mais baixa. Além disso, é possível receber informações de topologia no nível do nó e do cluster que podem ser usadas para posicionamento de jobs.

Opções de preços e consumo para instâncias A4

As instâncias A4 são compatíveis com as seguintes opções de consumo e desconto:

OGoogle Cloud cobra as instâncias A4 pelas GPUs anexadas, vCPUs predefinidas, memória e discos SSD locais incluídos. O uso de hiperdisco e de rede é cobrado separadamente do preço do tipo de máquina. Para mais informações, consulte Opções de preços e consumo, Preços da família tipo de máquina otimizados para aceleradores e Preços de GPU.

Tipo de máquina A4 (NVIDIA B200)

Os tipos de máquina otimizados para acelerador A4 têm GPUs NVIDIA B200 Blackwell (nvidia-b200) anexadas e são ideais para treinamento e disponibilização de modelos de fundação. Para informações sobre as limitações de tipo de máquina, consulte Limitações da A4.

Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA B200 Blackwell Memória da GPU (GB HBM3e)
a4-highgpu-8g 224 3.968 12.000 10 3.600 8 1,440

Observações sobre o tipo de máquina A4

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Limitações da A4

  • Só é possível solicitar capacidade usando as opções de consumo compatíveis para um tipo de máquina A4.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina A4.
  • Só é possível usar um tipo de máquina A4 em determinadas regiões e zonas.
  • Não é possível usar o Persistent Disk (regional ou zonal). Só é possível usar o Google Cloud Hyperdisk.
  • O tipo de máquina A4 só está disponível na plataforma de CPU Emerald Rapids.
  • Não é possível alterar o tipo de máquina de uma instância para ou do tipo de máquina A4. É preciso criar uma nova instância com esse tipo de máquina.
  • Os tipos de máquina A4 não dão suporte a locatários individuais.
  • Não é possível executar sistemas operacionais Windows em um tipo de máquina A4.
  • Para instâncias A4, quando você usa ethtool -S para monitorar a rede de GPU, os contadores de porta física que terminam em _phy não são atualizados. Esse é o comportamento esperado para instâncias que usam a arquitetura de função virtual (VF, na sigla em inglês) do MRDMA. Para mais informações, consulte Funções de MRDMA e ferramentas de monitoramento de rede.
  • Não é possível anexar discos do Hyperdisk ML criados antes de 4 de fevereiro de 2026 a tipos de máquina A4.

Tipos de disco compatíveis com instâncias A4

As instâncias A4 podem usar os seguintes tipos de armazenamento em blocos:

  • Hyperdisk Balanced (hyperdisk-balanced): esse é o único tipo de disco compatível com o disco de inicialização
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD local: adicionado automaticamente às instâncias criadas usando qualquer um dos tipos de máquina A4

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os Hyperdisks Hiperdisco equilibrado Hyperdisk Throughput Hyperdisk ML Hiperdisco extremo SSD local anexado
a4-highgpu-8g 128 128 N/A 128 8 32

A observação a seguir se aplica à tabela anterior:

Limites de disco e capacidade

É possível anexar uma combinação de diferentes tipos de Hyperdisk a uma instância, mas a capacidade total máxima de disco (em TiB) em todos os tipos de disco não pode exceder 512 TiB para todos os Hyperdisks.

Para detalhes sobre os limites de capacidade, consulte Limites de tamanho e anexos do Hyperdisk.

Experiência de manutenção para instâncias A4

Durante o ciclo de vida de uma instância do Compute Engine, a máquina host em que a instância é executada passa por vários eventos de host. Um evento de host pode incluir a manutenção regular da infraestrutura do Compute Engine ou, em casos raros, um erro de host. O Compute Engine também aplica alguns upgrades leves e sem interrupções para o hipervisor e a rede em segundo plano.

A tabela a seguir descreve os recursos de manutenção de host para tipos de máquina A4:

Tipo de máquina Número de GPUs Frequência típica de eventos de manutenção programada Comportamento de manutenção Notificação antecipada de manutenção programada Manutenção sob demanda Simular manutenção
A4 8 Mínimo de 90 dias Termina com persistência de dados do SSD local 90 dias Sim Não

As observações a seguir se aplicam à tabela anterior:

  • Frequência típica de eventos de manutenção programada:

    As frequências de manutenção mostradas na tabela anterior são aproximadas, não garantias. O Compute Engine pode, às vezes, realizar manutenção com mais frequência.

Para mais informações sobre a manutenção do host no Hipercomputador de IA, consulte Noções básicas sobre a manutenção do host na documentação do Hipercomputador de IA.

A série de máquinas A3

A série de máquinas A3 tem até 224 vCPUs e 2.944 GB de memória. Essa série de máquinas é otimizada para uso intenso de computação e memória, treinamento de ML vinculado à rede e cargas de trabalho de HPC. A série de máquinas A3 está disponível nos tipos de máquina A3 Ultra, A3 Mega, A3 High e A3 Edge.

A tabela a seguir compara os recursos que diferem entre os tipos de máquina A3:

Recurso A3 Ultra (NVIDIA H200) A3 Mega, High e Edge (NVIDIA H100)
Aceleração de GPU

As GPUs NVIDIA H200 SXM estão conectadas, oferecendo 141 GB de memória de GPU por GPU e fornecendo memória maior e mais rápida para oferecer suporte a modelos de linguagem grandes e cargas de trabalho de HPC.

As GPUs NVIDIA H100 SXM estão anexadas, oferecendo 80 GB de memória de GPU por GPU, o que é ideal para grandes modelos de linguagem baseados em transformadores, bancos de dados e HPC.
Processadores escalonáveis Intel Xeon

Processador escalonável Intel Xeon de 5ª geração (Emerald Rapids), que oferece até 4,0 GHz de frequência turbo máxima sustentada com um núcleo. Para mais informações sobre esse processador, consulte Plataformas de CPU.

Processador escalonável Intel Xeon de 4ª geração (Sapphire Rapids), que oferece até 3,3 GHz de frequência turbo máxima sustentada com um núcleo. Para mais informações sobre esse processador, consulte Plataformas de CPU.
Rede avançada

Para esse tipo de máquina, o acesso direto à memória remota (RDMA) em Ethernet convergente (RoCE) aumenta o desempenho da rede combinando placas de rede (NICs) NVIDIA ConnectX-7 com a rede alinhada por rails de quatro vias em todo o data center do Google. Ao usar o RDMA sobre Ethernet convergente (RoCE), o tipo de máquina a3-ultragpu-8g alcança uma capacidade de processamento muito maior entre as instâncias em um cluster em comparação com outros tipos de máquina A3.
  • Para os tipos de máquina A3 Mega, o GPUDirect-TCPXO melhora ainda mais o GPUDirect-TCPX ao descarregar o protocolo TCP. Ao usar o GPUDirect-TCPXO, o tipo de máquina a3-megagpu-8g duplica a largura de banda da rede em comparação com os tipos de máquina A3 High e A3 Edge.
  • Para os tipos de máquina A3 Edge (a3-edgegpu-8g) e A3 High (a3-highgpu-8g), o GPUDirect-TCPX aumenta o desempenho da rede ao permitir que os payloads dos pacotes de dados sejam transferidos diretamente da memória da GPU para a interface de rede. Ao usar o GPUDirect-TCPX, esses tipos de máquina alcançam uma capacidade de processamento muito maior entre as instâncias em um cluster quando comparados aos tipos de máquina otimizados para aceleradores A2 ou G2.
Velocidades de rede aprimoradas

Oferece velocidades de rede até 4 vezes maiores em comparação com a série de máquinas A2 da geração anterior.

Para mais informações sobre rede, consulte Larguras de banda de rede e GPUs.

Oferece velocidades de rede até 2,5 vezes maiores em comparação com a série de máquinas A2 da geração anterior.

Para mais informações sobre rede, consulte Larguras de banda de rede e GPUs.

Todos os tipos de máquina A3 compartilham os seguintes recursos:

  • Escalabilidade do NVLink: as GPUs NVIDIA H200 e H100 fornecem largura de banda de GPU NVLink de pico de 450 GBps, unidirecionalmente. Ao usar uma topologia NVLink completa, um sistema de 8 GPUs alcança uma largura de banda agregada de até 7,2 TBps.

  • Otimizações de virtualização: a topologia Express de interconexão de componentes periféricos (PCIe) das instâncias A3 fornece informações de localidade mais precisas que as cargas de trabalho podem usar para otimizar as transferências de dados. As GPUs também expõem a redefinição de nível de função (FLR) para recuperação graciosa de falhas e compatibilidade com operações atômicas para melhorias de simultaneidade em determinados cenários.

  • Suporte a disco: as instâncias A3 são compatíveis com SSD local para discos de trabalho rápidos, o que é útil para alimentar dados em GPUs e evitar gargalos de E/S. Para armazenamento durável, é possível anexar volumes de Persistent Disk e Hyperdisk.

    O SSD local é anexado da seguinte maneira:

    • 12.000 GiB de SSD local são adicionados automaticamente às instâncias A3 Ultra.
    • 6.000 GiB de SSD local são adicionados automaticamente às instâncias A3 Mega, High e Edge.

    Para cargas de trabalho que exigem armazenamento em blocos durável, também é possível anexar até 512 TiB de Persistent Disk e Hyperdisk a tipos de máquina nessas séries. Para alguns tipos de máquina, também é possível usar até 257 TiB de Persistent Disk. Para mais informações sobre tipos de disco, consulte Escolher um tipo de disco.

  • Suporte à política de posicionamento compacto: oferece mais controle sobre o posicionamento físico das suas instâncias em data centers. Essa colocação permite menor latência e maior largura de banda para instâncias localizadas em uma única zona de disponibilidade. Para mais informações, consulte Sobre as políticas de posicionamento compacto.

Opções de preços e consumo para instâncias A3

As instâncias A3 são compatíveis com as seguintes opções de consumo e desconto:

OGoogle Cloud cobra as instâncias A3 pelas GPUs anexadas, vCPUs predefinidas, memória e discos SSD locais incluídos. O uso de Persistent Disk, hiperdisco e rede é cobrado separadamente do preço do tipo de máquina. Para mais informações, consulte Opções de preços e consumo, Preços da família tipo de máquina otimizados para aceleradores e Preços de GPU.

Tipo de máquina A3 Ultra (NVIDIA H200)

Os tipos de máquina A3 Ultra têm GPUs NVIDIA H200 SXM (nvidia-h200-141gb) anexadas e oferecem o melhor desempenho de rede na série A3. Os tipos de máquina A3 Ultra são ideais para treinamento e disponibilização de modelos de fundação. Para informações sobre as limitações do tipo de máquina, consulte Limitações do A3 Ultra.

Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA H200 Memória da GPU (GB HBM3e)
a3-ultragpu-8g 224 2.952 12.000 10 3.600 8 1128

Observações sobre o tipo de máquina A3 Ultra

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Limitações da A3 Ultra

  • Só é possível solicitar capacidade usando as opções de consumo compatíveis para um tipo de máquina A3 Ultra.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de instâncias que usam um tipo de máquina A3 Ultra.
  • Só é possível usar um tipo de máquina A3 Ultra em determinadas regiões e zonas.
  • Não é possível usar o Persistent Disk (regional ou zonal). Só é possível usar o Google Cloud Hyperdisk.
  • O tipo de máquina A3 Ultra só está disponível na plataforma de CPU Emerald Rapids.
  • Não é possível mudar o tipo de máquina para o tipo A3 Ultra. Para mudar para ou desse tipo de máquina, é preciso criar uma nova instância.
  • Não é possível executar sistemas operacionais Windows em um tipo de máquina A3 Ultra.
  • Os tipos de máquina A3 Ultra não são compatíveis com locatário individual.
  • Para instâncias A3 Ultra, quando você usa ethtool -S para monitorar a rede de GPU, os contadores de portas físicas que terminam em _phy não são atualizados. Esse é o comportamento esperado para instâncias que usam a arquitetura de função virtual (VF, na sigla em inglês) do MRDMA. Para mais informações, consulte Funções de MRDMA e ferramentas de monitoramento de rede.

Tipo de máquina A3 Mega (NVIDIA H100)

Os tipos de máquina A3 Mega têm GPUs NVIDIA H100 SXM e são ideais para treinamento de modelo grandes e inferência de vários hosts. Para informações sobre limitações de tipo de máquina, consulte Limitações do A3 Mega.
Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA H100 Memória da GPU (GB HBM3)
a3-megagpu-8g 208 1.872 6.000 9 1.800 8 640

Observações sobre o tipo de máquina A3 Mega

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Limitações da A3 Mega (NVIDIA H100)

Tipo de máquina A3 High (NVIDIA H100)

Os tipos de máquina A3 High têm GPUs NVIDIA H100 SXM e são adequados para inferência de modelos grandes e ajuste fino de modelos. Para informações sobre limitações de tipo de máquina, consulte Limitações do A3 High.
Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA H100 Memória da GPU (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1.500 1 50 2 160
a3-highgpu-4g 104 936 3.000 1 100 4 320
a3-highgpu-8g 208 1.872 6.000 5 1.000 8 640

Observações sobre o tipo de máquina A3 High

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Limitações da A3 High

Tipo de máquina A3 Edge (NVIDIA H100)

Os tipos de máquina A3 Edge têm GPUs NVIDIA H100 SXM, são projetados especificamente para veiculação e estão disponíveis em um conjunto limitado de regiões. Para informações sobre as limitações de tipo de máquina, consulte Limitações do A3 Edge.
Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA H100 Memória da GPU (GB HBM3)
a3-edgegpu-8g 208 1.872 6.000 5 600 (asia-south1 e northamerica-northeast2) ou 400 (todas as outras regiões da A3 Edge) 8 640

Observações sobre o tipo de máquina A3 Edge

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Limitações do A3 Edge

Tipos de disco compatíveis com instâncias A3

A3 Ultra

As instâncias A3 Ultra podem usar os seguintes tipos de armazenamento em blocos:

  • Hyperdisk Balanced (hyperdisk-balanced): esse é o único tipo de disco compatível com o disco de inicialização
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD local: adicionado automaticamente às instâncias criadas usando qualquer um dos tipos de máquina A3

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os Hyperdisks Hiperdisco equilibrado Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hiperdisco extremo Discos SSD locais anexados
a3-ultragpu-8g 128 128 128 N/A 128 8 32

A observação a seguir se aplica à tabela anterior:

A3 Mega

As instâncias A3 Mega podem usar os seguintes tipos de armazenamento em blocos:

  • Disco permanente equilibrado (pd-balanced)
  • Disco permanente SSD (desempenho) (pd-ssd)
  • Hiperdisco equilibrado (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local: adicionado automaticamente às instâncias criadas usando qualquer um dos tipos de máquina A3

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os Hyperdisks Hiperdisco equilibrado Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hiperdisco extremo Discos SSD locais anexados
a3-megagpu-8g 128 32 32 64 64 8 16

A observação a seguir se aplica à tabela anterior:

A3 High

As instâncias A3 High podem usar os seguintes tipos de armazenamento em blocos:

  • Disco permanente equilibrado (pd-balanced)
  • Disco permanente SSD (desempenho) (pd-ssd)
  • Hiperdisco equilibrado (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local: adicionado automaticamente às instâncias criadas usando qualquer um dos tipos de máquina A3

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os Hyperdisks Hiperdisco equilibrado Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hiperdisco extremo Discos SSD locais anexados
a3-highgpu-1g 128 32 32 64 64 N/A 2
a3-highgpu-2g 128 32 32 64 64 N/A 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

A observação a seguir se aplica à tabela anterior:

A3 Edge

As instâncias do A3 Edge podem usar os seguintes tipos de armazenamento em blocos:

  • Disco permanente equilibrado (pd-balanced)
  • Disco permanente SSD (desempenho) (pd-ssd)
  • Hiperdisco equilibrado (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hiperdisco extremo (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local: adicionado automaticamente às instâncias criadas usando qualquer um dos tipos de máquina A3

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os Hyperdisks Hiperdisco equilibrado Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hiperdisco extremo SSD local anexado
a3-edgegpu-8g 128 32 32 64 64 8 16

A observação a seguir se aplica à tabela anterior:

Limites de disco e capacidade

Se houver suporte pelo tipo de máquina, será possível anexar uma combinação de volumes do Hyperdisk e do Persistent Disk a uma instância, mas as seguintes restrições se aplicam:

  • O número combinado de volumes do Hyperdisk e Persistent Disk não pode exceder 128 por instância.

  • A capacidade total máxima de disco (em TiB) em todos os tipos de disco não pode exceder:

    • Para tipos de máquina com menos de 32 vCPUs:

      • 257 TiB para todos os Hyperdisks ou todos os Persistent Disks
      • 257 TiB para uma combinação de Hyperdisk e Persistent Disk

    • Para tipos de máquina com 32 ou mais vCPUs:

      • 512 TiB para todos os Hyperdisks
      • 512 TiB para uma combinação de hiperdisco e disco permanente
      • 257 TiB para todos os Persistent Disks

Para detalhes sobre os limites de capacidade, consulte Limites de tamanho e anexação do Hyperdisk e Capacidade máxima do Persistent Disk.

Experiência de manutenção para instâncias A3

Durante o ciclo de vida de uma instância do Compute Engine, a máquina host em que a instância é executada passa por vários eventos de host. Um evento de host pode incluir a manutenção regular da infraestrutura do Compute Engine ou, em casos raros, um erro de host. O Compute Engine também aplica alguns upgrades leves e sem interrupções para o hipervisor e a rede em segundo plano.

A tabela a seguir descreve os recursos de manutenção do host para tipos de máquina A3:

Tipo de máquina Número de GPUs Frequência típica de eventos de manutenção programada Comportamento de manutenção Notificação antecipada de manutenção programada Manutenção sob demanda Simular manutenção
A3 Ultra 8 Mínimo de 90 dias Termina com persistência de dados do SSD local 90 dias Sim Não
A3 Mega e A3 High 8 No mínimo 30 dias Encerrar e reiniciar 7 dias Sim Sim
A3 High 1, 2, 4 No mínimo 30 dias Encerrar e reiniciar 7 dias Não Sim
A3 Edge 8 No mínimo 30 dias Encerrar e reiniciar 7 dias Sim Sim

As observações a seguir se aplicam à tabela anterior:

  • Frequência típica de eventos de manutenção programada:

    As frequências de manutenção mostradas na tabela anterior são aproximadas, não garantias. O Compute Engine pode, às vezes, realizar manutenção com mais frequência.

  • A3 Mega e A3 High: as frequências de manutenção programada e as janelas de notificação excluem instâncias cobertas por contratos de manutenção específicos do cliente.

Para mais informações sobre a manutenção do host no Hipercomputador de IA, consulte Noções básicas sobre a manutenção do host na documentação do Hipercomputador de IA.

A série de máquinas A2

A série de máquinas A2 está disponível nos tipos de máquina A2 Standard e A2 Ultra. Esses tipos de máquina têm de 12 a 96 vCPUs e até 1.360 GB de memória.

As instâncias de VM criadas usando os tipos de máquina A2 oferecem os seguintes recursos:

  • Aceleração de GPU: cada instância A2 tem GPUs NVIDIA A100. Elas estão disponíveis nas opções A100 de 40 GB e A100 de 80 GB.

  • Escalabilidade do NVLink: as GPUs NVIDIA A100 fornecem largura de banda de GPU NVLink de pico de 600 GBps. Por exemplo, sistemas com 16 GPUs têm uma largura de banda NVLink agregada de até 9,6 TBps. Essas 16 GPUs podem ser usadas como um único acelerador de alto desempenho com espaço de memória unificado para fornecer até 10 petaFLOPS de capacidade de computação e até 20 petaFLOPS de capacidade de computação de inferência que podem ser usados para inteligência artificial, aprendizado profundo e cargas de trabalho de machine learning.

  • Velocidade de computação de última geração: as GPUs NVIDIA A100 anexadas oferecem melhoria de 10 vezes a velocidade de computação em comparação com as GPUs NVIDIA V100 da geração anterior.

    Com a série de máquinas A2, você pode ter até 100 Gbps de largura de banda de rede.

  • Suporte a disco: as instâncias A2 são compatíveis com SSD local para discos de trabalho rápidos, o que é útil para alimentar dados em GPUs e evitar gargalos de E/S. Para armazenamento durável, é possível anexar volumes de Persistent Disk e Hyperdisk.

    O SSD local é compatível da seguinte forma:

    • Para os tipos de máquina padrão A2, é possível adicionar até 3.000 GiB de SSD local ao criar uma instância.
    • Para os tipos de máquina A2 Ultra, o SSD local é anexado automaticamente quando você cria uma instância.

    Para cargas de trabalho que exigem armazenamento em blocos durável, é possível anexar até 257 TiB de Persistent Disk e 512 TiB de volumes de hiperdisco a instâncias A2. Para mais informações sobre tipos de disco, consulte Escolher um tipo de disco.

  • Suporte à política de posicionamento compacto: oferece mais controle sobre o posicionamento físico das suas instâncias em data centers. Isso permite menor latência e maior largura de banda para instâncias localizadas em uma única zona de disponibilidade. Para mais informações, consulte Reduzir a latência usando políticas de posicionamento compactas.

Opções de preços e consumo para instâncias A2

As instâncias A2 são compatíveis com as seguintes opções de consumo e desconto:

OGoogle Cloud cobra as instâncias A2 pelas GPUs anexadas, vCPUs predefinidas, memória e discos SSD locais incluídos (para A2 Ultra). O uso de Persistent Disk, hiperdisco, discos SSD locais adicionais (para A2 Standard) e rede é cobrado separadamente do preço do tipo de máquina. Para mais informações, consulte Opções de preços e consumo, Preços da família tipo de máquina otimizados para aceleradores e Preços de GPU.

Os seguintes tipos de máquina estão disponíveis para a série de máquinas A2.

Tipos de máquina A2 Ultra (NVIDIA A100 de 80 GB)

Esses tipos de máquina têm um número fixo de GPUs A100 de 80 GB. O SSD local é anexado automaticamente às instâncias criadas usando os tipos de máquina A2 Ultra. Para informações sobre as limitações do tipo de máquina, consulte Limitações do A2 Ultra.

Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD local anexado (GiB) Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA A100 de 80 GB Memória da GPU (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1.500 50 4 320
a2-ultragpu-8g 96 1.360 3.000 100 8 640

Observações sobre o tipo de máquina A2 Ultra

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Limitações da Ultra A2

  • Só é possível solicitar capacidade usando as opções de consumo compatíveis para um tipo de máquina A2 Ultra.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de instâncias que usam um tipo de máquina A2 Ultra.
  • Você só pode usar um tipo de máquina A2 Ultra em determinadas regiões e zonas.
  • Os tipos de máquina A2 ultra só estão disponíveis na plataforma Cascade Lake.
  • Se a instância usa um tipo de máquina A2 Ultra, não é possível mudar o tipo de máquina. Se você precisar usar outro tipo de máquina ultra A2 ou qualquer outro tipo de máquina, crie uma nova instância.
  • Não é possível trocar nenhum tipo de máquina por um tipo de máquina A2 ultra. Se você precisar de uma instância que use um tipo de máquina A2 Ultra, crie uma nova instância.
  • Não é possível fazer um formato rápido dos SSDs locais anexados em instâncias do Windows que usam tipos de máquina A2 Ultra. Para formatar esses SSDs locais, é preciso usar o utilitário diskpart e especificar format fs=ntfs label=tmpfs.

Tipos de máquina A2 Standard (NVIDIA A100 de 40 GB)

Esses tipos de máquina têm um número fixo de GPUs A100 de 40 GB. Também é possível adicionar discos SSD locais ao criar uma instância A2 Standard. Para saber o número de discos que podem ser anexados, consulte Tipos de máquina que exigem que você escolha um número de discos SSD locais. Para informações sobre as limitações de tipo de máquina, consulte Limitações do A2 Standard.

Tipo de máquina Contagem de vCPU Memória da instância (GB) Compatível com SSD local Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA A100 de 40 GB Memória da GPU (GB HBM2)
a2-highgpu-1g 12 85 Sim 24 1 40
a2-highgpu-2g 24 170 Sim 32 2 80
a2-highgpu-4g 48 340 Sim 50 4 160
a2-highgpu-8g 96 680 Sim 100 8 320
a2-megagpu-16g 96 1.360 Sim 100 16 640

Observações sobre o tipo de máquina padrão A2

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Limitações da A2 Standard

  • Só é possível solicitar capacidade usando as opções de consumo compatíveis para um tipo de máquina padrão A2.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de instâncias que usam um tipo de máquina A2 padrão.
  • Só é possível usar um tipo de máquina padrão A2 em determinadas regiões e zonas.
  • Os tipo de máquina A2 padrão só estão disponíveis na plataforma Cascade Lake.
  • Se a instância usa um tipo de máquina padrão A2, só é possível trocar esse tipo A2 padrão por outro tipo A2 padrão. Não é possível mudar para outro tipo de máquina. Para mais informações, consulte Modificar instâncias otimizadas para aceleradores.
  • Não é possível usar o sistema operacional Windows com o tipo de máquina a2-megagpu-16g. Ao usar um sistema operacional Windows, escolha um tipo de máquina diferente do padrão A2.
  • Não é possível fazer um formato rápido dos SSDs locais anexados em instâncias do Windows que usam tipos de máquina padrão A2. Para formatar esses SSDs locais, é preciso usar o utilitário diskpart e especificar format fs=ntfs label=tmpfs.

Tipos de disco compatíveis com instâncias A2

As instâncias A2 podem usar os seguintes tipos de armazenamento em blocos:

  • Hyperdisk ML (hyperdisk-ml)
  • Disco permanente equilibrado (pd-balanced)
  • Disco permanente SSD (desempenho) (pd-ssd)
  • Disco permanente padrão (pd-standard)
  • SSD local: anexado automaticamente às instâncias criadas usando os tipos de máquina A2 Ultra.

A2 Ultra

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os discos Hyperdisk ML SSD local anexado
a2-ultragpu-1g 128 32 1
a2-ultragpu-2g 128 48 2
a2-ultragpu-4g 128 64 4
a2-ultragpu-8g 128 64 8

As observações a seguir se aplicam à tabela anterior:

A2 Padrão

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os discos Hyperdisk ML SSD local
a2-highgpu-1g 128 32 8
a2-highgpu-2g 128 48 8
a2-highgpu-4g 128 64 8
a2-highgpu-8g 128 64 8
a2-megagpu-16g 128 64 8

As observações a seguir se aplicam à tabela anterior:

Se houver suporte pelo tipo de máquina, será possível anexar uma combinação de volumes do Hyperdisk e do Persistent Disk a uma instância, mas as seguintes restrições se aplicam:

  • O número combinado de volumes do Hyperdisk e Persistent Disk não pode exceder 128 por instância.

  • A capacidade total máxima de disco (em TiB) em todos os tipos de disco não pode exceder:

    • Para tipos de máquina com menos de 32 vCPUs:

      • 257 TiB para todos os Hyperdisks ou todos os Persistent Disks
      • 257 TiB para uma combinação de Hyperdisk e Persistent Disk

    • Para tipos de máquina com 32 ou mais vCPUs:

      • 512 TiB para todos os Hyperdisks
      • 512 TiB para uma combinação de hiperdisco e disco permanente
      • 257 TiB para todos os Persistent Disks

Para detalhes sobre os limites de capacidade, consulte Limites de tamanho e anexação do Hyperdisk e Capacidade máxima do Persistent Disk.

Experiência de manutenção para instâncias A2

Durante o ciclo de vida de uma instância do Compute Engine, a máquina host em que a instância é executada passa por vários eventos de host. Um evento de host pode incluir a manutenção regular da infraestrutura do Compute Engine ou, em casos raros, um erro de host. O Compute Engine também aplica alguns upgrades leves e sem interrupções para o hipervisor e a rede em segundo plano.

A tabela a seguir descreve os recursos de manutenção do host para tipos de máquina A2:

Tipo de máquina Número de GPUs Frequência típica de eventos de manutenção programada Comportamento de manutenção Notificação antecipada de manutenção programada Manutenção sob demanda Simular manutenção
A2 Ultra 1, 2, 4, 8 No mínimo 30 dias Encerrar e reiniciar 7 dias Sim (somente 8 GPUs) Sim
A2 Padrão 1, 2, 4, 8 ou 16 No mínimo 30 dias Encerrar e reiniciar 7 dias Sim (somente 8 e 16 GPUs) Sim

As observações a seguir se aplicam à tabela anterior:

  • Frequência típica de eventos de manutenção programada:

    As frequências de manutenção mostradas na tabela anterior são aproximadas, não garantias. O Compute Engine pode, às vezes, realizar manutenção com mais frequência.

A série de máquinas G4

A série de máquinas G4 usa a plataforma de CPU AMD EPYC Turin e conta com GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition. Essa série de máquinas oferece melhorias significativas em relação à série de máquinas G2 da geração anterior, com muito mais memória de GPU, maior largura de banda de memória de GPU e maior largura de banda de rede.

As instâncias G4 têm até 384 vCPUs, 1.440 GB de memória e 12 TiB de discos SSD Titanium anexados. As instâncias G4 também oferecem até 400 Gbps de desempenho de rede padrão.

Essa série de máquinas é destinada principalmente a cargas de trabalho como as de simulação do NVIDIA Omniverse, aplicativos com uso intensivo de gráficos, transcodificação de vídeo e áreas de trabalho virtuais. A série de máquinas G4 também oferece uma solução de baixo custo para realizar inferência de host único e ajuste de modelo em comparação com os tipos de máquina da série A.

As instâncias que usam o tipo de máquina G4 oferecem os seguintes recursos:

  • Aceleração de GPU com GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition: as instâncias G4 anexam automaticamente GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition, que oferecem 96 GB de memória de GPU por GPU.

  • Plataforma de CPU AMD EPYC Turin de 5ª geração: essa plataforma oferece até 4,1 GHz de frequência máxima de aumento sustentada. Para mais informações sobre esse processador, consulte Plataforma de CPU.

  • Desempenho gráfico de última geração: as GPUs NVIDIA RTX PRO 6000 oferecem melhorias significativas de desempenho e recursos em relação às GPUs NVIDIA L4 anexadas à série de máquinas G2. Esses upgrades são os seguintes:

    • Tensor Cores de 5ª geração: esses núcleos oferecem suporte à precisão FP4 e à geração de vários frames do DLSS 4. Ao usar esses núcleos de tensor de 5ª geração, as GPUs NVIDIA RTX PRO 6000 oferecem um desempenho aprimorado para acelerar tarefas como o desenvolvimento de LLMs locais e a criação de conteúdo, em comparação com as GPUs NVIDIA L4.
    • Núcleos de RT de 4ª geração: esses núcleos oferecem até o dobro do desempenho de traçado de raio das GPUs NVIDIA L4 da geração anterior, acelerando a renderização para cargas de trabalho de design e fabricação.
    • Contagem de núcleos: a GPU NVIDIA RTX PRO 6000 inclui 24.064 núcleos CUDA, 752 núcleos Tensor de 5ª geração e 188 núcleos RT de 4ª geração. Essa atualização representa um aumento substancial em relação às gerações anteriores, como a GPU L4,que tem 7.680 núcleos CUDA e 240 núcleos Tensor.

  • Compartilhamento de GPU: há várias opções que podem ser usadas para permitir que várias cargas de trabalho acessem uma única GPU física. O compartilhamento de GPU é útil para cargas de trabalho que não exigem os recursos de uma GPU completa, ajudando você a otimizar custos. As seguintes opções de compartilhamento de GPU estão disponíveis para instâncias G4:

    • Suporte a GPU fracionária (vGPU): esse recurso permite que uma única GPU física seja compartilhada por várias instâncias de máquina virtual (VM). As vGPUs oferecem isolamento de segurança multilocatário porque cada vGPU é uma instância de VM separada. Para usar vGPUs, o Compute Engine fornece os seguintes formatos de instância de VM: g4-standard-6 (1/8 GPU), g4-standard-12 (1/4 GPU) e g4-standard-24 (1/2 GPU).
    • GPU de várias instâncias (MIG): esse recurso permite que uma única GPU seja particionada em até quatro instâncias totalmente isoladas em uma única máquina virtual. Essa opção não oferece isolamento de segurança multilocatário, já que todas as partições pertencem a uma única VM.

  • Suporte para Peripheral Component Interconnect Express (PCIe) de 5ª geração: as instâncias G4 oferecem suporte ao PCI Express de 5ª geração, que melhora a velocidade de transferência de dados da memória da CPU para a GPU em comparação com o PCIe de 3ª geração usado pelas instâncias G2.

  • Suporte a disco: as instâncias G4 são compatíveis com o SSD Titanium para discos de trabalho rápidos, o que é útil para alimentar dados em GPUs e evitar gargalos de E/S. Para armazenamento durável, é possível anexar volumes do Hyperdisk.

    As instâncias G4 permitem anexar até 12.000 GiB de SSD Titanium. Para cargas de trabalho que exigem armazenamento em blocos durável, as instâncias G4 também permitem anexar até 512 TiB de Hyperdisk. Para mais informações sobre tipos de disco, consulte Escolher um tipo de disco.

  • Comunicação ponto a ponto (P2P) de GPU: as instâncias G4 dão suporte à comunicação P2P de GPU, permitindo a transferência direta de dados entre GPUs na mesma instância. Isso pode melhorar significativamente o desempenho de cargas de trabalho com várias GPUs, reduzindo a latência de transferência de dados e liberando recursos de CPU. Para mais informações, consulte Comunicação ponto a ponto (P2P) da GPU G4.

  • Suporte à política de posicionamento compacto: esse recurso permite controlar o local físico das instâncias nos data centers. As políticas de posicionamento compacto ajudam a colocar instâncias próximas umas das outras para reduzir a latência de rede, o que é útil para cargas de trabalho sensíveis à latência, como computação de alto desempenho (HPC) ou machine learning (ML). Para mais informações, consulte Reduzir a latência usando políticas de posicionamento compactas.

Opções de preços e consumo para instâncias G4

As instâncias G4 são compatíveis com as seguintes opções de consumo e desconto:

OGoogle Cloud cobra as instâncias G4 pelas GPUs anexadas, vCPUs predefinidas e memória. O uso de hiperdiscos, discos SSD Titanium e rede é cobrado separadamente do preço do tipo de máquina. Para mais informações, consulte Opções de preços e consumo, Preços da família tipo de máquina otimizados para aceleradores e Preços de GPU.

Tipos de máquina G4 (NVIDIA RTX PRO 6000)

Os tipos de máquina otimizados para acelerador G4 usam GPUs NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) e são adequados para cargas de trabalho de simulação do NVIDIA Omniverse, aplicativos com uso intensivo de gráficos, transcodificação de vídeo e áreas de trabalho virtuais. Os tipos de máquina G4 também oferecem uma solução de baixo custo para realizar inferência de host único e ajuste de modelo em comparação com os tipos de máquina da série A.

Também é possível adicionar discos SSD Titanium ao criar uma instância G4. Para saber o número de discos que podem ser anexados, consulte Tipos de máquina que exigem que você escolha um número de discos SSD locais. Para informações sobre as limitações do tipo de máquina, consulte Limitações do G4.

Tipo de máquina Contagem de vCPU Memória da instância (GB) SSD Titanium máximo compatível (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA RTX PRO 6000 Memória da GPU (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1.500 1 50 1 96
g4-standard-96 96 360 3.000 1 100 2 192
g4-standard-192 192 720 6.000 1 200 4 384
g4-standard-384 384 1,440 12.000 2 400 8 768

Observações sobre o tipo de máquina G4

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Limitações da G4

Tipos de disco compatíveis com instâncias G4

As instâncias G4 podem usar os seguintes tipos de armazenamento em blocos:

  • Hyperdisk Balanced (hyperdisk-balanced): esse é o único tipo de disco compatível com o disco de inicialização.
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme): esse tipo de disco só é compatível com instâncias G4 que têm duas ou mais GPUs anexadas
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD Titanium: é possível adicionar o SSD Titanium a instâncias criadas usando os tipos de máquina G4.

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os Hyperdisks Hiperdisco equilibrado Hyperdisk Balanced High Availability Hiperdisco extremo Hyperdisk ML Hyperdisk Throughput SSD Titanium
g4-standard-6 8 8 8 0 8 8 0
g4-standard-12 16 16 16 0 16 16 1
g4-standard-24 32 32 32 0 32 32 2
g4-standard-48 32 32 32 0 32 32 4
g4-standard-96 32 32 32 8 32 32 8
g4-standard-192 64 64 64 8 64 64 16
g4-standard-384 128 128 128 8 128 128 32

A observação a seguir se aplica à tabela anterior:

É possível anexar uma combinação de diferentes tipos de Hyperdisk a uma instância, mas a capacidade total máxima de disco (em TiB) em todos os tipos de disco não pode exceder 512 TiB para todos os Hyperdisks.

Para detalhes sobre os limites de capacidade, consulte Limites de tamanho e anexos do Hyperdisk.

Comunicação ponto a ponto (P2P) entre GPUs

As instâncias G4 melhoram o desempenho de cargas de trabalho com várias GPUs usando a comunicação direta entre GPUs (P2P), que é compatível apenas com tipos de máquina com duas ou mais GPUs. Essa abordagem permite que as GPUs anexadas à mesma instância G4 troquem dados diretamente pelo barramento PCIe, sem precisar transferir dados pela memória principal da CPU. Esse caminho direto reduz a latência, diminui o uso da CPU e aumenta a largura de banda efetiva entre as GPUs. A comunicação P2P acelera significativamente os aplicativos de várias GPUs, como o treinamento de machine learning (ML) e a computação de alto desempenho (HPC).

Como as instâncias G4 usam a comunicação P2P de GPU por padrão, você recebe os seguintes benefícios sem modificar o código do aplicativo. No entanto, para aplicativos que usam a NVIDIA Collective Communication Library (NCCL), para receber as melhorias de desempenho completas da comunicação P2P, é necessário configurar a NCCL para usar P2P.

Principais benefícios e desempenho

  • Acelera cargas de trabalho de várias GPUs em instâncias G4 com duas ou mais GPUs: oferece tempos de execução mais rápidos para aplicativos em execução nos tipos de máquina g4-standard-96, g4-standard-192 e g4-standard-384.
  • Oferece comunicação de alta largura de banda: permite altas velocidades de transferência de dados entre GPUs.

  • Melhora o desempenho da NCCL: oferece melhorias significativas de desempenho para aplicativos que usam a Biblioteca de Comunicação Coletiva da NVIDIA (NCCL, na sigla em inglês) em comparação com a comunicação que não usa P2P. O hipervisor do Google isola com segurança essa comunicação P2P nas instâncias.

    • Em quatro instâncias de GPU (g4-standard-192), todas as GPUs estão em um único nó NUMA, permitindo a comunicação P2P mais eficiente. Isso pode levar a melhorias de desempenho de até 2,04x para coletivos como Allgather, Allreduce e ReduceScatter.
    • Em oito instâncias de GPU (g4-standard-384), as GPUs são distribuídas em dois nós NUMA. A comunicação P2P é acelerada para o tráfego dentro e entre esses nós, com melhorias de desempenho de até 2,19x para os mesmos coletivos.

Configurar o NCCL para usar P2P

Para configurar a NCCL para usar P2P, antes de executar as cargas de trabalho, defina a variável de ambiente NCCL_P2P_LEVEL na instância G4 com base no tipo de máquina:

  • Para instâncias G4 com 2 ou 4 GPUs (g4-standard-96, g4-standard-192): defina NCCL_P2P_LEVEL=PHB
  • Para instâncias G4 com 8 GPUs (g4-standard-384): defina NCCL_P2P_LEVEL=SYS

Defina a variável de ambiente usando uma das seguintes opções:

  • Na linha de comando, execute o comando de exportação apropriado, como export NCCL_P2P_LEVEL=SYS, na sessão do shell em que você planeja executar o app. Para tornar essa configuração persistente, adicione esse comando ao script de inicialização do shell, como ~/.bashrc.
  • Adicione a configuração adequada, como NCCL_P2P_LEVEL=SYS, ao arquivo de configuração da NCCL localizado em /etc/nccl.conf.

Experiência de manutenção para instâncias G4

Durante o ciclo de vida de uma instância do Compute Engine, a máquina host em que a instância é executada passa por vários eventos de host. Um evento de host pode incluir a manutenção regular da infraestrutura do Compute Engine ou, em casos raros, um erro de host. O Compute Engine também aplica alguns upgrades leves e sem interrupções para o hipervisor e a rede em segundo plano.

A tabela a seguir descreve os recursos de manutenção do host para tipos de máquina G4:

Tipo de máquina Número de GPUs Frequência típica de eventos de manutenção programada Comportamento de manutenção Notificação antecipada de manutenção programada Manutenção sob demanda Simular manutenção
G4 1, 2 ou 4 No mínimo 30 dias Encerre e reinicie. Se discos SSD locais estiverem anexados, a instância será encerrada com persistência de dados do SSD local. 7 dias Não Sim
G4 8 Mínimo de 90 dias Encerre e reinicie. Se discos SSD locais estiverem anexados, a instância será encerrada com persistência de dados do SSD local. 30 dias Sim Sim

As observações a seguir se aplicam à tabela anterior:

  • Frequência típica de eventos de manutenção programada:

    As frequências de manutenção mostradas na tabela anterior são aproximadas, não garantias. O Compute Engine pode, às vezes, realizar manutenção com mais frequência.

A série de máquinas G2

A série de máquinas G2 está disponível em tipos de máquina padrão e tem de 4 a 96 vCPUs e até 432 GB de memória. Essa série de máquinas é otimizada para inferência e cargas de trabalho gráficas. A série de máquinas G2 está disponível em um único tipo de máquina padrão com várias configurações.

As instâncias criadas usando os tipos de máquina G2 oferecem os seguintes recursos:

  • Aceleração de GPU: cada tipo de máquina G2 tem GPUs NVIDIA L4.

  • Taxas de inferência aprimoradas: o tipo de máquina G2 oferece suporte para o tipo de dados FP8 (ponto flutuante de 8 bits), que acelera as taxas de inferência de ML e reduz os requisitos de memória.

  • Desempenho gráfico de última geração: as GPUs NVIDIA L4 anexadas oferecem até três vezes mais performance usando gráficos de terceira geração. Núcleos de RT e tecnologia NVIDIA DLSS 3 (amostragem de aprendizado profundo).

  • Largura de banda de rede de alto desempenho: com os tipos de máquina G2, é possível ter até 100 Gbps de largura de banda de rede.

  • Suporte a disco: as instâncias G2 são compatíveis com SSD local para discos de trabalho rápidos, o que é útil para alimentar dados em GPUs e evitar gargalos de E/S. Para armazenamento durável, é possível anexar volumes de Persistent Disk e Hyperdisk.

    É possível adicionar até 3.000 GiB de SSD local às instâncias G2. Para cargas de trabalho que exigem armazenamento em blocos durável, é possível anexar volumes do Hyperdisk e do Persistent Disk a instâncias G2. A capacidade máxima de armazenamento depende do número de vCPUs que a instância tem. Para mais informações sobre tipos de disco, consulte Escolher um tipo de disco.

  • Suporte à política de posicionamento compacto: oferece mais controle sobre o posicionamento físico das suas instâncias em data centers. Isso permite menor latência e maior largura de banda para instâncias localizadas em uma única zona de disponibilidade. Para mais informações, consulte Reduzir a latência usando políticas de posicionamento compactas.

Opções de preços e consumo para instâncias G2

As instâncias G2 são compatíveis com as seguintes opções de consumo e desconto:

OGoogle Cloud fatura as instâncias G2 pelas GPUs anexadas, vCPUs predefinidas e memória. O uso de Persistent Disk, hiperdisco, discos SSD locais e rede é cobrado separadamente do preço do tipo de máquina. Para mais informações, consulte Opções de preços e consumo, Preços da família tipo de máquina otimizados para aceleradores e Preços de GPU.

Tipos de máquina G2 (NVIDIA L4)

Os tipos de máquina otimizados para acelerador G2 têm GPUs NVIDIA L4 anexadas e são ideais para inferência com otimização de custos, cargas de trabalho de computação de alto desempenho e gráficos intensivos.

Cada tipo de máquina G2 também tem uma memória padrão e um intervalo de memória personalizado. O intervalo de memória personalizado define a quantidade de memória que pode ser alocada à instância para cada tipo de máquina. Também é possível adicionar discos SSD locais ao criar uma instância G2. Para saber o número de discos que podem ser anexados, consulte Tipos de máquina que exigem que você escolha um número de discos SSD locais.

Para informações sobre as limitações do tipo de máquina, consulte Limitações do G2.

Tipo de máquina Contagem de vCPU Memória padrão da instância (GB) Intervalo de memória da instância personalizada (GB) Suporte máximo para SSD local (GiB) Largura de banda máxima da rede (Gbps) Contagem de GPUs NVIDIA L4 Memória da GPU (GB GDDR6)
g2-standard-4 4 16 16 a 32 375 10 1 24
g2-standard-8 8 32 32 a 54 375 16 1 24
g2-standard-12 12 48 48 a 54 375 16 1 24
g2-standard-16 16 64 54 a 64 375 32 1 24
g2-standard-24 24 96 96 a 108 750 32 2 48
g2-standard-32 32 128 96 a 128 375 32 1 24
g2-standard-48 48 192 192 a 216 1.500 50 4 96
g2-standard-96 96 384 384 a 432 3.000 100 8 192

Observações sobre os tipo de máquina G2

As observações a seguir se aplicam à tabela anterior:

  • Contagem de vCPUs: uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
  • Largura de banda máxima da rede: a largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Para mais informações sobre largura de banda de rede, consulte Largura de banda de rede.
  • Memória da GPU: é a memória em um dispositivo de GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da instância e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Limitações da G2

  • Só é possível solicitar capacidade usando as opções de consumo compatíveis para um tipo de máquina G2.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de instâncias que usam um tipo de máquina G2.
  • Só é possível usar um tipo de máquina G2 em determinadas regiões e zonas.
  • Os tipos de máquina G2 só estão disponíveis na plataforma Cascade Lake.
  • O disco permanente padrão (pd-standard) não é compatível com instâncias que usam o tipo de máquina G2. Para saber quais são os tipos de disco compatíveis, consulte Tipos de disco compatíveis com a G2.
  • Não é possível criar GPUs de várias instâncias em uma instância que usa um tipo de máquina G2.
  • Se precisar mudar o tipo de máquina de uma instância G2, consulte Modificar instâncias otimizadas para aceleradores.
  • Não é possível usar Deep Learning VM Images como discos de inicialização para instâncias que usam o tipo de máquina G2.
  • O driver padrão atual para o Container-Optimized OS não oferece suporte a GPUs L4 em execução nos tipos de máquina G2. Além disso, o Container-Optimized OS só é compatível com um conjunto selecionado de drivers. Se você quiser usar o Container-Optimized OS em tipos de máquina G2, leia as seguintes observações:
    • Use uma versão do Container-Optimized OS que seja compatível com a versão mínima recomendada do driver NVIDIA ou 525.60.13. Para mais informações, consulte as Notas de lançamento do Container-Optimized OS.
    • Ao instalar o driver, especifique a versão mais recente disponível que funciona para as GPUs L4. Por exemplo, sudo cos-extensions install gpu -- -version=525.60.13.
  • Use a Google Cloud CLI ou REST para criar instâncias G2 nos seguintes cenários:
    • Você quer especificar valores de memória personalizados.
    • Você quer personalizar o número de núcleos de CPU visíveis.

Tipos de disco compatíveis com instâncias G2

As instâncias G2 podem usar os seguintes tipos de armazenamento em blocos:

  • Disco permanente equilibrado (pd-balanced)
  • Disco permanente SSD (desempenho) (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD local: é possível adicionar SSD local a instâncias criadas usando os tipos de máquina G2.

A tabela a seguir lista o número máximo de discos compatíveis por instância:

Tipos de máquina Todos os discos Hyperdisk ML Hyperdisk Throughput SSD local
g2-standard-4 128 24 24 1
g2-standard-8 128 32 32 1
g2-standard-12 128 32 32 1
g2-standard-16 128 48 48 1
g2-standard-24 128 48 48 2
g2-standard-32 128 64 64 1
g2-standard-48 128 64 64 4
g2-standard-96 128 64 64 8

As observações a seguir se aplicam à tabela anterior:

Se houver suporte pelo tipo de máquina, será possível anexar uma combinação de volumes do Hyperdisk e do Persistent Disk a uma instância, mas as seguintes restrições se aplicam:

  • O número combinado de volumes do Hyperdisk e Persistent Disk não pode exceder 128 por instância.

  • A capacidade total máxima de disco (em TiB) em todos os tipos de disco não pode exceder:

    • Para tipos de máquina com menos de 32 vCPUs:

      • 257 TiB para todos os Hyperdisks ou todos os Persistent Disks
      • 257 TiB para uma combinação de Hyperdisk e Persistent Disk

    • Para tipos de máquina com 32 ou mais vCPUs:

      • 512 TiB para todos os Hyperdisks
      • 512 TiB para uma combinação de hiperdisco e disco permanente
      • 257 TiB para todos os Persistent Disks

Para detalhes sobre os limites de capacidade, consulte Limites de tamanho e anexação do Hyperdisk e Capacidade máxima do Persistent Disk.

Experiência de manutenção para instâncias G2

Durante o ciclo de vida de uma instância do Compute Engine, a máquina host em que a instância é executada passa por vários eventos de host. Um evento de host pode incluir a manutenção regular da infraestrutura do Compute Engine ou, em casos raros, um erro de host. O Compute Engine também aplica alguns upgrades leves e sem interrupções para o hipervisor e a rede em segundo plano.

A tabela a seguir descreve os recursos de manutenção do host para tipos de máquina G2:

Tipo de máquina Número de GPUs Frequência típica de eventos de manutenção programada Comportamento de manutenção Notificação antecipada de manutenção programada Manutenção sob demanda Simular manutenção
G2 1, 2, 4 ou 8 No mínimo 30 dias Encerrar e reiniciar 7 dias Sim (somente 8 GPUs) Sim

As observações a seguir se aplicam à tabela anterior:

  • Frequência típica de eventos de manutenção programada:

    As frequências de manutenção mostradas na tabela anterior são aproximadas, não garantias. O Compute Engine pode, às vezes, realizar manutenção com mais frequência.

Opções de preços e consumo

As opções de consumo se referem às maneiras de receber e usar recursos de computação. OGoogle Cloud fatura os tipos de máquina com otimização para aceleradores pelas GPUs anexadas, pela vCPU predefinida, pela memória e pelo SSD local empacotado (se aplicável). Os descontos para instâncias otimizadas para aceleradores podem variar de acordo com o tipo de recurso e a opção de consumo que você usa. Um recurso é elegível para apenas um tipo de desconto por vez.

Dependendo do tipo de recurso e da opção de consumo escolhida, os descontos se aplicam aos tipos de máquina otimizados para aceleradores da seguinte maneira:

  • Sob demanda:com essa opção de consumo, é possível receber descontos por compromisso de uso (CUDs) flexíveis do Compute apenas para gastos qualificados no uso de instâncias N1, G2 e G4, da seguinte maneira:

    • Para tipos de máquina N1 que têm GPUs anexadas, é possível receber CUDs flexíveis de computação apenas para vCPUs, memória e discos SSD locais.
    • Para os tipos de máquina G2 e G4, é possível receber CUDs flexíveis de computação para vCPUs, memória, GPUs e discos SSD locais.

    Para receber CUDs baseados em recursos para outras séries de máquinas com otimização para aceleradores, incluindo G2 e G4, use uma das opções de reserva.

  • Spot:as VMs spot recebem descontos automaticamente por meio dos preços de VMs spot.

  • Início flexível:as instâncias provisionadas usando a opção de consumo de início flexível recebem descontos automaticamente por meio dos preços do Dynamic Workload Scheduler.

  • Reservas:é possível receber CUDs com base em recursos para seus recursos de tipo de máquina com otimização de acelerador comprando compromissos com base em recursos. Os compromissos baseados em recursos para todas as GPUs e a maioria dos discos SSD locais exigem reservas anexadas para esses recursos.

Para mais informações sobre preços de instâncias otimizadas para aceleradores, consulte a seção Família de tipo de máquina otimizados para aceleradores na página de preços de instâncias de VM.

Disponibilidade da opção de consumo por tipo de máquina

A tabela a seguir resume a disponibilidade de cada opção de consumo por tipo de máquina. Para mais informações sobre como escolher uma opção de consumo, consulte Escolher um modelo de consumo na documentação do Hipercomputador de IA.

Tipo de máquina (modelo de GPU) Sob demanda Spot Início flexível Reservas imediatas Reservas adiantadas Reservas adiantadas no modo calendário Reservas adiantadas no Hipercomputador de IA
A4X Max (GB300) e A4X (GB200) Não Não Não Não Não Não Sim
A4 (B200) Não Sim Sim Não Não Sim Sim
A3 Ultra (H200) Não Sim Sim Não Não Sim Sim
A3 Mega (H100) Sim Sim Sim Sim Sim Sim Sim
A3 High com 8 GPUs (H100) Sim Sim Sim Sim Sim Sim Sim
A3 High com menos de 8 GPUs (H100) Não Sim Sim Não Não Não Não
A3 Edge (H100) Sim Sim Sim Sim Sim Sim Sim
A2 (A100) Sim Sim Sim Sim Sim Não Não
G4 (RTX PRO 6000) Sim Sim Sim Sim Sim Não Não
G2 (L4) Sim Sim Sim Sim Sim Não Não
N1 com GPUs (T4/P4/V100) Sim Sim Sim Sim Sim Não Não

A seguir