Panoramica generale delle GPU

Le GPU generiche sono ottimizzate per i workload di intelligenza artificiale (AI) e machine learning (ML) che danno priorità alla flessibilità operativa, all'indipendenza delle risorse e alla convenienza.

Le GPU per uso generico consentono ai team di eseguire il deployment e scalare gli acceleratori NVIDIA con una completa autonomia operativa, bypassando la complessità architetturale dei cluster di supercomputing coordinati. Sono ideali per i workload che danno priorità ad alta affidabilità, provisioning self-service e scalabilità indipendente. I casi d'uso comuni includono l'inferenza in tempo reale, la RAG, la prototipazione e l'addestramento di modelli di piccole e medie dimensioni.

Caratteristiche principali delle GPU per uso generico

  • Flessibilità operativa: puoi gestire le risorse utilizzando le interfacce standard di GKE (Autopilot e Standard) e Compute Engine per semplificare il deployment e la scalabilità.
  • Alta affidabilità: Google Cloud aggiorna le singole istanze in modo indipendente per garantire che gli aggiornamenti su un nodo non influiscano sulla disponibilità degli altri, consentendo al bilanciatore del carico di reindirizzare il traffico senza bloccare le istanze di gestione.
  • Semplicità di networking: i tuoi workload utilizzano servizi Virtual Private Cloud (VPC) standard e TCP/IP standard su interfacce Google Virtual NIC (gVNIC) per eliminare i complessi fabric a livello di hardware.
  • Ottimizzazione dei costi: puoi utilizzare le VM spot per ricerche a tolleranza di errore e ottenere risparmi sui costi fino al 90% rispetto alle tariffe on demand standard.
  • Acquisizione self-service: puoi ottenere capacità direttamente tramite prenotazioni standard e richieste on demand senza dover utilizzare flussi di lavoro gestiti dal team dedicato all'account.

Famiglie di GPU generiche e specifiche tecniche

Esamina i workload e le specifiche hardware per la serie di macchine GPU per uso generico. Per la distribuzione con throughput elevato, utilizza la serie A3 Edge.

Serie A3 (High con 1, 2 o 4 GPU ed Edge)

A3 High (1, 2 o 4 GPU)

Se esegui workload di inferenza o addestramento standard che richiedono prestazioni elevate, ma non hai bisogno di un cluster sincronizzato completo con 8 GPU, utilizza la serie di macchine A3 High con 1, 2 o 4 GPU collegate.

I tipi di macchine A3 High dispongono di GPU NVIDIA H100 SXM e sono adatti sia per l'inferenza di modelli di grandi dimensioni sia per l'ottimizzazione dei modelli. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A3 High.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA H100 Memoria GPU (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1500 1 50 2 160
a3-highgpu-4g 104 936 3000 1 100 4 320
a3-highgpu-8g 208 1872 6000 5 1000 8 640

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

A3 Edge

Se esegui workload di inferenza distribuita ad alto throughput su più host senza un fabric di cluster coordinato, utilizza la serie A3 Edge per semplificare il deployment su reti private virtuali standard.

I tipi di macchine A3 Edge sono dotati di GPU NVIDIA H100 SXM, sono progettati specificamente per la pubblicazione e sono disponibili in un insieme limitato di regioni. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A3 Edge.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA H100 Memoria GPU (GB HBM3)
a3-edgegpu-8g 208 1872 6000 5 600 (asia-south1 e northamerica-northeast2) o 400 (tutte le altre regioni A3 Edge) 8 640

Serie A2 (Standard e Ultra)

Se devi eseguire l'erogazione del modello a nodo singolo ad alte prestazioni o l'ottimizzazione del modello su piccola scala, utilizza la serie di macchine A2 per accedere alle risorse GPU NVIDIA A100 dedicate.

A2 Ultra

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA A100 80 GB Memoria GPU (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1500 50 4 320
a2-ultragpu-8g 96 1360 3000 100 8 640

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

A2 Standard

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale supportato Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA A100 40 GB Memoria GPU (GB HBM2)
a2-highgpu-1g 12 85 Sì 24 1 40
a2-highgpu-2g 24 170 Sì 32 2 80
a2-highgpu-4g 48 340 Sì 50 4 160
a2-highgpu-8g 96 680 Sì 100 8 320
a2-megagpu-16g 96 1360 Sì 100 16 640

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Serie G4

Se il tuo team ha bisogno di workload di inferenza entry-level o di rendering grafico standard convenienti, utilizza la serie di macchine G4 con GPU NVIDIA RTX PRO 6000.

I tipi di macchina G4 utilizzano GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) e sono adatti per workload di simulazione NVIDIA Omniverse, applicazioni ad alta intensità di grafica, transcodifica video e desktop virtuali. I tipi di macchina G4 forniscono anche una soluzione a basso costo per eseguire l'inferenza su un singolo host e l'ottimizzazione del modello rispetto ai tipi di macchina della serie A.

Puoi anche aggiungere dischi SSD Titanium quando crei un'istanza G4. Per il numero di dischi che puoi collegare, consulta Tipi di macchine per cui devi scegliere un numero di dischi SSD locali. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di G4.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD Titanium massimo supportato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA RTX PRO 6000 Memoria GPU (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1500 1 50 1 96
g4-standard-96 96 360 3000 1 100 2 192
g4-standard-192 192 720 6000 1 200 4 384
g4-standard-384 384 1440 12.000 2 400 8 768

*La memoria GPU è la memoria disponibile su un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload accelerati, come il machine learning e i workload ad alta intensità grafica.

Serie G2

Se stai eseguendo il deployment di applicazioni di inferenza in tempo reale mainstream o di pipeline di Retrieval-Augmented Generation (RAG), utilizza la serie di macchine G2 per bilanciare prestazioni ed efficienza dei costi con le GPU NVIDIA L4.

Tipo di macchina Numero di vCPU Memoria istanza predefinita (GB) Intervallo di memoria dell'istanza personalizzata (GB) SSD locale massimo supportato (GiB) Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA L4 Memoria GPU (GB GDDR6)
g2-standard-4 4 16 16-32 375 10 1 24
g2-standard-8 8 32 32-54 375 16 1 24
g2-standard-12 12 48 48-54 375 16 1 24
g2-standard-16 16 64 54-64 375 32 1 24
g2-standard-24 24 96 96-108 750 32 2 48
g2-standard-32 32 128 96-128 375 32 1 24
g2-standard-48 48 192 192-216 1500 50 4 96
g2-standard-96 96 384 384-432 3000 100 8 192

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Serie N1 (NVIDIA T4 o V100)

Se la tua priorità è la sperimentazione attenta ai costi o l'esecuzione di inferenze entry-level a bassa concorrenza, utilizza la serie di macchine N1 per collegare GPU NVIDIA T4 o V100.

NVIDIA T4

Tipo di acceleratore Numero di GPU NVIDIA T4 Memoria GPU (GB GDDR6) Numero di vCPU Memoria istanza (GB) SSD locale supportato
nvidia-tesla-t4 o nvidia-tesla-t4-vws 1 16 1-48 1-312 Sì
nvidia-tesla-t4 o nvidia-tesla-t4-vws 2 32 1-48 1-312 Sì
nvidia-tesla-t4 o nvidia-tesla-t4-vws 4 64 1-96 1-624 Sì

NVIDIA V100

Tipo di acceleratore Conteggio GPU NVIDIA V100 Memoria GPU (GB HBM2) Numero di vCPU Memoria istanza (GB) SSD locale supportato
nvidia-tesla-v100 1 16 1-12 1-78 Sì (tranne us-east1-c)
nvidia-tesla-v100 2 32 1-24 1-156 Sì (tranne us-east1-c)
nvidia-tesla-v100 4 64 1-48 1-312 Sì (tranne us-east1-c)
nvidia-tesla-v100 8 128 1-96 1-624 Sì (tranne us-east1-c)

Acquisizione di capacità

Gli acceleratori GPU generici utilizzano il provisioning standard self-service. Puoi ottenere capacità tramite prenotazioni standard, richieste on demand o VM spot. Poiché la capacità on demand può subire esaurimenti, utilizza VM spot o l'avvio flessibile, se possibile.

Passaggi successivi