Questo documento descrive i modelli di GPU NVIDIA che puoi utilizzare per accelerare i workload di machine learning (ML), trattamento dati e grafica intensiva sulle tue istanze Compute Engine. Questo documento descrive anche quali GPU sono pre-collegate alle serie di macchine ottimizzate per l'acceleratore, come A4X Max, A4X, A4, A3, A2, G4 e G2, e quali GPU puoi collegare alle istanze N1 per uso generico.
Utilizza questo documento per confrontare le prestazioni, la memoria e le funzionalità di diversi modelli di GPU. Per una panoramica più dettagliata della famiglia di macchine ottimizzate per l'acceleratore, incluse informazioni sulle piattaforme CPU, sulle opzioni di archiviazione e sulle funzionalità di networking, e per trovare il tipo di macchina specifico che corrisponde al tuo workload, consulta Famiglia di macchine ottimizzate per l'acceleratore.
Per saperne di più sulle GPU su Compute Engine, consulta Informazioni sulle GPU.
Per visualizzare le regioni e le zone disponibili per le GPU su Compute Engine, consulta Disponibilità delle GPU per regioni e zone.
Panoramica
Compute Engine offre diversi tipi di macchine per supportare i vari workload.
Alcuni tipi di macchine supportano le workstation virtuali (vWS) NVIDIA RTX. Quando crei un'istanza che utilizza NVIDIA RTX Virtual Workstation, Compute Engine aggiunge automaticamente una licenza vWS. Per informazioni sui prezzi delle workstation virtuali, consulta la pagina dei prezzi delle GPU.
| Tipi di macchine GPU | |||
|---|---|---|---|
| Workload AI e ML | Grafica e visualizzazione | Altri workload GPU | |
|
I tipi di macchina della serie A ottimizzati per l'acceleratore sono progettati per workload di computing ad alte prestazioni (HPC), intelligenza artificiale (AI) e machine learning (ML).
La serie A di ultima generazione è ideale per il pre-addestramento e l'ottimizzazione dei foundation model che coinvolgono cluster di acceleratori di grandi dimensioni, mentre la serie A2 può essere utilizzata per l'addestramento di modelli più piccoli e l'inferenza su un singolo host. Per questi tipi di macchine, il modello di GPU viene collegato automaticamente all'istanza. |
I tipi di macchine della serie G ottimizzate per l'acceleratore sono progettati per workload come quelli di simulazione NVIDIA Omniverse, applicazioni ad alta intensità di grafica, transcodifica video e desktop virtuali. Questi tipi di macchine supportano
le workstation virtuali (vWS) NVIDIA RTX.
La serie G può essere utilizzata anche per l'addestramento di modelli più piccoli e per l'inferenza su un singolo host. Per questi tipi di macchine, il modello di GPU viene collegato automaticamente all'istanza. |
Per i tipi di macchine per uso generico N1, ad eccezione dei tipi di macchine con core condivisi N1 ( |
|
|
I seguenti modelli di GPU possono essere collegati ai tipi di macchine per uso generico N1:
|
||
Puoi anche utilizzare alcuni tipi di macchine GPU su AI Hypercomputer. AI Hypercomputer è un sistema di supercomputing ottimizzato per supportare i workload di intelligenza artificiale (AI) e machine learning (ML). Questa opzione è consigliata per creare un'infrastruttura con allocazione densa e ottimizzata per le prestazioni, con integrazioni per gli scheduler di Google Kubernetes Engine (GKE) e Slurm.
Serie di macchine A4X Max e A4X
La serie di macchine A4X Max e A4X viene eseguita su una piattaforma exascale basata sull'architettura rack-scale di NVIDIA ed è ottimizzata per l'addestramento ML con vincoli di rete, ad alta intensità di calcolo e memoria, nonché per i workload HPC. A4X Max e A4X differiscono principalmente per i componenti di GPU e networking. A4X Max è disponibile solo come istanze bare metal, che forniscono accesso diretto alla CPU e alla memoria del server host, senza il livello hypervisor di Compute Engine.
Tipi di macchine A4X Max (NVIDIA GB300)
I tipi di macchine A4X Max ottimizzate per l'acceleratore utilizzano NVIDIA GB300 Grace Blackwell Ultra Superchip (nvidia-gb300) e sono ideali per l'addestramento e la pubblicazione di foundation model. I tipi di macchine A4X Max sono disponibili come istanze bare metal.
A4X Max è una piattaforma exascale basata su NVIDIA GB300 NVL72. Ogni macchina ha due socket con CPU NVIDIA Grace con core Arm Neoverse V2. Queste CPU sono collegate a quattro GPU NVIDIA B300 Blackwell con comunicazione chip-to-chip (NVLink-C2C) veloce. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A4X Max e A4X.
| Tipo di macchina | Numero di vCPU | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA GB300 | Memoria GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12.000 | 6 | 3600 | 4 | 1116 |
Note sul tipo di macchina A4X Max
Le seguenti note si applicano alla tabella precedente:
- Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
- Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
- Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
Tipo di macchina A4X (NVIDIA GB200)
I tipi di macchine A4X ottimizzate per l'acceleratore utilizzano i superchip NVIDIA GB200 Grace Blackwell (nvidia-gb200) e sono ideali per l'addestramento e la pubblicazione di foundation model.
A4X è una piattaforma exascale basata su NVIDIA GB200 NVL72. Ogni macchina ha due socket con CPU NVIDIA Grace con core Arm Neoverse V2. Queste CPU sono connesse a quattro GPU NVIDIA B200 Blackwell con comunicazione chip-to-chip (NVLink-C2C) veloce. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A4X Max e A4X.
| Tipo di macchina | Numero di vCPU | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA GB200 | Memoria GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12.000 | 6 | 2000 | 4 | 744 |
Note sul tipo di macchina A4X
Le seguenti note si applicano alla tabella precedente:
- Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
- Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
- Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
Serie di macchine A4 (NVIDIA B200)
I tipi di macchine A4 ottimizzate per l'acceleratore dispongono di GPU NVIDIA B200 Blackwell (nvidia-b200) collegate e sono ideali per l'addestramento e la pubblicazione di foundation model. Per informazioni sulle limitazioni dei tipo di macchina, consulta
Limitazioni di A4.
| Tipo di macchina | Numero di vCPU | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA B200 Blackwell | Memoria GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3968 | 12.000 | 10 | 3600 | 8 | 1440 |
Note sul tipo di macchina A4
Le seguenti note si applicano alla tabella precedente:
- Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
- Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
- Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
Serie di macchine A3
I tipi di macchine A3 ottimizzate per l'acceleratore sono collegate a GPU NVIDIA H100 SXM o NVIDIA H200 SXM.
Tipo di macchina A3 Ultra (NVIDIA H200)
I tipi di macchina A3 Ultra dispongono di GPU NVIDIA H200 SXM (nvidia-h200-141gb) collegate e offrono le massime prestazioni di rete della serie A3. I tipi di macchine A3 Ultra sono ideali per l'addestramento e la pubblicazione di foundation model. Per informazioni sulle limitazioni dei tipo di macchina, consulta
Limitazioni di A3 Ultra.
| Tipo di macchina | Numero di vCPU | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA H200 | Memoria GPU (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2952 | 12.000 | 10 | 3600 | 8 | 1128 |
Note sul tipo di macchina A3 Ultra
Le seguenti note si applicano alla tabella precedente:
- Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
- Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
- Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
Tipi di macchine A3 Mega, High ed Edge (NVIDIA H100)
Per utilizzare le GPU NVIDIA H100 SXM, hai le seguenti opzioni:
- A3 Mega: questi tipi di macchine dispongono di GPU H100 SXM (
nvidia-h100-mega-80gb) e sono ideali per workload di addestramento e pubblicazione su larga scala. - A3 High: questi tipi di macchine dispongono di GPU H100 SXM (
nvidia-h100-80gb) e sono adatti sia per le attività di addestramento sia per quelle di pubblicazione. - A3 Edge: questi tipi di macchine sono dotati di GPU H100 SXM (
nvidia-h100-80gb), sono progettati specificamente per la pubblicazione e sono disponibili in un insieme limitato di regioni.
A3 Mega
| Tipo di macchina | Numero di vCPU | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA H100 | Memoria GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1872 | 6000 | 9 | 1800 | 8 | 640 |
A3 High
| Tipo di macchina | Numero di vCPU | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA H100 | Memoria GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1872 | 6000 | 5 | 1000 | 8 | 640 |
A3 Edge
| Tipo di macchina | Numero di vCPU | Memoria istanza (GB) | SSD locale collegato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA H100 | Memoria GPU (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
208 | 1872 | 6000 | 5 | 600 (asia-south1 e northamerica-northeast2) o 400 (tutte le altre regioni A3 Edge) |
8 | 640 |
Note sui tipo di macchina A3 Mega, High ed Edge
Le seguenti note si applicano alla tabella precedente:
- Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
- Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
- Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
Serie di macchine A2 (NVIDIA A100)
I tipi di macchine A2 ottimizzate per l'acceleratore hanno GPU NVIDIA A100 collegate e sono ideali per l'ottimizzazione dei modelli, l'inferenza di modelli di grandi dimensioni e l'ottimizzazione dei costi.
La serie di macchine A2 offre due tipi:
- A2 Ultra: a questi tipi di macchine sono collegate GPU A100 da 80 GB (
nvidia-a100-80gb) e dischi SSD locali. - A2 Standard: a questi tipi di macchine sono collegate GPU A100 da 40 GB (
nvidia-tesla-a100). Puoi anche aggiungere dischi SSD locali quando crei un'istanza A2 Standard. Per il numero di dischi che puoi collegare, consulta Tipi di macchine per cui devi scegliere un numero di dischi SSD locali.
A2 Ultra
| Tipo di macchina | Numero di vCPU | Memoria istanza (GB) | SSD locale collegato (GiB) | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA A100 80 GB | Memoria GPU (GB HBM2e) |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1360 | 3000 | 100 | 8 | 640 |
A2 Standard
| Tipo di macchina | Numero di vCPU | Memoria istanza (GB) | SSD locale supportato | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA A100 40 GB | Memoria GPU (GB HBM2) |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
12 | 85 | Sì | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | Sì | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | Sì | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | Sì | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1360 | Sì | 100 | 16 | 640 |
Note sui tipo di macchina A2
Le seguenti note si applicano alla tabella precedente:
- Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
- Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
- Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
Serie di macchine G4 (NVIDIA RTX PRO 6000)
I tipi di macchine G4 ottimizzate per l'acceleratore utilizzano
GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) e sono adatti per workload di simulazione NVIDIA Omniverse, applicazioni ad alta intensità di grafica, transcodifica video e desktop virtuali. I tipi di macchina G4 forniscono anche una soluzione a basso costo per eseguire l'inferenza su un singolo host e l'ottimizzazione del modello rispetto ai tipi di macchina della serie A.
Puoi anche aggiungere dischi SSD Titanium quando crei un'istanza G4. Per il numero di dischi che puoi collegare, consulta Tipi di macchine per cui devi scegliere un numero di dischi SSD locali. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di G4.
Una funzionalità chiave della serie G4 è il supporto della comunicazione peer-to-peer (P2P) diretta della GPU
sui tipi di macchine multi-GPU (g4-standard-96, g4-standard-192,
g4-standard-384). Ciò consente alle GPU all'interno della stessa istanza di
scambiare dati direttamente sul bus PCIe, senza coinvolgere l'host della CPU. Per saperne di più sulla comunicazione peer-to-peer delle GPU G4, consulta Comunicazione peer-to-peer delle GPU G4.
| Tipo di macchina | Numero di vCPU | Memoria istanza (GB) | SSD Titanium massimo supportato (GiB) | Numero di NIC fisiche | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA RTX PRO 6000 | Memoria GPU (GB GDDR7) |
|---|---|---|---|---|---|---|---|
g4-standard-6 |
6 | 22 | 0 | 1 | 20 | 1/8 | 12 |
g4-standard-12 |
12 | 45 | 375 | 1 | 20 | 1/4 | 24 |
g4-standard-24 |
24 | 90 | 750 | 1 | 20 | 1/2 | 48 |
g4-standard-48 |
48 | 180 | 1500 | 1 | 50 | 1 | 96 |
g4-standard-96 |
96 | 360 | 3000 | 1 | 100 | 2 | 192 |
g4-standard-192 |
192 | 720 | 6000 | 1 | 200 | 4 | 384 |
g4-standard-384 |
384 | 1440 | 12.000 | 2 | 400 | 8 | 768 |
Note tipo di macchina G4
Le seguenti note si applicano alla tabella precedente:
- Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
- Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
- Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
Serie di macchine G2 (NVIDIA L4)
I tipi di macchina G2 ottimizzati per l'acceleratore hanno GPU NVIDIA L4 collegate e sono ideali per workload di inferenza ottimizzati in termini di costi, ad alta intensità di grafica e computing ad alte prestazioni.
Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare all'istanza per ogni tipo di macchina. Puoi anche aggiungere dischi SSD locali quando crei un'istanza G2. Per il numero di dischi che puoi collegare, consulta Tipi di macchine per cui devi scegliere un numero di dischi SSD locali.
Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di G2.
| Tipo di macchina | Numero di vCPU | Memoria istanza predefinita (GB) | Intervallo di memoria dell'istanza personalizzata (GB) | SSD locale massimo supportato (GiB) | Larghezza di banda massima della rete (Gbps) | Numero di GPU NVIDIA L4 | Memoria GPU (GB GDDR6) |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
4 | 16 | 16-32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32-54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48-54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54-64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96-108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96-128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192-216 | 1500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384-432 | 3000 | 100 | 8 | 192 |
Note tipo di macchina G2
Le seguenti note si applicano alla tabella precedente:
- Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
- Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
- Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
Serie di macchine N1
Puoi collegare i seguenti modelli di GPU a un tipo di macchina N1, ad eccezione dei tipi di macchine con core condivisi N1.
A differenza dei tipi di macchina della serie di macchine ottimizzate per l'acceleratore, i tipi di macchina N1 non sono dotati di un numero fisso di GPU collegate. Devi invece specificare il numero di GPU da collegare durante la creazione dell'istanza.
Le istanze N1 con meno GPU limitano il numero massimo di vCPU. Di norma, un numero maggiore di GPU ti consente di creare istanze con più memoria e un numero maggiore di vCPU.
N1+GPU T4
Puoi collegare GPU NVIDIA T4 alle istanze N1 per uso generico con le seguenti configurazioni.
| Tipo di acceleratore | Numero di GPU NVIDIA T4 | Memoria GPU (GB GDDR6) | Numero di vCPU | Memoria istanza (GB) | SSD locale supportato |
|---|---|---|---|---|---|
nvidia-tesla-t4 o nvidia-tesla-t4-vws |
1 | 16 | 1-48 | 1-312 | Sì |
nvidia-tesla-t4 o nvidia-tesla-t4-vws |
2 | 32 | 1-48 | 1-312 | Sì |
nvidia-tesla-t4 o nvidia-tesla-t4-vws |
4 | 64 | 1-96 | 1-624 | Sì |
Note tipo di macchina N1+T4
La seguente nota si applica alla tabella precedente:
- Memoria GPU: la memoria GPU è la memoria disponibile su un dispositivo GPU che puoi utilizzare per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
N1+GPU P4
Puoi collegare GPU NVIDIA P4 alle istanze N1 per uso generico con le seguenti configurazioni.
Per le istanze con GPU NVIDIA P4 collegate, i dischi SSD locali sono supportati solo nelle zone us-central1-c e northamerica-northeast1-b.
| Tipo di acceleratore | Conteggio GPU NVIDIA P4 | Memoria GPU (GB GDDR5) | Numero di vCPU | Memoria istanza (GB) | SSD locale supportato |
|---|---|---|---|---|---|
nvidia-tesla-p4 o nvidia-tesla-p4-vws |
1 | 8 | 1-24 | 1-156 | Sì (solo us-central1-c e northamerica-northeast1-b) |
nvidia-tesla-p4 o nvidia-tesla-p4-vws |
2 | 16 | 1-48 | 1-312 | Sì (solo us-central1-c e northamerica-northeast1-b) |
nvidia-tesla-p4 o nvidia-tesla-p4-vws |
4 | 32 | 1-96 | 1-624 | Sì (solo us-central1-c e northamerica-northeast1-b) |
Note tipo di macchina N1+P4
La seguente nota si applica alla tabella precedente:
- Memoria GPU: la memoria GPU è la memoria disponibile su un dispositivo GPU che puoi utilizzare per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
N1+GPU V100
Puoi collegare GPU NVIDIA V100 alle istanze N1 per uso generico con le seguenti configurazioni di istanza.
Per le istanze con GPU NVIDIA V100 collegate, i dischi SSD locali non sono supportati nella zona us-east1-c.
| Tipo di acceleratore | Conteggio GPU NVIDIA V100 | Memoria GPU (GB HBM2) | Numero di vCPU | Memoria istanza (GB) | SSD locale supportato |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | 1-12 | 1-78 | Sì (tranne us-east1-c) |
nvidia-tesla-v100 |
2 | 32 | 1-24 | 1-156 | Sì (tranne us-east1-c) |
nvidia-tesla-v100 |
4 | 64 | 1-48 | 1-312 | Sì (tranne us-east1-c) |
nvidia-tesla-v100 |
8 | 128 | 1-96 | 1-624 | Sì (tranne us-east1-c) |
Note tipo di macchina N1+V100
La seguente nota si applica alla tabella precedente:
- Memoria GPU: la memoria GPU è la memoria disponibile su un dispositivo GPU che puoi utilizzare per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.
Esperienza di manutenzione per le istanze N1 con GPU
Durante il ciclo di vita di un'istanza Compute Engine, la macchina host su cui viene eseguita l'istanza subisce diversi eventi dell'host. Un evento dell'host può includere la normale manutenzione dell'infrastruttura Compute Engine o, in rari casi, un errore dell'host. Compute Engine implementa anche upgrade leggeri e non invasivi dell'hypervisor e della rete, in background.
La seguente tabella descrive le funzionalità di manutenzione dell'host per i tipi di macchine N1 con GPU collegata:
| Tipo di macchina | Numero di GPU | Frequenza tipica degli eventi di manutenzione programmata | Comportamento manutenzione | Notifica avanzata per la manutenzione pianificata | Manutenzione on demand | Simulazione di manutenzione |
|---|---|---|---|---|---|---|
| NT1+T4 | 1 o 2 | Almeno ogni 15 giorni | Terminazione e riavvio | 7 giorni | No | Sì |
| NT1+T4 | 4 | Almeno ogni 30 giorni | Terminazione e riavvio | 7 giorni | Sì | Sì |
| N1+P4 | 1 o 2 | Almeno ogni 15 giorni | Terminazione e riavvio | 7 giorni | No | Sì |
| N1+P4 | 4 | Almeno ogni 30 giorni | Terminazione e riavvio | 7 giorni | Sì | Sì |
| N1+V100 | 1, 2 o 4 | Almeno ogni 15 giorni | Terminazione e riavvio | 7 giorni | No | Sì |
| N1+V100 | 8 | Almeno ogni 30 giorni | Terminazione e riavvio | 7 giorni | Sì | Sì |
Le seguenti note si applicano alla tabella precedente:
- Frequenza tipica degli eventi di manutenzione programmata:
La frequenza di manutenzione indicata nella tabella precedente ha solo valore indicativo. Può accadere che Compute Engine esegua la manutenzione con maggiore frequenza.
Grafico di confronto generale
La seguente tabella descrive le dimensioni della memoria GPU, la disponibilità delle funzionalità e i tipi di workload ideali dei diversi modelli di GPU su Compute Engine.
Nella tabella seguente, N/A indica che la metrica non è applicabile o non è disponibile per questo modello di GPU.
| Tipo di macchina (modello GPU) | Memoria e larghezza di banda della GPU | Interconnessione | Supporto della workstation virtuale (vWS) NVIDIA RTX | Ideale per |
|---|---|---|---|---|
| A4X Max (GB300) | 279 GB HBM3e (8 TBps) | NVLink Full Mesh (1800 GBps) | No | Addestramento e inferenza distribuiti su larga scala di LLM MoE, motori per suggerimenti e HPC |
| A4X (GB200) | 186 GB HBM3e (8 TBps) | NVLink Full Mesh (1800 GBps) | No | Addestramento e inferenza distribuiti su larga scala di LLM, motori per suggerimenti e HPC |
| A4 (B200) | 180 GB HBM3e (8 TBps) | NVLink Full Mesh (1800 GBps) | No | Addestramento e inferenza distribuiti su larga scala di LLM, motori per suggerimenti e HPC |
| A3 Ultra (H200) | 141 GB HBM3e (4,8 TBps) | NVLink Full Mesh (900 GBps) | No | Modelli di grandi dimensioni con tabelle di dati di grandi dimensioni per addestramento ML, inferenza, HPC, BERT, DLRM |
| A3 Mega, A3 High, A3 Edge (H100) | 80 GB HBM3 (3,35 TBps) | NVLink Full Mesh (900 GBps) | No | Modelli di grandi dimensioni con tabelle di dati di grandi dimensioni per addestramento ML, inferenza, HPC, BERT, DLRM |
| A2 Ultra (A100 da 80 GB) | 80 GB HBM2e (1,9 TBps) | NVLink Full Mesh (600 GBps) | No | Modelli di grandi dimensioni con tabelle di dati di grandi dimensioni per addestramento ML, inferenza, HPC, BERT, DLRM |
| A2 Standard (A100 40GB) | HBM2 da 40 GB (1,6 TBps) | NVLink Full Mesh (600 GBps) | No | Addestramento ML, inferenza, HPC |
| G4 (RTX PRO 6000) | GDDR7 da 96 GB (1597 TBps) | N/D | Sì | Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video, HPC |
| G2 (L4) | GDDR6 da 24 GB (300 GBps) | N/D | Sì | Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video, HPC |
| N1 (T4) | GDDR6 da 16 GB (320 GBps) | N/D | Sì | Inferenza ML, addestramento, workstation di visualizzazione remota, transcodifica video |
| N1 (P4) | GDDR5 da 8 GB (192 GBps) | N/D | Sì | Workstation di visualizzazione remota, inferenza ML e transcodifica video |
| N1 (V100) | HBM2 da 16 GB (900 GBps) | NVLink Ring (300 GBps) | No | Addestramento ML, inferenza, HPC |
Per confrontare i prezzi delle GPU per i diversi modelli e le regioni disponibili su Compute Engine, consulta Prezzi delle GPU.
Prestazioni dei core Tensor e dei core CUDA standard
Le sezioni seguenti forniscono le metriche sul rendimento per ogni architettura GPU, suddivise in prestazioni dei core CUDA vettoriali o standard e dei core Tensor.
Tensor Core: le prestazioni di Tensor si riferiscono al throughput ottenuto dai Tensor Core specializzati. Si tratta di unità hardware dedicate (spesso chiamate unità di matrice) progettate specificamente per accelerare le operazioni di moltiplicazione e accumulo di matrici di grandi dimensioni che costituiscono la base del deep learning, dell'addestramento e dell'inferenza.
Questo tipo di prestazioni è ideale per il deep learning, i modelli linguistici di grandi dimensioni (LLM) e qualsiasi workload che possa essere espresso come operazioni su matrici dense. I Tensor Core forniscono un throughput significativamente più elevato rispetto ai core CUDA per lo stesso tipo di dati.
Core CUDA vettoriali o standard: le prestazioni vettoriali si riferiscono al throughput raggiunto dai core CUDA standard. Si tratta di unità per uso generico che operano utilizzando un modello SIMT (Single Instruction, Multiple Threads), in genere eseguendo operazioni su singoli elementi o vettori di dati.
Questo tipo di prestazioni è ideale per il computing generico, il rendering grafico e i workload che non coinvolgono calcoli matematici con matrici dense.
Architettura Blackwell
I tipi di macchine A4X Max, A4X, A4 e G4 vengono eseguiti sull'architettura Blackwell di NVIDIA.
Tensor Core
L'architettura Blackwell di NVIDIA, utilizzata da questi tipi di macchine, introduce il supporto di Tensor Core per la precisione FP4 e funzionalità INT4 estese per prestazioni elevate nell'inferenza di modelli di grandi dimensioni.
Nella tabella seguente, N/A indica che la metrica non è applicabile o non è disponibile per questo modello di GPU. Si applicano anche le seguenti note:
- TF32, FP16/32 misto, INT8, FP8 e FP4: l'architettura Blackwell supporta la sparsità strutturale per queste metriche di precisione, che possono raddoppiare il throughput di calcolo. I valori di prestazioni in questa tabella presuppongono una moltiplicazione di matrici dense. Se utilizzi la sparsità strutturale, le prestazioni raddoppiano.
- FP16/32 misto: per l'addestramento con precisione mista, le GPU eseguite sull'architettura Blackwell supportano anche il tipo di dati
bfloat16.
| Tipo di macchina (modello GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 misto (TFLOPS) | INT8 (TFLOPS) | FP8 (TFLOPS) | FP4 (TFLOPS) |
|---|---|---|---|---|---|---|
| A4X Max (GB300) | 1.3 | 1250 | 2500 | 5000 | 5000 | 15.000 |
| A4X (GB200) | 45 | 1250 | 2500 | 5000 | 5000 | 10.000 |
| A4 (B200) | 40 | 1100 | 2250 | 4500 | 4500 | 9000 |
| G4 (RTX PRO 6000) | N/D | 233,9 | 467,8 | 935,6 | 935,6 | 1871.2 |
Core CUDA standard
I tipi di macchine che utilizzano l'architettura Blackwell forniscono operazioni FP64 e FP32 ad alte prestazioni per workload HPC e AI impegnativi.
Per A4X Max, A4X e A4, le operazioni FP16 sono accelerate dai Tensor Core. Per G4, le prestazioni FP16 sui core CUDA standard sono incluse perché i workload grafici, come il rendering e la visualizzazione, possono trarre vantaggio dalla riduzione della memoria utilizzata e dei requisiti di larghezza di banda della precisione FP16, anche quando non vengono utilizzati i Tensor Core.
Nella tabella seguente, N/A indica che la metrica non è applicabile o non è disponibile per questo modello di GPU. Si applica anche la seguente nota:
- A4X Max (GB300) FP64: le prestazioni FP64 su GB300 sono ridotte per dare priorità alle prestazioni FP4.
| Tipo di macchina (modello GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) | FP16 (TFLOPS) |
|---|---|---|---|
| A4X Max (GB300) | 1,39 | 45 | N/D |
| A4X (GB200) | 45 | 45 | N/D |
| A4 (B200) | 40 | 80 | N/D |
| G4 (RTX PRO 6000) | 1.8 | 117 | 117 |
Architetture Hopper, Ada Lovelace e Ampere
La serie A3 utilizza l'architettura Hopper, che ha introdotto motori specializzati per i modelli Transformer. La serie A2 utilizza l'architettura Ampere, che fornisce una base equilibrata per l'addestramento e l'inferenza ad alte prestazioni. La serie G2 utilizza l'architettura Ada Lovelace, che fornisce un'accelerazione versatile e a risparmio energetico per l'inferenza AI, la transcodifica video e i workload grafici.
Tensor Core
Le architetture Hopper, Ada Lovelace e Ampere sono dotate di Tensor Core avanzati che accelerano i tipi di dati TF32, FP16, FP8 e INT8, fornendo un throughput elevato per l'addestramento e l'inferenza a precisione mista.
Nella tabella seguente, N/A indica che la metrica non è applicabile o non è disponibile per questo modello di GPU. Si applicano anche le seguenti note:
- TF32, FP16/32 misto, INT8 e FP8: le architetture Hopper, Ada Lovelace e Ampere supportano la sparsità strutturale per queste metriche di precisione (e INT4), che può raddoppiare il throughput di calcolo. I valori di prestazioni in questa tabella presuppongono una moltiplicazione di matrici dense. Se utilizzi la sparsità strutturale, le prestazioni raddoppiano.
- FP16/32 misto: per l'addestramento con precisione mista, le GPU NVIDIA H200, H100, A100 e L4 supportano anche il tipo di dati
bfloat16.
| Tipo di macchina (modello GPU) | FP64 (TFLOPS) | TF32 (TFLOPS) | FP16/32 misto (TFLOPS) | INT8 (TOPS) | FP8 (TFLOPS) |
|---|---|---|---|---|---|
| A3 Ultra (H200) | 67 | 494,5 | 989,5 | 1979 | 1979 |
| A3 Mega/High/Edge (H100) | 67 | 494,5 | 989,5 | 1979 | 1979 |
| A2 Ultra (A100 da 80 GB) | 19,5 | 156 | 312 | 624 | N/D |
| A2 Standard (A100 40GB) | 19,5 | 156 | 312 | 624 | N/D |
| G2 (L4) | N/D | 60 | 121 | 242,5 | 121 |
Core CUDA standard
I tipi di macchine che utilizzano le architetture Hopper, Ada Lovelace e Ampere forniscono operazioni FP64 e FP32 ad alte prestazioni per workload HPC e AI impegnativi.
Nella tabella seguente, N/A indica che la metrica non è applicabile o non è disponibile per questo modello di GPU.
| Tipo di macchina (modello GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| A3 Ultra (H200) | 34 | 67 |
| A3 Mega, High, Edge (H100) | 34 | 67 |
| A2 Ultra (A100 da 80 GB) | 9.7 | N/D |
| A2 Standard (A100 40GB) | 9.7 | N/D |
| G2 (L4) | N/D | 30,3 |
Architetture Volta, Pascal e Turing
I tipi di macchine N1 utilizzano le seguenti architetture GPU:
Tensor Core
Le architetture Turing e Volta di NVIDIA, disponibili sulle istanze N1, forniscono il supporto di Tensor Core per le operazioni a precisione mista, INT8 e INT4, offrendo un'accelerazione fondamentale per l'inferenza del deep learning.
Queste GPU hanno introdotto le prime generazioni di Tensor Core, utilizzate principalmente per l'addestramento FP16 e la quantizzazione INT8 e INT4 nell'inferenza. Questa tabella non include il tipo di macchina N1 (P4) perché non ha core Tensor.
Nella tabella seguente, N/A indica che la metrica non è applicabile o non è disponibile per questo modello di GPU.
| Tipo di macchina (modello GPU) | FP16/32 misto (TFLOPS) | INT8 (TOPS) | INT4 (TOPS) |
|---|---|---|---|
| N1 (V100) | 125 | N/D | N/D |
| N1 (T4) | 65 | 130 | 260 |
Core CUDA standard
I tipi di macchine che utilizzano le architetture Volta, Pascal e Turing sono dotati di core CUDA FP64 e FP32 per accelerare una serie di workload HPC e AI.
Nella tabella seguente, N/A indica che la metrica non è applicabile o non è disponibile per questo modello di GPU.
| Tipo di macchina (modello GPU) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| N1 (V100) | 7,8 | 15.6 |
| N1 (T4) | N/D | 8.1 |
| N1 (P4) | 0,2 | 5,5 |
Passaggi successivi
- Scopri di più sulle GPU di Compute Engine.
- Verifica la disponibilità delle GPU per regioni e zone.
- Esamina le larghezze di banda della rete e le GPU.
- Visualizza i dettagli dei prezzi delle GPU.