Tipi di macchina GPU

Questo documento descrive le serie di macchine con GPU supportate da AI Hypercomputer. Puoi creare istanze e cluster Compute Engine che utilizzano queste serie di macchine per eseguire i tuoi workload di intelligenza artificiale (AI), machine learning (ML) e computing ad alte prestazioni (HPC).

Per utilizzare le GPU su AI Hypercomputer, puoi utilizzare la maggior parte delle serie di macchine della famiglia di macchine ottimizzate per l'acceleratore. Ogni serie di macchine nella famiglia di macchine ottimizzate per l'acceleratore utilizza un modello di GPU specifico. Per maggiori informazioni sulla famiglia di macchine ottimizzate per l'acceleratore, consulta Famiglia di macchine ottimizzate per l'acceleratore.

La sezione seguente descrive le serie di macchine ottimizzate per l'acceleratore supportate da AI Hypercomputer.

Serie A4X e A4X Max

Attenzione: l'accordo sul livello del servizio (SLA) Compute Engine non si applica alle serie di macchine A4X Max e A4X.

Questa sezione descrive le configurazioni disponibili per le serie di macchine A4X Max e A4X. Per ulteriori informazioni su queste serie di macchine, consulta Serie di macchine ottimizzate per gli acceleratori A4X e A4X Max nella documentazione di Compute Engine.

A4X Max (bare metal)

I tipi di macchine A4X Max utilizzano i superchip NVIDIA GB300 Grace Blackwell Ultra (nvidia-gb300) e sono ideali per l'addestramento e la pubblicazione di foundation model. I tipi di macchine A4X Max sono disponibili come istanze bare metal.

A4X Max è una piattaforma exascale basata su NVIDIA GB300 NVL72. Ogni macchina ha due socket con CPU NVIDIA Grace con core Arm Neoverse V2. Queste CPU sono collegate a quattro GPU NVIDIA B300 Blackwell con comunicazione chip-to-chip (NVLink-C2C) veloce.

Nota: per iniziare a utilizzare i tipi di macchine A4X Max, contatta il tuo team dell'account.

						Superchip NVIDIA GB300 Grace Blackwell Ultra collegati
Tipo di macchina	Numero di vCPU^1	Memoria istanza (GB)	SSD locale collegato (GiB)	Numero di NIC fisiche	Larghezza di banda massima della rete (Gbps)^2	Conteggio GPU	Memoria GPU^3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12.000	6	3600	4	1116

¹ Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
²La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
³La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

A4X

I tipi di macchine A4X utilizzano i superchip NVIDIA GB200 Grace Blackwell (nvidia-gb200) e sono ideali per l'addestramento e la pubblicazione di modelli di base.

A4X è una piattaforma exascale basata su NVIDIA GB200 NVL72. Ogni macchina ha due socket con CPU NVIDIA Grace con core Arm Neoverse V2. Queste CPU sono collegate a quattro GPU NVIDIA B200 Blackwell con comunicazione chip-to-chip (NVLink-C2C) veloce.

Nota:quando esegui il provisioning delle istanze A4X, devi riservare la capacità per creare istanze e cluster. Puoi quindi creare istanze che utilizzano le funzionalità e i servizi disponibili in AI Hypercomputer. Per saperne di più, consulta Panoramica delle opzioni di deployment.

						Superchip NVIDIA GB200 Grace Blackwell collegati
Tipo di macchina	Numero di vCPU^1	Memoria istanza (GB)	SSD locale collegato (GiB)	Numero di NIC fisiche	Larghezza di banda massima della rete (Gbps)^2	Conteggio GPU	Memoria GPU^3 (GB HBM3e)
a4x-highgpu-4g	140	884	12.000	6	2000	4	744

¹ Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
²La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
³La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Serie A4

Nota :puoi utilizzare lo strumento Cluster Health Scanner (CHS) per risolvere i problemi dei cluster GPU della serie di macchine A4. Per saperne di più, consulta Risoluzione dei problemi relativi ai cluster GPU.

Questa sezione descrive le configurazioni disponibili per la serie di macchine A4. Per maggiori informazioni su questa serie di macchine, consulta Serie di macchine A4 ottimizzate per l'acceleratore nella documentazione di Compute Engine.

A4

I tipi di macchine A4 sono collegate a GPU NVIDIA B200 Blackwell (nvidia-b200) e sono ideali per l'addestramento e la pubblicazione di modelli di base.

Nota: quando esegui il provisioning dei tipi di macchine A4, devi prenotare la capacità per creare istanze o cluster, utilizzare le VM spot, utilizzare le VM con avvio flessibile o creare una richiesta di ridimensionamento in un gruppo di istanze gestite (MIG). Per istruzioni su come creare istanze A4, consulta Panoramica della creazione di VM e cluster. .

						GPU NVIDIA B200 Blackwell collegate
Tipo di macchina	Numero di vCPU^1	Memoria istanza (GB)	SSD locale collegato (GiB)	Numero di NIC fisiche	Larghezza di banda massima della rete (Gbps)^2	Conteggio GPU	Memoria GPU^3 (GB HBM3e)
a4-highgpu-8g	224	3968	12.000	10	3600	8	1440

¹ Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
²La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per ulteriori informazioni sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
³La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Serie A3

Nota: puoi utilizzare lo strumento CHS per risolvere i problemi relativi ai cluster GPU A3 Ultra, A3 Mega e A3 High. Per saperne di più, consulta Risoluzione dei problemi relativi ai cluster GPU.

Questa sezione descrive le configurazioni disponibili per la serie di macchine A3. Per maggiori informazioni su questa serie di macchine, consulta Serie di macchine A3 ottimizzate per l'acceleratore nella documentazione di Compute Engine.

A3 Ultra

I tipi di macchina A3 Ultra sono collegati a GPU NVIDIA H200 SXM (nvidia-h200-141gb) e offrono le massime prestazioni di rete nella serie A3. I tipi di macchine A3 Ultra sono ideali per l'addestramento e la pubblicazione di foundation model.

Nota: quando esegui il provisioning dei tipi di macchine A3 Ultra, devi prenotare la capacità per creare istanze o cluster, utilizzare le VM spot, utilizzare le VM con avvio flessibile o creare una richiesta di ridimensionamento in un MIG. Per saperne di più sui parametri da impostare durante la creazione di un'istanza A3 Ultra, consulta Panoramica della creazione di VM e cluster.

						GPU NVIDIA H200 collegate
Tipo di macchina	Numero di vCPU^1	Memoria istanza (GB)	SSD locale collegato (GiB)	Numero di NIC fisiche	Larghezza di banda massima della rete (Gbps)^2	Conteggio GPU	Memoria GPU^3 (GB HBM3e)
a3-ultragpu-8g	224	2952	12.000	10	3600	8	1128

¹ Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
²La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
³La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

A3 Mega

I tipi di macchine A3 Mega dispongono di GPU NVIDIA H100 SXM e sono ideali per l'addestramento di modelli di grandi dimensioni e l'inferenza multihost.

Nota: quando esegui il provisioning dei tipi di macchine a3-megagpu-8g, ti consigliamo di utilizzare un cluster di queste istanze ed eseguire il deployment con uno scheduler come Google Kubernetes Engine (GKE) o Slurm. Per istruzioni dettagliate su queste opzioni, consulta quanto segue:

• Per creare un cluster Google Kubernetes Engine, consulta Esegui il deployment di un cluster A3 Mega con GKE.
• Per creare un cluster Slurm, consulta Esegui il deployment di un cluster A3 Mega Slurm.

						GPU NVIDIA H100 collegate
Tipo di macchina	Numero di vCPU^1	Memoria istanza (GB)	SSD locale collegato (GiB)	Numero di NIC fisiche	Larghezza di banda massima della rete (Gbps)^2	Conteggio GPU	Memoria GPU^3 (GB HBM3)
a3-megagpu-8g	208	1872	6000	9	1800	8	640

¹ Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
²La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
³La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

A3 High

I tipi di macchine A3 High dispongono di GPU NVIDIA H100 SXM e sono adatti sia per l'inferenza di modelli di grandi dimensioni sia per l'ottimizzazione dei modelli.

Nota: durante il provisioning dei tipi di macchine a3-highgpu-1g, a3-highgpu-2g o a3-highgpu-4g, devi creare istanze utilizzando VM spot o VM flessibili. Per istruzioni dettagliate su queste opzioni, consulta quanto segue:

• Per creare VM spot, imposta il modello di provisioning su SPOT quando crei una VM ottimizzata per l'acceleratore.
• Per creare VM con avvio flessibile, puoi utilizzare uno dei seguenti metodi:
  • Crea una VM autonoma e imposta il modello di provisioning su FLEX_START quando crei una VM ottimizzata per l'acceleratore.
  • Crea una richiesta di ridimensionamento in un gruppo di istanze gestite (MIG). Per istruzioni, vedi Crea un MIG con VM GPU.

						GPU NVIDIA H100 collegate
Tipo di macchina	Numero di vCPU^1	Memoria istanza (GB)	SSD locale collegato (GiB)	Numero di NIC fisiche	Larghezza di banda massima della rete (Gbps)^2	Conteggio GPU	Memoria GPU^3 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1500	1	50	2	160
a3-highgpu-4g	104	936	3000	1	100	4	320
a3-highgpu-8g	208	1872	6000	5	1000	8	640

¹ Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
²La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
³La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

A3 Edge

I tipi di macchine A3 Edge sono dotati di GPU NVIDIA H100 SXM e sono progettati specificamente per la pubblicazione e sono disponibili in un insieme limitato di regioni.

Nota:per iniziare a utilizzare le istanze A3 Edge, consulta Crea una VM A3 con GPUDirect-TCPX abilitato.

						GPU NVIDIA H100 collegate
Tipo di macchina	Numero di vCPU^1	Memoria istanza (GB)	SSD locale collegato (GiB)	Numero di NIC fisiche	Larghezza di banda massima della rete (Gbps)^2	Conteggio GPU	Memoria GPU^3 (GB HBM3)
a3-edgegpu-8g	208	1872	6000	5	600: per asia-south1 e northamerica-northeast2 400: per tutte le altre regioni A3 Edge	8	640

¹ Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
²La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
³La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Passaggi successivi

Per saperne di più sulle GPU, consulta le seguenti pagine della documentazione di Compute Engine:

• Scopri di più sulle GPU su Compute Engine.
• Esamina la disponibilità delle GPU per regioni e zone.
• Scopri di più sui prezzi delle GPU.