Panoramica delle GPU in cluster

Le GPU clusterizzate sono ottimizzate per i workload di intelligenza artificiale (AI) e machine learning (ML) che danno priorità all'addestramento distribuito su larga scala, all'inferenza multi-host e alle attività di computing ad alte prestazioni (HPC) complesse.

Le GPU clusterizzate consentono ai team di eseguire il deployment e scalare migliaia di acceleratori interconnessi come un unico sistema ad alto accoppiamento utilizzando fabric di networking specializzati e manutenzione sincronizzata. Sono ideali per workload che richiedono un'estrema sincronizzazione di calcolo, memoria e networking ad alta velocità. I casi d'uso comuni includono il pre-addestramento di modelli di base con trilioni di parametri, l'erogazione di modelli pionieristici e le simulazioni per la scoperta di farmaci.

Caratteristiche principali delle GPU cluster

  • Manutenzione sincronizzata: Google Cloud aggiorna tutti i nodi del cluster contemporaneamente, impedendo che il riavvio di un singolo nodo blocchi un job.
  • Monitoraggio automatico dell'integrità: il sistema identifica in modo proattivo i ritardatari e monitora eventuali guasti hardware o danneggiamenti silenziosi dei dati.
  • Sostituzione proattiva dei nodi: il sistema rimuove e ripianifica le VM con prestazioni insufficienti su macchine integre da un pool di riserva.
  • Topologia con allineamento ai rail: una topologia con allineamento ai rail isola il traffico da GPU a GPU dalla comunicazione host standard per garantire prestazioni senza jitter per il coordinamento di più nodi su larga scala.
  • Protocolli avanzati: queste serie di macchine supportano interconnessioni a larghezza di banda elevata, tra cui GPUDirect RDMA (basato su RoCE).

Famiglie di GPU cluster e specifiche tecniche

Esamina i workload e le specifiche hardware per la serie di macchine GPU cluster premium in queste tabelle. Per l'addestramento su scala exa, utilizza la serie A4X o A3 Ultra.

Serie A4X Max e A4X

Se stai addestrando enormi foundation model exascale o eseguendo simulazioni di computing ad alte prestazioni (HPC) bare metal altamente complesse, utilizza la serie di macchine A4X Max o A4X. Queste serie sono dotate di superchip NVIDIA GB300 Grace Blackwell Ultra per gestire esigenze di calcolo e memoria estreme.

A4X Max (bare metal)

I tipi di macchina A4X Max utilizzano NVIDIA GB300 Grace Blackwell Ultra Superchip (nvidia-gb300) e sono ideali per l'addestramento e la pubblicazione di foundation model. I tipi di macchine A4X Max sono disponibili come istanze bare metal.

A4X Max è una piattaforma exascale basata su NVIDIA GB300 NVL72. Ogni macchina ha due socket con CPU NVIDIA Grace con core Arm Neoverse V2. Queste CPU sono collegate a quattro GPU NVIDIA B300 Blackwell con comunicazione chip-to-chip (NVLink-C2C) veloce. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A4X Max e A4X.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA GB300 Memoria GPU (GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12.000 6 3600 4 1116

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

A4X

I tipi di macchine A4X utilizzano i superchip NVIDIA GB200 Grace Blackwell (nvidia-gb200) e sono ideali per l'addestramento e la pubblicazione di foundation model.

A4X è una piattaforma exascale basata su NVIDIA GB200 NVL72. Ogni macchina ha due socket con CPU NVIDIA Grace con core Arm Neoverse V2. Queste CPU sono connesse a quattro GPU NVIDIA B200 Blackwell con comunicazione chip-to-chip (NVLink-C2C) veloce. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A4X Max e A4X.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA GB200 Memoria GPU (GB HBM3e)
a4x-highgpu-4g 140 884 12.000 6 2000 4 744

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Serie A4

Se il tuo obiettivo è addestrare foundation model allo stato dell'arte che richiedono una scalabilità di elaborazione parallela massiccia, utilizza la serie di macchine A4 per ottimizzare il tempo di elaborazione e massimizzare il throughput dell'hardware.

I tipi di macchine A4 sono collegate a GPU NVIDIA B200 Blackwell (nvidia-b200) e sono ideali per l'addestramento e la pubblicazione di foundation model. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A4.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA B200 Blackwell Memoria GPU (GB HBM3e)
a4-highgpu-8g 224 3968 12.000 10 3600 8 1440

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Serie A3 (Ultra, Mega e High con 8 GPU)

Se devi eseguire esecuzioni di addestramento distribuito su larga scala o fornire modelli pionieristici su più host con tabelle di set di dati di grandi dimensioni, utilizza la serie di macchine A3 per ridurre al minimo la latenza di rete da host a host.

A3 Ultra

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA H200 Memoria GPU (GB HBM3e)
a3-ultragpu-8g 224 2952 12.000 10 3600 8 1128

A3 Mega

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA H100 Memoria GPU (GB HBM3)
a3-megagpu-8g 208 1872 6000 9 1800 8 640

A3 High

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA H100 Memoria GPU (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1500 1 50 2 160
a3-highgpu-4g 104 936 3000 1 100 4 320
a3-highgpu-8g 208 1872 6000 5 1000 8 640

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Acquisizione di capacità

L'acquisizione della capacità di computing per le GPU cluster richiede un coordinamento per gestire l'offerta e la domanda di acceleratori ad alte prestazioni. Poiché queste risorse si trovano fisicamente all'interno di fabric di networking specializzati, devi richiederle tramite workflow gestiti.

Puoi prenotare la capacità tramite il team dedicato all'account o utilizzare le prenotazioni future e Dynamic Workload Scheduler.

Passaggi successivi