Networking e macchine GPU

Le larghezze di banda di rete più elevate possono migliorare le prestazioni delle istanze di GPU per supportare i workload distribuiti in esecuzione su Compute Engine.

La larghezza di banda di rete massima disponibile per le istanze con GPU collegate su Compute Engine è la seguente:

  • Per le istanze A4X ottimizzate per l'acceleratore, puoi ottenere una larghezza di banda di rete massima fino a 2000 Gbps, in base al tipo di macchina.
  • Per le istanze A4 e A3 ottimizzate per l'acceleratore, puoi ottenere una larghezza di banda di rete massima fino a 3600 Gbps, in base al tipo di macchina.
  • Per le istanze G4 ottimizzate per l'acceleratore, puoi ottenere una larghezza di banda di rete massima fino a 400 Gbps, in base al tipo di macchina.
  • Per le istanze A2 e G2 ottimizzate per l'acceleratore, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base al tipo di macchina.
  • Per le istanze N1 per uso generico a cui sono collegate GPU P100 e P4, è disponibile una larghezza di banda di rete massima di 32 Gbps. È simile alla frequenza massima disponibile per le istanze N1 a cui non sono collegate GPU. Per ulteriori informazioni sulle larghezze di banda di rete, consulta la sezione relativa alla percentuale massima di dati in uscita.
  • Per le istanze N1 per uso generico a cui sono state collegate GPU T4 e V100, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base al conteggio combinato di GPU e vCPU.

Controlla la larghezza di banda della rete e la disposizione del NIC

Utilizza la sezione seguente per esaminare la disposizione della rete e la velocità della larghezza di banda per ciascun tipo di macchina GPU.

Tipi di macchine A4X

Ai tipi di macchine A4X sono collegati superchip NVIDIA GB200. Questi superchip hanno GPU NVIDIA B200.

Questo tipo di macchina ha quattro schede di interfaccia di rete (NIC) NVIDIA ConnectX-7 (CX-7) e due NIC Titanium. Le quattro NIC CX-7 offrono una larghezza di banda di rete totale di 1600 Gbps. Queste NIC CX-7 sono dedicate solo alle comunicazioni tra GPU con elevata larghezza di banda e non possono essere utilizzate per altre esigenze di networking, come l'accesso a internet pubblico. Le due NIC Titanium sono NIC intelligenti che forniscono altri 400 Gbps di larghezza di banda di rete per i requisiti di rete per uso generico. Quando usate in combinazione, le schede di interfaccia di rete forniscono a queste macchine 2000 Gbps di larghezza di banda di rete totale massima.

A4X è una piattaforma exascale basata sull'architettura NVIDIA GB200 NVL72 a livello di rack e introduce l'architettura NVIDIA Grace Hopper Superchip che offre GPU NVIDIA Hopper e CPU NVIDIA Grace collegate con l'interconnessione NVIDIA NVLink Chip-to-Chip (C2C) ad alta larghezza di banda.

L'architettura di rete A4X utilizza un design allineato alle guide, ovvero una topologia in cui la scheda di rete corrispondente di un'istanza Compute Engine è collegata alla scheda di rete di un'altra. Le quattro NIC CX-7 su ogni istanza sono fisicamente isolate su una topologia di rete allineata a 4 vie, che consente ad A4X di fare lo scale out in gruppi di 72 GPU fino a migliaia di GPU in un singolo cluster non bloccante. Questo approccio integrato nell'hardware offre prestazioni prevedibili e a bassa latenza essenziali per i carichi di lavoro distribuiti su larga scala.

Architettura di rete per A4X che mostra quattro NIC CX-7 per la comunicazione
    della GPU e due NIC Titanium per il networking generale.
Figure 1. Architettura di rete per A4X

Per utilizzare queste NIC multiple, devi creare tre reti Virtual Private Cloud nel modo seguente:

  • 2 reti VPC: ogni gVNIC deve essere collegata a una rete VPC diversa
  • 1 rete VPC con il profilo di rete RDMA: tutte e quattro le NIC CX7 condividono la stessa rete VPC

Per configurare queste reti, consulta Crea reti VPC nella documentazione di AI Hypercomputer.

Superchip NVIDIA GB200 Grace Blackwell collegati
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3e)
a4x-highgpu-4g 140 884 12.000 6 2000 4 720

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Tipi di macchine A4 e A3 Ultra

I tipi di macchine A4 sono collegate a GPU NVIDIA B200 e i tipi di macchina A3 Ultra sono collegate a GPU NVIDIA H200.

Questi tipi di macchine forniscono otto schede di interfaccia di rete (NIC) NVIDIA ConnectX-7 (CX-7) e due NIC virtuali di Google (gVNIC). Le otto NIC CX-7 offrono una larghezza di banda di rete totale di 3200 Gbps. Queste NIC sono dedicate solo alle comunicazioni tra GPU con elevata larghezza di banda e non possono essere utilizzate per altre esigenze di networking, come l'accesso a internet pubblico. Come illustrato nel seguente diagramma, ogni NIC CX-7 è allineata a una GPU per ottimizzare l'accesso alla memoria non uniforme (NUMA). Tutte e otto le GPU possono comunicare rapidamente tra loro utilizzando il bridge NVLink all to all che le connette. Le altre due schede di interfaccia di rete gVNIC sono NIC intelligenti che forniscono altri 400 Gbps di larghezza di banda di rete per i requisiti di rete per uso generico. Quando usate in combinazione, le schede di interfaccia di rete forniscono a queste macchine 3600 Gbps di larghezza di banda di rete totale massima.

Architettura di rete per A4 e A3 Ultra che mostra otto NIC CX-7 per la comunicazione
    della GPU e due gVNIC per il networking generale.
Figura 2. Architettura di rete per A4 e A3 Ultra

Per utilizzare queste NIC multiple, devi creare tre reti Virtual Private Cloud nel modo seguente:

  • 2 reti VPC regolari: ogni gVNIC deve essere collegata a una rete VPC diversa
  • 1 rete VPC RoCE: tutte le otto NIC CX-7 condividono la stessa rete VPC RoCE

Per configurare queste reti, consulta Crea reti VPC nella documentazione di AI Hypercomputer.

VM A4

GPU NVIDIA B200 Blackwell collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3e)
a4-highgpu-8g 224 3968 12.000 10 3600 8 1440

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

VM A3 Ultra

GPU NVIDIA H200 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3e)
a3-ultragpu-8g 224 2952 12.000 10 3600 8 1128

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Tipi di macchine A3 Mega, High ed Edge

A questi tipi di macchine sono collegate GPU H100. Ciascuno di questi tipi di macchine ha un numero fisso di GPU, vCPU e dimensioni fisse della memoria.

  • VM A3 con una sola NIC: per le VM A3 che hanno da 1 a 4 GPU collegate, è disponibile solo una singola scheda di interfaccia di rete (NIC) fisica.
  • VM A3 con NIC multiple: per le VM A3 con 8 GPU collegate, sono disponibili più NIC fisiche. Per questi tipi di macchine A3, le NIC sono disposte come segue su un bus Peripheral Component Interconnect Express (PCIe):
    • Per il tipo di macchina A3 Mega: è disponibile una disposizione di NIC 8+1. Con questa disposizione, 8 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato.
    • Per il tipo di macchina A3 High: è disponibile una disposizione di NIC 4+1. Con questa disposizione, 4 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato.
    • Per il tipo di macchina A3 Edge: è disponibile una disposizione di NIC 4+1. Con questa disposizione, 4 NIC condividono lo stesso bus PCIe e 1 NIC si trova su un bus PCIe separato. Queste 5 NIC forniscono una larghezza di banda di rete totale di 400 Gbps per ogni VM.

    Le NIC che condividono lo stesso bus PCIe hanno un allineamento NUMA (accesso alla memoria non uniforme) di una NIC ogni due GPU NVIDIA H100. Queste NIC sono ideali per la comunicazione da GPU a GPU dedicata a larghezza di banda elevata. La scheda NIC fisica che si trova su un bus PCIe separato è ideale per altre esigenze di rete. Per istruzioni su come configurare la rete per le VM A3 High e A3 Edge, consulta Configura le reti MTU con frame jumbo.

A3 Mega

GPU NVIDIA H100 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3)
a3-megagpu-8g 208 1872 6000 9 1800 8 640

A3 High

GPU NVIDIA H100 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1500 1 50 2 160
a3-highgpu-4g 104 936 3000 1 100 4 320
a3-highgpu-8g 208 1872 6000 5 1000 8 640

A3 Edge

GPU NVIDIA H100 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3)
a3-edgegpu-8g 208 1872 6000 5
  • 800: per asia-south1 e northamerica-northeast2
  • 400: per tutte le altre regioni A3 Edge
8 640

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Tipi di macchine A2

A ogni tipo di macchina A2 è collegato un numero fisso di GPU NVIDIA A100 da 40 GB o NVIDIA A100 da 80 GB. Ogni tipo di macchina ha anche un conteggio di vCPU e una dimensione della memoria fissi.

Le serie di macchine A2 sono disponibili in due tipi:

  • A2 Ultra: a questi tipi di macchine sono collegate GPU A100 da 80 GB e dischi SSD locali.
  • A2 Standard: a questi tipi di macchine sono collegate GPU A100 da 40 GB.

A2 Ultra

GPU NVIDIA A100 da 80 GB collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1500 50 4 320
a2-ultragpu-8g 96 1360 3000 100 8 640

A2 Standard

GPU NVIDIA A100 da 40 GB collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale supportato Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM2)
a2-highgpu-1g 12 85 24 1 40
a2-highgpu-2g 24 170 32 2 80
a2-highgpu-4g 48 340 50 4 160
a2-highgpu-8g 96 680 100 8 320
a2-megagpu-16g 96 1360 100 16 640

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Tipi di macchine G4

I tipi di macchina G4 ottimizzati per l'acceleratore utilizzano GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) e sono adatti per i workload di simulazione NVIDIA Omniverse, le applicazioni ad alta intensità di grafica, la transcodifica video e i desktop virtuali. I tipi di macchine G4 forniscono anche una soluzione a basso costo per l'esecuzione dell'inferenza su un singolo host e l'ottimizzazione del modello rispetto ai tipi di macchine della serie A.

GPU NVIDIA RTX PRO 6000 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD Titanium massimo supportato (GiB)2 Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)3 Conteggio GPU Memoria GPU4
(GB GDDR7)
g4-standard-48 48 180 1500 1 50 1 96
g4-standard-96 96 360 3000 1 100 2 192
g4-standard-192 192 720 6000 1 200 4 384
g4-standard-384 384 1440 12.000 2 400 8 768

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2Puoi aggiungere dischi Titanium SSD quando crei un'istanza G4. Per il numero di dischi che puoi collegare, vedi Tipi di macchine per cui devi scegliere un numero di dischi SSD locali.
3 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Vedi Larghezza di banda della rete.
4 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Tipi di macchine G2

I tipi di macchina G2 ottimizzati per l'acceleratore sono collegati a GPU NVIDIA L4 e sono ideali per inferenza ottimizzata per i costi, carichi di lavoro ad alta intensità di grafica e di computing ad alte prestazioni.

Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare all'istanza per ogni tipo di macchina. Puoi anche aggiungere dischi SSD locali quando crei un'istanza G2. Per il numero di dischi che puoi collegare, vedi Tipi di macchine per cui devi scegliere un numero di dischi SSD locali.

Per applicare larghezze di banda di rete più elevate (da 50 Gbps o superiori) alla maggior parte delle istanze di GPU, ti consigliamo di utilizzare la NIC virtuale Google (gVNIC). Per ulteriori informazioni sulla creazione di istanze di GPU che utilizzano gVNIC, consulta Creazione di istanze di GPU che utilizzano larghezze di banda più elevate.

GPU NVIDIA L4 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza predefinita (GB) Intervallo di memoria istanza personalizzato (GB) SSD locale massimo supportato (GiB) Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3 (GB GDDR6)
g2-standard-4 4 16 16-32 375 10 1 24
g2-standard-8 8 32 32-54 375 16 1 24
g2-standard-12 12 48 48-54 375 16 1 24
g2-standard-16 16 64 54-64 375 32 1 24
g2-standard-24 24 96 96-108 750 32 2 48
g2-standard-32 32 128 96-128 375 32 1 24
g2-standard-48 48 192 192-216 1500 50 4 96
g2-standard-96 96 384 384-432 3000 100 8 192

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Tipi di macchine N1 + GPU

Per le istanze N1 per uso generico a cui sono state collegate GPU T4 e V100, puoi ottenere una larghezza di banda di rete massima fino a 100 Gbps, in base al conteggio combinato di GPU e vCPU. Per tutte le altre istanze di GPU N1, consulta la Panoramica.

Consulta la sezione seguente per calcolare la larghezza di banda di rete massima disponibile per le istanze T4 e V100 in base al modello di GPU, al numero di vCPU e di GPU.

Meno di 5 vCPU

Le istanze T4 e V100 con al massimo 5 vCPU hanno a disposizione una larghezza di banda di rete massima di 10 Gbps.

Più di 5 vCPU

Per le istanze T4 e V100 con più di 5 vCPU, la larghezza di banda di rete massima viene calcolata in base al numero di vCPU e GPU per la VM.

Per applicare larghezze di banda di rete più elevate (da 50 Gbps o superiori) alla maggior parte delle istanze di GPU, ti consigliamo di utilizzare la NIC virtuale Google (gVNIC). Per ulteriori informazioni sulla creazione di istanze di GPU che utilizzano gVNIC, consulta Creazione di istanze di GPU che utilizzano larghezze di banda più elevate.

Modello di GPU Numero di GPU Calcolo della larghezza di banda di rete massima
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

Impostazioni MTU e tipi di macchine GPU

Per massimizzare la larghezza di banda di rete, imposta un valore unità massima di trasmissione (MTU) più elevato per le tue reti VPC. Valori MTU più elevati aumentano le dimensioni dei pacchetti e riducono l'overhead delle intestazioni dei pacchetti, il che a sua volta aumenta il throughput dei dati del payload.

Per i tipi di macchine GPU, consigliamo le seguenti impostazioni MTU per le reti VPC.

Tipo di macchina GPU MTU consigliata (in byte)
Rete VPC Rete VPC con profili RDMA
  • A4X
  • A4
  • A3 Ultra
8896 8896
  • A3 Mega
  • A3 High
  • A3 Edge
8244 N/D
  • A2 Standard
  • A2 Ultra
  • G4
  • G2
  • Tipi di macchine N1 che supportano le GPU
8896 N/D

Quando imposti il valore MTU, tieni presente quanto segue:

  • 8192 è pari a due pagine da 4 KB.
  • 8244 è consigliato nelle VM A3 Mega, A3 High e A3 Edge per le NIC GPU che hanno l'intestazione suddivisa abilitata.
  • Utilizza il valore 8896, se non diversamente indicato nella tabella.

Crea macchine GPU a larghezza di banda elevata

Per creare istanze di GPU che utilizzano larghezze di banda di rete più elevate, utilizza uno dei seguenti metodi in base al tipo di macchina:

Passaggi successivi