Famiglia di macchine ottimizzate per l'acceleratore

Questo documento descrive la famiglia di macchine ottimizzate per l'acceleratore, che fornisce istanze di macchine virtuali (VM) con GPU NVIDIA pre-collegate. Queste istanze sono progettate specificamente per l'intelligenza artificiale (AI), il machine learning (ML), il computing ad alte prestazioni (HPC) e le applicazioni con un utilizzo elevato di grafica.

La famiglia di macchine ottimizzate per l'acceleratore è disponibile nelle seguenti serie di macchine: A4X, A4, A3, A2, G4 e G2. Ogni tipo di macchina all'interno di una serie ha un modello e un numero specifico di GPU NVIDIA collegate. Puoi anche collegare alcuni modelli di GPU ai tipi di macchine per uso generico N1.

La sezione seguente fornisce le serie di macchine consigliate in base ai workload GPU:

Tipo di workload Tipo di macchina consigliato
Modelli di pre-addestramento A4X, A4, A3 Ultra, A3 Mega, A3 High e A2

Per identificare la soluzione più adatta, consulta Consigli per i modelli di preaddestramento nella documentazione di AI Hypercomputer.

Modelli di ottimizzazione A4X, A4, A3 Ultra, A3 Mega, A3 High, A2 e G4 (anteprima)

Per identificare la soluzione più adatta, consulta Consigli per i modelli di ottimizzazione nella documentazione di AI Hypercomputer.

Inferenza di pubblicazione A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2 e G4 (anteprima)

Per identificare la soluzione più adatta, consulta Consigli per l'inferenza di pubblicazione nella documentazione di AI Hypercomputer.

Workload ad alta intensità di grafica G4 (anteprima), G2 e N1+T4
Computing ad alte prestazioni Per i workload di computing ad alte prestazioni, qualsiasi serie di macchine ottimizzata per l'acceleratore è adatta. La soluzione migliore dipende dalla quantità di calcoli da trasferire sulla GPU.

Per ulteriori informazioni, consulta Consigli per l'HPC (computing ad alte prestazioni) nella documentazione di AI Hypercomputer.

Opzioni di prezzo e consumo

Le opzioni di consumo si riferiscono ai modi per ottenere e utilizzare le risorse di calcolo. Google Cloud fattura i tipi di macchine ottimizzati per l'acceleratore per le GPU associate, vCPU predefinita, memoria ed SSD locale in bundle (se applicabile). Gli sconti per le istanze ottimizzate per l'acceleratore variano in base all'opzione di consumo utilizzata. Per ulteriori informazioni sui prezzi delle istanze ottimizzate per l'acceleratore, consulta la sezione Famiglia ditipo di macchinae ottimizzate per l'acceleratore nella pagina dei prezzi delle istanze VM.

Gli sconti per le istanze ottimizzate per l'acceleratore variano in base all'opzione di consumo che scegli:

  • On demand:puoi ricevere sconti per impegno di utilizzo (CUD) per alcune risorse acquistando impegni basati sulle risorse. Tuttavia, le GPU e i dischi SSD locali che utilizzi con l'opzione on demand non sono idonei per gli sconti per impegno di utilizzo. Per ricevere sconti per impegno di utilizzo per GPU e dischi SSD locali, utilizza una delle opzioni di prenotazione.
  • Spot:le VM spot ricevono automaticamente sconti tramite Prezzi di VM spot.
  • Avvio flessibile (anteprima): le istanze di cui è stato eseguito il provisioning utilizzando l'opzione di consumo con avvio flessibile ricevono automaticamente sconti tramite i prezzi di Dynamic Workload Scheduler.
  • Prenotazioni:puoi ricevere CUD per le risorse del tipo di macchina ottimizzato per l'acceleratore acquistando impegni basati sulle risorse. Gli impegni per GPU e dischi SSD locali richiedono prenotazioni allegate per queste risorse.

Disponibilità dell'opzione di consumo per tipo di macchina

La tabella seguente riassume la disponibilità di ciascuna opzione di consumo per serie di macchine. Per saperne di più su come scegliere un'opzione di consumo, consulta Scegliere un modello di consumo nella documentazione di AI Hypercomputer.

Tipo di macchina On demand Spot Flex-start (anteprima) Prenotazioni on demand Prenotazioni future (anteprima) Prenotazioni future in modalità calendario (anteprima) Prenotazioni future in AI Hypercomputer (anteprima)
A4X
A4
A3 Ultra
  • A3 Mega
  • A3 High con 8 GPU
  • A3 Edge
A3 High con meno di 8 GPU
A2 Ultra e A2 Standard
G4 (anteprima) 1
G2

1Per scoprire come accedere a questa serie di macchine, contatta il team del tuo Account Google.

La serie di macchine A4X

La serie di macchine A4X viene eseguita su una piattaforma exascale basata sull'architettura NVIDIA GB200 NVL72 a livello di rack e ha fino a 140 vCPU e 884 GB di memoria. Questa serie di macchine è ottimizzata per l'addestramento ML con vincoli di rete, ad alta intensità di calcolo e memoria, nonché per i workload HPC. La serie di macchine A4X è disponibile in un unico tipo di macchina.

Le istanze VM create utilizzando il tipo di macchina A4X forniscono le seguenti funzionalità:

  • Accelerazione GPU con NVIDIA GB200 Superchip: alle istanze A4X sono collegati automaticamente NVIDIA GB200 Superchip. Questi superchip hanno GPU NVIDIA B200 e offrono 180 GB di memoria per GPU. A4X ha due socket con CPU NVIDIA Grace™ con core Arm® Neoverse™ V2. Queste CPU sono collegate a quattro GPU B200 con comunicazione rapida da chip a chip (NVLink-C2C).

  • Piattaforma NVIDIA Grace CPU: le istanze A4X utilizzano la piattaforma NVIDIA Grace CPU. Per ulteriori dettagli sulla piattaforma, consulta Piattaforme CPU.

  • Scalabilità NVLink leader del settore: NVLink multi-nodo che si adatta fino a 72 GPU in un singolo dominio. Le GPU NVIDIA B200 forniscono una larghezza di banda NVLink della GPU di 1800 GBps in modo bidirezionale per GPU. Con una topologia NVLink all-to-all tra 4 GPU in un sistema, la larghezza di banda NVLink aggregata può arrivare a 130 TB/s.

  • Enhanced Networking con RoCE: per le istanze A4X, RDMA su Converged Ethernet (RoCE) aumenta le prestazioni della rete combinando le schede di interfaccia di rete (NIC) NVIDIA ConnectX-7 (CX-7) con la rete a quattro vie in linea del data center di Google. Sfruttando RDMA su Converged Ethernet (RoCE), le istanze A4X raggiungono un throughput molto più elevato tra le istanze in un cluster rispetto alle istanze A4.

    Le NIC CX-7, isolate fisicamente su una topologia di rete allineata a quattro vie, consentono alle istanze A4X di fare lo scale out in gruppi di 72 GPU fino a migliaia di GPU in un singolo cluster non bloccante.

  • Velocità di rete aumentate: offre velocità di networking fino a 4 volte superiori rispetto alle istanze create utilizzando i tipi di macchine A3.

  • Ottimizzazioni della virtualizzazione per i trasferimenti e il recupero dei dati: la topologia Peripheral Component Interconnect Express (PCIe) delle istanze A4X fornisce informazioni sulla località più precise che i workload possono utilizzare per ottimizzare i trasferimenti di dati.

    Le GPU espongono anche il ripristino a livello di funzione (FLR) per il recupero graduale da errori e il supporto delle operazioni atomiche per i miglioramenti della concorrenza in determinati scenari.

  • Supporto di SSD locale e Hyperdisk: 12.000 GiB di SSD locale vengono aggiunti automaticamente alle istanze A4X. L'SSD locale può essere utilizzato per dischi temporanei veloci o per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O.

    Per le applicazioni che richiedono prestazioni di archiviazione più elevate, puoi collegare fino a 512 TiB di Hyperdisk alle istanze A4X.

  • Supporto per l'allocazione e la pianificazione in base alla topologia: quando esegui il provisioning di istanze A4X, puoi richiedere blocchi di capacità allocata in modo denso. Le macchine host sono allocate fisicamente vicine l'una all'altra, viene eseguito il loro provisioning in blocchi di risorse e sono interconnesse con un'infrastruttura di rete ML dinamica per ridurre al minimo gli hop di rete e ottimizzare per la latenza più bassa. Inoltre, A4X fornisce informazioni sulla topologia a livello di nodo e cluster che possono essere utilizzate per il posizionamento dei job.

Tipo di macchina A4X

I tipi di macchine A4X ottimizzate per l'acceleratore utilizzano i superchip NVIDIA GB200 Grace Blackwell (nvidia-gb200) e sono ideali per l'addestramento e la pubblicazione di modelli di base.

A4X è una piattaforma exascale basata su NVIDIA GB200 NVL72. Ogni macchina ha due socket con CPU NVIDIA Grace con core Arm Neoverse V2. Queste CPU sono collegate a quattro GPU NVIDIA B200 Blackwell con comunicazione chip-to-chip (NVLink-C2C) veloce.

Superchip NVIDIA GB200 Grace Blackwell collegati
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3e)
a4x-highgpu-4g 140 884 12.000 6 2000 4 720

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A4X

Tipi di dischi supportati per le istanze A4X

Le istanze A4X possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk bilanciato (hyperdisk-balanced): è l'unico tipo di disco supportato per il disco di avvio
  • Hyperdisk Extreme (hyperdisk-extreme)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A4X
Numero massimo di dischi per istanza1
Tipi di macchine Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme SSD locale collegato
a4x-highgpu-4g 128 128 N/A N/A 8 32

1 L'utilizzo di Hyperdisk viene addebitato separatamente rispetto ai prezzi dei tipi di macchina. Per i prezzi dei dischi, consulta Prezzi di Hyperdisk.

Limiti di disco e capacità

Puoi collegare una combinazione di diversi tipi di Hyperdisk a un'istanza, ma la capacità totale massima del disco (in TiB) per tutti i tipi di disco non può superare i 512 TiB per tutti gli Hyperdisk.

Per informazioni dettagliate sui limiti di capacità, vedi Limiti di dimensioni e collegamento di Hyperdisk.

La serie di macchine A4

La serie di macchine A4 offre tipi di macchine con fino a 224 vCPU e 3968 GB di memoria. Le istanze A4 offrono prestazioni fino a 3 volte superiori rispetto ai tipi di istanze GPU precedenti per la maggior parte dei workload accelerati da GPU. A4 è consigliato per i workload di addestramento ML, soprattutto su larga scala, ad esempio centinaia o migliaia di GPU. La serie di macchine A4 è disponibile in un unico tipo di macchina.

Le istanze VM create utilizzando il tipo di macchina A4 forniscono le seguenti funzionalità:

  • Accelerazione GPU con GPU NVIDIA B200: le GPU NVIDIA B200 vengono collegate automaticamente alle istanze A4, che offrono 180 GB di memoria GPU per GPU.

  • Processore Intel Xeon scalabile di 5ª generazione (Emerald Rapids): offre una frequenza turbo massima single-core sostenuta fino a 4,0 GHz. Per ulteriori informazioni su questo processore, consulta Piattaforma CPU.

  • Scalabilità NVLink leader del settore: le GPU NVIDIA B200 forniscono una larghezza di banda NVLink della GPU di 1800 GBps in modo bidirezionale per GPU.

    Con una topologia NVLink all-to-all tra 8 GPU in un sistema, la larghezza di banda NVLink aggregata può arrivare a 14,4 TB/s.

  • Networking avanzato con RoCE: RDMA su Converged Ethernet (RoCE) aumenta le prestazioni della rete combinando le schede di interfaccia di rete (NIC) NVIDIA ConnectX-7 con la rete a quattro vie in linea del data center di Google. Sfruttando RDMA su Converged Ethernet (RoCE), le istanze A4 raggiungono un throughput molto più elevato tra le istanze in un cluster rispetto alla maggior parte delle istanze A3, ad eccezione di quelle in esecuzione sul tipo di macchina A3 Ultra.

  • Velocità di rete aumentate: offre velocità di rete fino a 4 volte superiori rispetto alle istanze A2 di generazione precedente.

    Per ulteriori informazioni sul networking, consulta Larghezze di banda di rete e GPU.

  • Ottimizzazioni della virtualizzazione per i trasferimenti e il recupero dei dati: la topologia Peripheral Component Interconnect Express (PCIe) delle istanze A4 fornisce informazioni sulla località più precise che i workload possono utilizzare per ottimizzare i trasferimenti di dati.

    Le GPU espongono anche il ripristino a livello di funzione (FLR) per il recupero graduale da errori e il supporto delle operazioni atomiche per i miglioramenti della concorrenza in determinati scenari.

  • Supporto di SSD locale e Hyperdisk: 12.000 GiB di SSD locale vengono aggiunti automaticamente alle istanze A4. L'SSD locale può essere utilizzato per dischi temporanei veloci o per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O.

    Per le applicazioni che richiedono prestazioni di archiviazione più elevate, puoi anche collegare fino a 512 TiB di Hyperdisk alle istanze A4.

  • Supporto per l'allocazione e la pianificazione in base alla topologia: quando esegui il provisioning di istanze A4, puoi richiedere blocchi di capacità allocata in modo denso. Le macchine host sono allocate fisicamente una vicino all'altra, viene eseguito il loro provisioning in blocchi di risorse e sono interconnesse con un'infrastruttura di rete ML dinamica per ridurre al minimo gli hop di rete e ottimizzare per la latenza più bassa. Inoltre, puoi ottenere informazioni sulla topologia a livello di nodo e cluster che possono essere utilizzate per il posizionamento dei job.

Tipo di macchina A4

I tipi di macchine A4 ottimizzate per l'acceleratore sono collegate a GPU NVIDIA B200 Blackwell (nvidia-b200) e sono ideali per l'addestramento e la pubblicazione di modelli di base.

GPU NVIDIA B200 Blackwell collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3e)
a4-highgpu-8g 224 3968 12.000 10 3600 8 1440

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A4

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina A4.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A4.
  • Puoi utilizzare un tipo di macchina A4 solo in alcune regioni e zone.
  • Non puoi utilizzare Persistent Disk (a livello di regione o di zona) su un'istanza che utilizza un tipo di macchina A4.
  • Il tipo di macchina A4 è disponibile solo sulla piattaforma CPU Emerald Rapids.
  • Non puoi modificare il tipo di macchina di un'istanza esistente in un tipo di macchina A4. Puoi creare solo nuove istanze A4. Dopo aver creato un'istanza utilizzando un tipo di macchina A4, non puoi modificare il tipo di macchina.
  • I tipi di macchine A4 non supportano la modalità single-tenancy.
  • Non puoi eseguire sistemi operativi Windows su un tipo di macchina A4.

Tipi di dischi supportati per le istanze A4

Le istanze A4 possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk bilanciato (hyperdisk-balanced): è l'unico tipo di disco supportato per il disco di avvio
  • Hyperdisk Extreme (hyperdisk-extreme)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A4
Numero massimo di dischi per istanza1
Tipi di macchine Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme SSD locale collegato
a4-highgpu-8g 128 128 N/A N/A 8 32

1 L'utilizzo di Hyperdisk viene addebitato separatamente rispetto ai prezzi dei tipi di macchina. Per i prezzi dei dischi, consulta Prezzi di Hyperdisk.

Limiti di disco e capacità

Puoi collegare una combinazione di diversi tipi di Hyperdisk a un'istanza, ma la capacità totale massima del disco (in TiB) per tutti i tipi di disco non può superare i 512 TiB per tutti gli Hyperdisk.

Per informazioni dettagliate sui limiti di capacità, vedi Limiti di dimensioni e collegamento di Hyperdisk.

La serie di macchine A3

La serie di macchine A3 ha fino a 224 vCPU e 2944 GB di memoria. Questa serie di macchine è ottimizzata per l'addestramento ML con vincoli di rete, ad alta intensità di calcolo e memoria, nonché per i workload HPC. La serie di macchine A3 è disponibile nei tipi di macchine A3 Ultra, A3 Mega, A3 High e A3 Edge.

Le istanze VM create utilizzando i tipi di macchine A3 forniscono le seguenti funzionalità:

Funzionalità A3 Ultra A3 Mega, High, Edge
Accelerazione GPU

GPU NVIDIA H200 SXM collegate, che offrono 141 GB di memoria GPU per GPU e forniscono memoria più grande e più rapida per supportare modelli linguistici di grandi dimensioni (LLM) e workload HPC.

GPU NVIDIA H100 SXM collegate, che offrono 80 GB di memoria GPU per GPU e sono ideali per HPC, database e modelli linguistici di grandi dimensioni (LLM) basati su Transformer.

Processori scalabili Intel Xeon

Processore Intel Xeon scalabile di 5ª generazione (Emerald Rapids) che offre una frequenza turbo massima single-core sostenuta fino a 4,0 GHz. Per ulteriori informazioni su questo processore, consulta la piattaforma CPU.

Processore Intel Xeon scalabile di 4ª generazione (Sapphire Rapids) e offre una frequenza turbo massima single-core supportata fino a 3,3 GHz. Per ulteriori informazioni su questo processore, consulta la piattaforma CPU.

Scalabilità NVLink leader del settore

Le GPU NVIDIA H200 offrono un picco di larghezza di banda NVLink della GPU di 900 GB/s in modo unidirezionale.

Con una topologia NVLink all-to-all tra 8 GPU in un sistema, la larghezza di banda NVLink aggregata può arrivare a 7,2 TB/s.

Le GPU NVIDIA H100 offrono una larghezza di banda NVLink GPU di picco di 450 GB/s in modo unidirezionale.

Con una topologia NVLink all-to-all tra 8 GPU in un sistema, la larghezza di banda NVLink aggregata può arrivare a 7,2 TB/s.

Networking avanzato Per questo tipo di macchina, RDMA su Converged Ethernet (RoCE) aumenta le prestazioni della rete combinando schede di interfaccia di rete (NIC) NVIDIA ConnectX-7 con la nostra rete a quattro vie in linea del data center. Sfruttando RDMA su Converged Ethernet (RoCE), il tipo di macchina a3-ultragpu-8g raggiunge un throughput molto più elevato tra le istanze in un cluster rispetto ad altri tipi di macchine A3.
  • Per i tipi di macchine A3 Mega, GPUDirect-TCPXO migliora ulteriormente GPUDirect-TCPX eseguendo il trasferimento del protocollo TCP. Sfruttando GPUDirect-TCPXO, il tipo di macchina a3-megagpu-8g raddoppia la larghezza di banda della rete rispetto ai tipi di macchina A3 High e A3 Edge.
  • Per i tipi di macchine A3 Edge e A3 High, GPUDirect-TCPX aumenta le prestazioni della rete consentendo il trasferimento dei payload dei pacchetti di dati direttamente dalla memoria della GPU all'interfaccia di rete. Sfruttando GPUDirect-TCPX, questi tipo di macchina raggiungono un throughput molto più elevato tra le istanze in un cluster rispetto ai tipi di macchine ottimizzati per l'acceleratore A2 o G2.
Velocità di rete migliorate

Offre velocità di rete fino a 4 volte superiori rispetto alla serie di macchine A2 di generazione precedente.

Per ulteriori informazioni sul networking, consulta Larghezze di banda di rete e GPU.

Offre velocità di rete fino a 2,5 volte superiori rispetto alla serie di macchine A2 della generazione precedente.

Per ulteriori informazioni sul networking, consulta Larghezze di banda di rete e GPU.

Ottimizzazioni della virtualizzazione

La topologia PCIe (Peripheral Component Interconnect Express) delle istanze A3 fornisce informazioni sulla località più precise che i workload possono utilizzare per ottimizzare i trasferimenti di dati.

Le GPU espongono anche il ripristino a livello di funzione (FLR) per il recupero graduale da errori e il supporto delle operazioni atomiche per i miglioramenti della concorrenza in determinati scenari.

Supporto di SSD locale, Persistent Disk e Hyperdisk

L'SSD locale può essere utilizzato per dischi temporanei veloci o per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O. L'SSD locale è collegato come segue:

  • 12.000 GiB di SSD locale vengono aggiunti automaticamente alle istanze A3 Ultra.
  • 6000 GiB di SSD locale vengono aggiunti automaticamente alle istanze A3 Mega, High ed Edge.

Puoi anche collegare fino a 512 TiB di Persistent Disk e Hyperdisk ai tipi di macchine di queste serie per le applicazioni che richiedono prestazioni di archiviazione più elevate. Per alcuni tipi di macchina, sono supportati anche fino a 257 TiB di Persistent Disk.

Supporto delle policy di posizionamento compatto

Ti offre un maggiore controllo sul posizionamento fisico delle istanze all'interno dei data center.

Ciò consente una latenza inferiore e una maggiore larghezza di banda per le istanze che si trovano all'interno di una singola zona di disponibilità.

Per saperne di più, consulta Informazioni sulle policy di posizionamento compatto.

Tipo di macchina A3 Ultra

I tipi di macchina A3 Ultra sono collegati a GPU NVIDIA H200 SXM (nvidia-h200-141gb) e offrono le massime prestazioni di rete nella serie A3. I tipi di macchine A3 Ultra sono ideali per l'addestramento e la pubblicazione di foundation model.

GPU NVIDIA H200 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3e)
a3-ultragpu-8g 224 2952 12.000 10 3600 8 1128

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A3 Ultra

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina A3 Ultra.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A3 Ultra.
  • Puoi utilizzare un tipo di macchina A3 Ultra solo in alcune regioni e zone.
  • Non puoi utilizzare Persistent Disk (a livello di regione o di zona) su un'istanza che utilizza un tipo di macchina A3 Ultra.
  • Il tipo di macchina A3 Ultra è disponibile solo sulla piattaforma CPU Emerald Rapids.
  • Non puoi modificare il tipo di macchina di un'istanza esistente in un tipo di macchina A3 Ultra. Puoi creare solo nuove istanze A3-ultra. Dopo aver creato un'istanza utilizzando un tipo di macchina A3 Ultra, non puoi modificare il tipo di macchina.
  • I tipi di macchine A3 Ultra non supportano la modalità single-tenancy.
  • Non puoi eseguire sistemi operativi Windows su un tipo di macchina A3 Ultra.

Tipo di macchina A3 Mega

I tipi di macchine A3 Mega dispongono di GPU NVIDIA H100 SXM e sono ideali per l'addestramento di modelli di grandi dimensioni e l'inferenza multihost.
GPU NVIDIA H100 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3)
a3-megagpu-8g 208 1872 6000 9 1800 8 640

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A3 Mega

Tipo di macchina A3 High

I tipi di macchine A3 High dispongono di GPU NVIDIA H100 SXM e sono adatti sia per l'inferenza di modelli di grandi dimensioni sia per l'ottimizzazione dei modelli.
GPU NVIDIA H100 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1500 1 50 2 160
a3-highgpu-4g 104 936 3000 1 100 4 320
a3-highgpu-8g 208 1872 6000 5 1000 8 640

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A3 High

Tipo di macchina A3 Edge

I tipi di macchine A3 Edge sono dotati di GPU NVIDIA H100 SXM e sono progettati specificamente per la pubblicazione e sono disponibili in un insieme limitato di regioni.
GPU NVIDIA H100 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM3)
a3-edgegpu-8g 208 1872 6000 5
  • 800: per asia-south1 e northamerica-northeast2
  • 400: per tutte le altre regioni A3 Edge
8 640

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A3 Edge

Tipi di dischi supportati per le istanze A3

A3 Ultra

Le istanze A3 Ultra possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk bilanciato (hyperdisk-balanced): è l'unico tipo di disco supportato per il disco di avvio
  • Hyperdisk bilanciato con disponibilità elevata (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A3
Numero massimo di dischi per istanza1
Tipi
di macchina
Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk bilanciato ad alta affidabilità Throughput Hyperdisk Hyperdisk ML Hyperdisk Extreme Dischi
SSD locali
collegati
a3-ultragpu-8g 128 128 128 N/A N/A 8 32

1 L'utilizzo di Hyperdisk viene addebitato separatamente rispetto ai prezzi dei tipi di macchina. Per i prezzi dei dischi, consulta Prezzi di Hyperdisk.

A3 Mega

Le istanze A3 Mega possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Disco permanente bilanciato (pd-balanced)
  • Persistent Disk SSD (prestazioni) (pd-ssd)
  • Hyperdisk bilanciato (hyperdisk-balanced)
  • Hyperdisk bilanciato con disponibilità elevata (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A3
Numero massimo di dischi per istanza1
Tipi
di macchina
Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk bilanciato ad alta affidabilità Throughput Hyperdisk Hyperdisk ML Hyperdisk Extreme Dischi
SSD locali
collegati
a3-megagpu-8g 128 32 32 64 64 8 16

1 L'utilizzo di Hyperdisk e Persistent Disk viene addebitato separatamente rispetto ai prezzi dei tipi di macchine. Per i prezzi dei dischi, consulta Prezzi di Persistent Disk e Hyperdisk.

A3 High

Le istanze A3 High possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Disco permanente bilanciato (pd-balanced)
  • Persistent Disk SSD (prestazioni) (pd-ssd)
  • Hyperdisk bilanciato (hyperdisk-balanced)
  • Hyperdisk bilanciato con disponibilità elevata (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A3
Numero massimo di dischi per istanza1
Tipi
di macchina
Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk bilanciato ad alta affidabilità Throughput Hyperdisk Hyperdisk ML Hyperdisk Extreme Dischi
SSD locali
collegati
a3-highgpu-1g 128 32 32 64 64 N/A 2
a3-highgpu-2g 128 32 32 64 64 N/A 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

1 L'utilizzo di Hyperdisk e Persistent Disk viene addebitato separatamente rispetto ai prezzi dei tipi di macchine. Per i prezzi dei dischi, consulta Prezzi di Persistent Disk e Hyperdisk.

A3 Edge

Le istanze A3 Edge possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Disco permanente bilanciato (pd-balanced)
  • Persistent Disk SSD (prestazioni) (pd-ssd)
  • Hyperdisk bilanciato (hyperdisk-balanced)
  • Hyperdisk bilanciato con disponibilità elevata (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A3
Numero massimo di dischi per istanza1
Tipi di macchine Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk bilanciato ad alta affidabilità Throughput Hyperdisk Hyperdisk ML Hyperdisk Extreme SSD locale collegato
a3-edgegpu-8g 128 32 32 64 64 8 16

1 L'utilizzo di Hyperdisk e Persistent Disk viene addebitato separatamente rispetto ai prezzi dei tipi di macchine. Per i prezzi dei dischi, consulta Prezzi di Persistent Disk e Hyperdisk.

Limiti di disco e capacità

Se supportato dal tipo di macchina, puoi collegare una combinazione di volumi Hyperdisk e Persistent Disk a un'istanza, ma si applicano le seguenti limitazioni:

  • Il numero combinato di volumi Hyperdisk e Persistent Disk non può superare i 128 per istanza.
  • La capacità totale massima del disco (in TiB) per tutti i tipi di disco non può essere superiore a:

    • Per i tipi di macchine con meno di 32 vCPU:

      • 257 TiB per soli Hyperdisk o soli Persistent Disk
      • 257 TiB per una combinazione di Hyperdisk e Persistent Disk
    • Per i tipi di macchine con 32 o più vCPU:

      • 512 TiB per soli Hyperdisk
      • 512 TiB per una combinazione di Hyperdisk e Persistent Disk
      • 257 TiB per soli Persistent Disk

Per informazioni dettagliate sui limiti di capacità, consulta Dimensioni e limiti di allegati di Hyperdisk e Capacità massima di Persistent Disk.

La serie di macchine A2

La serie di macchine A2 è disponibile nei tipi di macchine A2 Standard e A2 Ultra. Questi tipi di macchine hanno da 12 a 96 vCPU e fino a 1360 GB di memoria.

Le istanze VM create utilizzando i tipi di macchine A2 forniscono le seguenti funzionalità:

  • Accelerazione GPU: ogni istanza A2 ha GPU NVIDIA A100. Sono disponibili sia nelle opzioni A100 da 40 GB che A100 da 80 GB.

  • Scalabilità NVLink leader del settore che offre una larghezza di banda NVLink GPU-to-GPU di picco di 600 GB/s. Ad esempio, i sistemi con 16 GPU hanno una larghezza di banda NVLink aggregata fino a 9,6 TB/s. Queste 16 GPU possono essere utilizzate come un singolo acceleratore ad alte prestazioni con spazio di memoria unificato per fornire fino a 10 petaFLOPS di potenza di calcolo e fino a 20 petaFLOPS di potenza di calcolo di inferenza che possono essere utilizzati per i workload di intelligenza artificiale, deep learning e machine learning.

  • Velocità di calcolo migliorate: le GPU NVIDIA A100 collegate offrono fino a 10 volte in più in termini di velocità di calcolo rispetto alle GPU NVIDIA V100 di generazione precedente.

    Con la serie di macchine A2, puoi ottenere una larghezza di banda di rete fino a 100 Gbps.

  • Supporto di SSD locale, Persistent Disk e Hyperdisk: per dischi temporanei veloci o per l'alimentazione di dati alle GPU evitando al contempo i colli di bottiglia I/O, i tipi di macchine A2 supportano l'SSD locale come segue:

    • Per i tipi di macchine A2 standard, puoi aggiungere fino a 3000 GiB di SSD locale quando crei un'istanza.
    • Per i tipi di macchine A2 Ultra, l'SSD locale viene collegata automaticamente quando crei un'istanza.

    Per le applicazioni che richiedono prestazioni di archiviazione più elevate, puoi anche collegare fino a 257 TiB di Persistent Disk e 512 TiB di volumi Hyperdisk alle istanze A2.

  • Supporto delle policy di posizionamento compatto: offre un maggiore controllo sul posizionamento fisico delle istanze all'interno dei data center. Ciò consente una latenza inferiore e una maggiore larghezza di banda per le istanze che si trovano all'interno di una singola zona di disponibilità. Per ulteriori informazioni, consulta Riduci la latenza utilizzando le policy di posizionamento compatto.

Per la serie di macchine A2 sono disponibili i seguenti tipi di macchine.

Tipi di macchine A2 Ultra

Questi tipi di macchine hanno un numero fisso di GPU A100 da 80 GB. L'unità SSD locale viene collegata automaticamente alle istanze create utilizzando i tipi di macchine A2 Ultra.

GPU NVIDIA A100 da 80 GB collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale collegato (GiB) Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1500 50 4 320
a2-ultragpu-8g 96 1360 3000 100 8 640

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A2 Ultra

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina A2 Ultra.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A2 Ultra.
  • Puoi utilizzare un tipo di macchina A2 Ultra solo in alcune regioni e zone.
  • Il tipo di macchina A2 Ultra è disponibile solo sulla piattaforma Cascade Lake.
  • Se la tua istanza utilizza un tipo di macchina A2 Ultra, non puoi modificarlo. Se devi utilizzare un altro tipo di macchina A2 Ultra o qualsiasi altro tipo di macchina, devi creare una nuova istanza.
  • Non puoi modificare un altro tipo di macchina in un tipo A2 Ultra. Se hai bisogno di un'istanza che utilizzi un tipo di macchina A2 Ultra, devi crearne una nuova.
  • Non puoi formattare rapidamente le unità SSD locali collegate sulle istanze Windows che utilizzano i tipi di macchine A2 Ultra. Per formattare questi SSD locali, devi eseguire una formattazione completa utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.

Tipi di macchine A2 Standard

Questi tipi di macchine hanno un numero fisso di GPU A100 da 40 GB. Puoi anche aggiungere dischi SSD locali quando crei un'istanza A2 Standard. Per il numero di dischi che puoi collegare, vedi Tipi di macchine per cui devi scegliere un numero di dischi SSD locali.

GPU NVIDIA A100 da 40 GB collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD locale supportato Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3
(GB HBM2)
a2-highgpu-1g 12 85 24 1 40
a2-highgpu-2g 24 170 32 2 80
a2-highgpu-4g 48 340 50 4 160
a2-highgpu-8g 96 680 100 8 320
a2-megagpu-16g 96 1360 100 16 640

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A2 Standard

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina A2 Standard.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A2 Standard.
  • Puoi utilizzare un tipo di macchina A2 Standard solo in alcune regioni e zone.
  • Il tipo di macchina A2 Standard è disponibile solo sulla piattaforma Cascade Lake.
  • Se la tua istanza utilizza un tipo di macchina A2 Standard, puoi passare solo da un tipo di macchina A2 Standard a un altro tipo di macchina A2 Standard. Non puoi passare a un altro tipo di macchina. Per ulteriori informazioni, consulta Modifica le istanze ottimizzate per l'acceleratore.
  • Non puoi utilizzare il sistema operativo Windows con i tipi di macchine A2 Standard a2-megagpu-16g. Quando utilizzi sistemi operativi Windows, scegli un tipo di macchina A2 Standard diverso.
  • Non puoi formattare rapidamente le unità SSD locali collegate sulle istanze Windows che utilizzano i tipi di macchine A2 Standard. Per formattare questi SSD locali, devi eseguire una formattazione completa utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.
  • I tipi di macchine A2 Standard non supportano la modalità single-tenancy.

Tipi di dischi supportati per le istanze A2

Le istanze A2 possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk ML (hyperdisk-ml)
  • Disco permanente bilanciato (pd-balanced)
  • Persistent Disk SSD (prestazioni) (pd-ssd)
  • Disco permanente standard (pd-standard)
  • SSD locale: viene collegata automaticamente alle istanze create utilizzando i tipi di macchine A2 Ultra.

Se supportato dal tipo di macchina, puoi collegare una combinazione di volumi Hyperdisk e Persistent Disk a un'istanza, ma si applicano le seguenti limitazioni:

  • Il numero combinato di volumi Hyperdisk e Persistent Disk non può superare i 128 per istanza.
  • La capacità totale massima del disco (in TiB) per tutti i tipi di disco non può essere superiore a:

    • Per i tipi di macchine con meno di 32 vCPU:

      • 257 TiB per soli Hyperdisk o soli Persistent Disk
      • 257 TiB per una combinazione di Hyperdisk e Persistent Disk
    • Per i tipi di macchine con 32 o più vCPU:

      • 512 TiB per soli Hyperdisk
      • 512 TiB per una combinazione di Hyperdisk e Persistent Disk
      • 257 TiB per soli Persistent Disk

Per informazioni dettagliate sui limiti di capacità, consulta Limiti di dimensioni e collegamento di Hyperdisk e Capacità massima di Persistent Disk.

La serie di macchine G4

La serie di macchine G4 utilizza la piattaforma CPU AMD EPYC Turin e include GPU NVIDIA RTX PRO 6000 Blackwell Server Edition. Questa serie di macchine offre miglioramenti significativi rispetto alla serie di macchine G2 di generazione precedente, con molta più memoria GPU, maggiore larghezza di banda della memoria GPU e maggiore larghezza di banda di rete.

Le istanze G4 hanno fino a 384 vCPU, 1440 GB di memoria e 12 TiB di dischi Titanium SSD collegati. Le istanze G4 forniscono anche fino a 400 Gbps di prestazioni di rete standard.

Questa serie di macchine è particolarmente adatta a carichi di lavoro come quelli di simulazione NVIDIA Omniverse, applicazioni ad alta intensità di grafica, transcodifica video e desktop virtuali. La serie di macchine G4 offre anche una soluzione a basso costo per eseguire l'inferenza su un singolo host e il perfezionamento del modello rispetto ai tipi di macchine della serie A.

Le istanze che utilizzano il tipo di macchina G4 forniscono le seguenti funzionalità:

  • Accelerazione GPU con GPU NVIDIA RTX PRO 6000 Blackwell Server Edition: le istanze G4 collegano automaticamente GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, che offrono 96 GB di memoria GPU per GPU.

  • Piattaforma CPU AMD EPYC Turin di 5ª generazione: questa piattaforma offre una frequenza di boost massima sostenuta fino a 4,1 GHz. Per ulteriori informazioni su questo processore, consulta Piattaforma CPU.

  • Prestazioni grafiche di nuova generazione: le GPU NVIDIA RTX PRO 6000 offrono aggiornamenti significativi di prestazioni e funzionalità rispetto alle GPU NVIDIA L4 collegate alla serie di macchine G2. Questi upgrade sono i seguenti:

    • Tensor Core di quinta generazione: questi core introducono il supporto della precisione FP4 e della generazione di più frame DLSS 4. Grazie all'utilizzo di questi Tensor Core di quinta generazione, le GPU NVIDIA RTX PRO 6000 offrono prestazioni migliorate per accelerare attività come lo sviluppo di LLM locali e la creazione di contenuti, rispetto alle GPU NVIDIA L4.
    • Core RT di quarta generazione: questi core offrono prestazioni di ray tracing fino a due volte superiori rispetto alle GPU NVIDIA L4 di generazione precedente, accelerando il rendering per i carichi di lavoro di progettazione e produzione.
    • Numero di core: la GPU NVIDIA RTX PRO 6000 include 24.064 core CUDA, 752 Tensor Core di quinta generazione e 188 RT Core di quarta generazione. Questo aggiornamento rappresenta un aumento sostanziale rispetto alle generazioni precedenti, come la GPU L4,che ha 7680 core CUDA e 240 Tensor core.
  • GPU multi-istanza (MIG): questa funzionalità consente di partizionare una singola GPU in un massimo di quattro istanze GPU completamente isolate su una singola istanza VM. Per ulteriori informazioni su NVIDIA MIG, consulta la sezione GPU multi-istanza NVIDIA nella documentazione NVIDIA.

  • Supporto di Peripheral Component Interconnect Express (PCIe) Gen 5: le istanze G4 supportano PCIe Gen 5, che migliora la velocità di trasferimento dei dati dalla memoria della CPU alla GPU rispetto a PCIe Gen 3 utilizzato dalle istanze G2.

  • Supporto di Titanium SSD e Hyperdisk: le istanze G4 supportano il collegamento di un massimo di 12.000 GiB di Titanium SSD. L'SSD Titanium fornisce dischi temporanei veloci o invia dati alle GPU, il che contribuisce a evitare i colli di bottiglia I/O.

    Per le applicazioni che richiedono prestazioni di archiviazione più elevate, le istanze G4 supportano anche il collegamento di un massimo di 512 TiB di Hyperdisk.

  • Comunicazione peer-to-peer (P2P) tra GPU: le istanze G4 supportano la comunicazione P2P tra GPU, consentendo il trasferimento diretto dei dati tra le GPU all'interno della stessa istanza. Ciò può migliorare significativamente le prestazioni per i carichi di lavoro multi-GPU riducendo la latenza del trasferimento dei dati e liberando le risorse della CPU. Per saperne di più, consulta Comunicazione peer-to-peer (P2P) della GPU G4.

Tipi di macchine G4

I tipi di macchina G4 ottimizzati per l'acceleratore utilizzano GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) e sono adatti per i workload di simulazione NVIDIA Omniverse, le applicazioni ad alta intensità di grafica, la transcodifica video e i desktop virtuali. I tipi di macchine G4 forniscono anche una soluzione a basso costo per l'esecuzione dell'inferenza su un singolo host e l'ottimizzazione del modello rispetto ai tipi di macchine della serie A.

GPU NVIDIA RTX PRO 6000 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza (GB) SSD Titanium massimo supportato (GiB)2 Numero di NIC fisiche Larghezza di banda massima della rete (Gbps)3 Conteggio GPU Memoria GPU4
(GB GDDR7)
g4-standard-48 48 180 1500 1 50 1 96
g4-standard-96 96 360 3000 1 100 2 192
g4-standard-192 192 720 6000 1 200 4 384
g4-standard-384 384 1440 12.000 2 400 8 768

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2Puoi aggiungere dischi Titanium SSD quando crei un'istanza G4. Per il numero di dischi che puoi collegare, vedi Tipi di macchine per cui devi scegliere un numero di dischi SSD locali.
3 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Vedi Larghezza di banda della rete.
4 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni G4

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina G4.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina G4.
  • Puoi utilizzare un tipo di macchina G4 solo in alcune regioni e zone.
  • Non puoi utilizzare Persistent Disk (a livello di regione o di zona) su un'istanza che utilizza un tipo di macchina G4.
  • Il tipo di macchina G4 è disponibile solo sulla piattaforma AMD EPYC Turin di quinta generazione.
  • Puoi creare solo istanze on demand. Le prenotazioni, le VM con avvio flessibile o le VM spot non sono supportate. Per iniziare a utilizzare le istanze G4, contatta il tuo team dell'account Google.
  • Puoi creare istanze G4 solo in us-central1-b.
  • Puoi utilizzare solo i tipi di disco Hyperdisk Balanced e Hyperdisk Extreme su un'istanza che utilizza un tipo di macchina G4.
  • Non puoi applicare sconti per impegno di utilizzo alle istanze che utilizzano un tipo di macchina G4.
  • Non puoi creare istanze Confidential VM che utilizzano un tipo di macchina G4.
  • Non puoi creare istanze G4 su nodi single-tenant.
  • Non puoi creare istanze G4 che utilizzano la workstation virtuale (vWS) NVIDIA RTX.

Tipi di dischi supportati per le istanze G4

Le istanze G4 possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk bilanciato (hyperdisk-balanced)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Titanium SSD: puoi aggiungere Titanium SSD alle istanze create utilizzando i tipi di macchine G4.

Numero massimo di dischi per istanza1
Tipi di macchine Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Extreme Titanium SSD
g4-standard-48 32 32 0 4
g4-standard-96 32 32 8 8
g4-standard-192 64 64 8 16
g4-standard-384 128 128 8 32

1 L'utilizzo di Hyperdisk viene addebitato separatamente rispetto ai prezzi dei tipi di macchina. Per i prezzi dei dischi, consulta Prezzi di Hyperdisk.

Puoi collegare una combinazione di diversi tipi di Hyperdisk a un'istanza, ma la capacità totale massima del disco (in TiB) per tutti i tipi di disco non può superare i 512 TiB per tutti gli Hyperdisk.

Per informazioni dettagliate sui limiti di capacità, vedi Limiti di dimensioni e collegamento di Hyperdisk.

Comunicazione peer-to-peer (P2P) G4

Le istanze G4 migliorano le prestazioni dei workload multi-GPU utilizzando la comunicazione peer-to-peer (P2P) diretta tra GPU. Questa funzionalità consente alle GPU collegate alla stessa istanza G4 di scambiare dati direttamente tramite il bus PCIe, evitando la necessità di trasferire i dati tramite la memoria principale della CPU. Questo percorso diretto riduce la latenza, diminuisce l'utilizzo della CPU e aumenta la larghezza di banda effettiva tra le GPU. La comunicazione P2P accelera notevolmente le applicazioni multi-GPU come l'addestramento del machine learning (ML) e il computing ad alte prestazioni (HPC).

In genere, questa funzionalità non richiede modifiche al codice dell'applicazione. Devi configurare NCCL solo per utilizzare P2P. Per configurare NCCL, prima di eseguire i carichi di lavoro, imposta la variabile di ambiente NCCL_P2P_LEVEL sull'istanza G4 in base al tipo di macchina:

  • Per le istanze G4 con 2 o 4 GPU (g4-standard-96, g4-standard-192): imposta NCCL_P2P_LEVEL=PHB
  • Per le istanze G4 con 8 GPU (g4-standard-384): imposta NCCL_P2P_LEVEL=SYS

Imposta la variabile di ambiente utilizzando una delle seguenti opzioni:

  • Nella riga di comando, esegui il comando di esportazione appropriato (ad esempio, export NCCL_P2P_LEVEL=SYS) nella sessione della shell in cui prevedi di eseguire la tua applicazione. Per rendere questa impostazione persistente, aggiungi questo comando allo script di avvio della shell (ad esempio, ~/.bashrc).
  • Aggiungi l'impostazione appropriata (ad esempio, NCCL_P2P_LEVEL=SYS) al file di configurazione NCCL che si trova in /etc/nccl.conf.

Vantaggi principali e rendimento

  • Accelera i carichi di lavoro multi-GPU sulle istanze G4 con due o più GPU: fornisce runtime più rapidi per le applicazioni in esecuzione sui tipi di macchine g4-standard-96, g4-standard-192 e g4-standard-384.
  • Fornisce una comunicazione a larghezza di banda elevata: consente velocità di trasferimento dei dati elevate tra le GPU.
  • Migliora le prestazioni di NCCL: offre miglioramenti significativi delle prestazioni per le applicazioni che utilizzano la NVIDIA Collective Communication Library (NCCL) rispetto alla comunicazione che non utilizza P2P. L'hypervisor di Google isola in modo sicuro questa comunicazione P2P all'interno delle tue istanze.

    • Nelle istanze con quattro GPU (g4-standard-192), tutte le GPU si trovano su un singolo nodo NUMA, consentendo la comunicazione P2P più efficiente. Ciò può portare a miglioramenti delle prestazioni fino a 2,04 volte per collettivi come Allgather, Allreduce e ReduceScatter.
    • Nelle istanze con otto GPU (g4-standard-384), le GPU sono distribuite su due nodi NUMA. La comunicazione P2P viene accelerata per il traffico all'interno e tra questi nodi, con miglioramenti delle prestazioni fino a 2,19 volte per gli stessi collettivi.

La serie di macchine G2

La serie di macchine G2 è disponibile in tipi di macchine standard con da 4 a 96 vCPU e fino a 432 GB di memoria. Questa serie di macchine è ottimizzata per i workload di inferenza e grafica. La serie di macchine G2 è disponibile in un unico tipo di macchina standard con più configurazioni.

Le istanze create utilizzando i tipi di macchine G2 forniscono le seguenti funzionalità:

  • Accelerazione GPU: ogni tipo di macchina G2 ha GPU NVIDIA L4.

  • Miglioramento delle velocità di inferenza: il tipo di macchina G2 supporta il tipo di dato FP8 (virgola mobile a 8 bit) che accelera le velocità di inferenza ML e riduce i requisiti di memoria.

  • Prestazioni grafiche di nuova generazione: le GPU NVIDIA L4 offrono un miglioramento fino a tre volte delle prestazioni grafiche utilizzando core RT di terza generazione e la tecnologia NVIDIA DLSS 3 (Deep Learning Super Sampling).

  • Larghezza di banda di rete ad alte prestazioni: con i tipi di macchina G2, puoi ottenere fino a 100 Gbps di larghezza di banda di rete.

  • Supporto di SSD locale, Persistent Disk e Hyperdisk: puoi aggiungere fino a 3000 GiB di SSD locale alle istanze G2. Questo può essere utilizzato per dischi temporanei veloci o per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O.

    Puoi anche collegare volumi Hyperdisk e Persistent Disk alle istanze G2 per le applicazioni che richiedono più spazio di archiviazione permanente. La capacità di archiviazione massima dipende dal numero di vCPU dell'istanza. Per maggiori dettagli, consulta Tipi di dischi supportati.

  • Supporto delle policy di posizionamento compatto: offre un maggiore controllo sul posizionamento fisico delle istanze all'interno dei data center. Ciò consente una latenza inferiore e una maggiore larghezza di banda per le istanze che si trovano all'interno di una singola zona di disponibilità. Per ulteriori informazioni, consulta Riduci la latenza utilizzando le policy di posizionamento compatto.

Tipi di macchine G2

I tipi di macchina G2 ottimizzati per l'acceleratore sono collegati a GPU NVIDIA L4 e sono ideali per inferenza ottimizzata per i costi, carichi di lavoro ad alta intensità di grafica e di computing ad alte prestazioni.

Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare all'istanza per ogni tipo di macchina. Puoi anche aggiungere dischi SSD locali quando crei un'istanza G2. Per il numero di dischi che puoi collegare, vedi Tipi di macchine per cui devi scegliere un numero di dischi SSD locali.

GPU NVIDIA L4 collegate
Tipo di macchina Numero di vCPU1 Memoria istanza predefinita (GB) Intervallo di memoria istanza personalizzato (GB) SSD locale massimo supportato (GiB) Larghezza di banda massima della rete (Gbps)2 Conteggio GPU Memoria GPU3 (GB GDDR6)
g2-standard-4 4 16 16-32 375 10 1 24
g2-standard-8 8 32 32-54 375 16 1 24
g2-standard-12 12 48 48-54 375 16 1 24
g2-standard-16 16 64 54-64 375 32 1 24
g2-standard-24 24 96 96-108 750 32 2 48
g2-standard-32 32 128 96-128 375 32 1 24
g2-standard-48 48 192 192-216 1500 50 4 96
g2-standard-96 96 384 384-432 3000 100 8 192

1 Una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
2 La larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda di rete, consulta Larghezza di banda di rete.
3 La memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni G2

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina G2.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina G2.
  • Puoi utilizzare un tipo di macchina G2 solo in alcune regioni e zone.
  • Il tipo di macchina G2 è disponibile solo sulla piattaforma Cascade Lake.
  • Il disco permanente standard (pd-standard) non è supportato nelle istanze che utilizzano il tipo di macchina G2. Per i tipi di dischi supportati, consulta Tipi di dischi supportati per G2.
  • Non puoi creare GPU multi-istanza su un'istanza che utilizza un tipo di macchina G2.
  • Se devi modificare il tipo di macchina di un'istanza G2, consulta Modifica le istanze ottimizzate per l'acceleratore.
  • Non puoi utilizzare Deep Learning VM Images come dischi di avvio per le istanze che utilizzano il tipo di macchina G2.
  • L'attuale driver predefinito per Container-Optimized OS non supporta le GPU L4 in esecuzione su tipi di macchine G2. Inoltre, Container-Optimized OS supporta solo un insieme selezionato di driver. Se vuoi utilizzare Container-Optimized OS sui tipi di macchine G2, consulta le seguenti note:
    • Utilizza una versione di Container-Optimized OS che supporti la versione minima consigliata del driver NVIDIA 525.60.13 o successive. Per ulteriori informazioni, consulta le note di rilascio di Container-Optimized OS.
    • Quando installi il driver, specifica la versione più recente disponibile adatta alle GPU L4. Ad esempio, sudo cos-extensions install gpu -- -version=525.60.13.
  • Devi utilizzare Google Cloud CLI o REST per creare istanze G2 per i seguenti scenari:
    • Specifica i valori di memoria personalizzati.
    • Personalizza il numero di core della CPU visibili.

Tipi di dischi supportati per le istanze G2

Le istanze G2 possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Disco permanente bilanciato (pd-balanced)
  • Persistent Disk SSD (prestazioni) (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Throughput Hyperdisk (hyperdisk-throughput)
  • SSD locale

Se supportato dal tipo di macchina, puoi collegare una combinazione di volumi Hyperdisk e Persistent Disk a un'istanza, ma si applicano le seguenti limitazioni:

  • Il numero combinato di volumi Hyperdisk e Persistent Disk non può superare i 128 per istanza.
  • La capacità totale massima del disco (in TiB) per tutti i tipi di disco non può essere superiore a:

    • Per i tipi di macchine con meno di 32 vCPU:

      • 257 TiB per soli Hyperdisk o soli Persistent Disk
      • 257 TiB per una combinazione di Hyperdisk e Persistent Disk
    • Per i tipi di macchine con 32 o più vCPU:

      • 512 TiB per soli Hyperdisk
      • 512 TiB per una combinazione di Hyperdisk e Persistent Disk
      • 257 TiB per soli Persistent Disk

Per informazioni dettagliate sui limiti di capacità, consulta Dimensioni e limiti di allegati di Hyperdisk e Capacità massima di Persistent Disk.

Passaggi successivi