Macchine con GPU nella famiglia di macchine ottimizzate per l'acceleratore

Questo documento descrive le istanze Compute Engine con GPU NVIDIA pre-collegate nella famiglia di macchine ottimizzate per l'acceleratore. Queste istanze sono progettate specificamente per applicazioni di intelligenza artificiale (AI), machine learning (ML), computing ad alte prestazioni (HPC) e ad alta intensità grafica.

La famiglia di macchine ottimizzate per l'acceleratore include le seguenti serie di macchine: A4X Max, A4X, A4, A3, A2, G4 e G2. Ogni tipo di macchina all'interno di una serie ha un modello e un numero specifico di GPU NVIDIA collegate. Puoi anche collegare alcuni modelli di GPU ai tipi di macchine per uso generico N1.

Per informazioni sulle istanze ottimizzate per l'acceleratore con TPU collegate, consulta Macchine TPU nella famiglia di macchine ottimizzate per l'acceleratore.

Modelli di GPU e serie di macchine

La tabella seguente riassume le specifiche hardware, le mappature delle serie di macchine, la larghezza di banda di rete e le funzionalità di archiviazione dei modelli di GPU disponibili su Compute Engine:

Modello di GPU Serie di macchine Architettura Memoria e larghezza di banda della GPU GPU per istanza di computing Larghezza di banda di rete massima SSD locale Interconnessione Supporto della workstation virtuale (vWS) NVIDIA RTX
NVIDIA GB300 A4X Max Blackwell Ultra 279 GB HBM3e (8 TBps) 4 (NVL72) 3600 Gbps 12.000 GiB NVLink Full Mesh (1800 GBps) No
NVIDIA GB200 A4X Blackwell 186 GB HBM3e (8 TBps) 4 (NVL72) 2000 Gbps 12.000 GiB NVLink Full Mesh (1800 GBps) No
NVIDIA B200 A4 Blackwell 180 GB HBM3e (8 TBps) 8 3600 Gbps 12.000 GiB NVLink Full Mesh (1800 GBps) No
NVIDIA H200 A3 Ultra Tramoggia 141 GB HBM3e (4,8 TBps) 8 3600 Gbps 12.000 GiB NVLink Full Mesh (900 GBps) No
NVIDIA H100 A3 Mega, High, Edge Tramoggia 80 GB HBM3 (3,35 TBps) 1, 2, 4, 8 Fino a 1000 Gbps Fino a 6000 GiB NVLink Full Mesh (900 GBps) No
NVIDIA A100 (80GB) A2 Ultra Ampere 80 GB HBM2e (1,9 TBps) 1, 2, 4, 8 100 Gbps Fino a 3000 GiB NVLink Full Mesh (600 GBps) No
NVIDIA A100 (40GB) A2 Standard Ampere HBM2 da 40 GB (1,6 TBps) 1, 2, 4, 8, 16 100 Gbps Fino a 3000 GiB NVLink Full Mesh (600 GBps) No
NVIDIA RTX PRO 6000 G4 Blackwell GDDR7 da 96 GB (1597 TBps) 1/8, 1/4, 1/2, 1, 2, 4, 8 200 Gbps Fino a 3000 GiB PCIe Gen 5 Sì
NVIDIA L4 G2 Ada Lovelace GDDR6 da 24 GB (300 GBps) 1, 2, 4, 8 100 Gbps Fino a 3000 GiB PCIe Gen 4 Sì
NVIDIA V100 N1+V100 Volta HBM2 da 16 GB (900 GBps) 1, 2, 4, 8 100 Gbps Supportato NVLink Ring (300 GBps) No
NVIDIA T4 (fine del supporto imminente) N1+T4 Turing GDDR6 da 16 GB (320 GBps) 1, 2, 4 100 Gbps Supportato PCIe Gen 3 Sì
NVIDIA P4 (fine del supporto imminente) N1+P4 Pascal GDDR5 da 8 GB (192 GBps) 1, 2, 4 100 Gbps Supportato PCIe Gen 3 Sì

La sezione seguente fornisce le serie di macchine consigliate in base ai workload GPU. Per ulteriori informazioni su come scegliere una strategia di computing per i workload AI/ML e HPC, consulta Scegli una strategia di computing nella documentazione di AI Hypercomputer.

Addestramento AI/ML

Inferenza AI/ML

  • Inferenza di modelli di grandi dimensioni (oltre 70 miliardi di parametri): l'erogazione di modelli linguistici di grandi dimensioni (LLM) trae vantaggio dall'elevata capacità della memoria ad alta larghezza di banda (HBM3e) (141-186 GB per GPU) per adattare i pesi del modello a un numero inferiore di GPU, riducendo l'overhead di comunicazione tra i chip. Serie di macchine consigliata:

  • Pubblicazione in tempo reale e con throughput elevato: le query interattive a bassa latenza, le risposte in streaming e la generazione di immagini utilizzano formati numerici quantizzati con accelerazione hardware, come la rappresentazione in virgola mobile a 8 bit (FP8), l'intero a 8 bit (INT8) e l'intero a 4 bit (INT4), per massimizzare il throughput delle richieste per dollaro. Serie di macchine consigliata:

    Per saperne di più, consulta Consigli per l'inferenza di pubblicazione nella documentazione di AI Hypercomputer.

Grafica e immagini

HPC e simulazione

Le serie di macchine A4X Max e A4X

Le serie di macchine A4X Max e A4X vengono eseguite su una piattaforma exascale basata sull'architettura rack-scale di NVIDIA e sono ottimizzate per l'addestramento ML con vincoli di rete, ad alta intensità di calcolo e memoria, nonché per i workload HPC. A4X Max e A4X differiscono principalmente per i componenti di GPU e networking. A4X Max è disponibile solo come istanze bare metal, che forniscono accesso diretto alla CPU e alla memoria del server host, senza l'hypervisor di Compute Engine.

Tutti i tipi di macchine delle serie A4X Max e A4X hanno due socket con CPU NVIDIA Grace™ con core Arm® Neoverse™ V2. Queste CPU si connettono a quattro GPU con una comunicazione chip-to-chip NVLink-C2 veloce.

Entrambe le serie di macchine A4X Max e A4X sono basate sull'architettura a livello di rack NVL72 di NVIDIA, che utilizza i domini NVLink per consentire il computing GPU su larga scala e ad alte prestazioni. Un dominio NVLink è un gruppo di chip NVIDIA NVSwitch interconnessi e delle GPU che si connettono a questi chip, formando un fabric di rete ad alta velocità che consente una comunicazione diretta e rapida tra le GPU. Per i tipi di macchina A4X Max e A4X, un singolo dominio NVL72 (NVLink) è composto da 18 istanze e 72 GPU.

Confronto tra A4X Max e A4X

La seguente tabella mette a confronto le funzionalità che differiscono tra i tipi di macchina A4X Max e A4X:

Funzionalità A4X Max (NVIDIA GB300) A4X (NVIDIA GB200)
Accelerazione GPU Alle istanze A4X Max sono collegati automaticamente i superchip NVIDIA GB300 Ultra. Questi superchip sono dotati di GPU NVIDIA B300, che offrono fino a 20 TB di memoria GPU totale per dominio NVL72, ovvero circa 279 GB per GPU. Alle istanze A4X sono collegati automaticamente i superchip NVIDIA GB200. Questi superchip sono dotati di GPU NVIDIA B200 e offrono 186 GB di memoria per GPU.
Networking avanzato con RoCE

Per le istanze A4X Max, RDMA su Converged Ethernet (RoCE) aumenta le prestazioni della rete combinando SuperNIC NVIDIA ConnectX-8 (CX-8) e la rete a livello di data center di Google, che offre allineamento ai rail a otto vie. Questa configurazione offre fino a 3200 Gbps di larghezza di banda, ottimale per attività di addestramento e HPC su larga scala.

Per il networking per uso generico, ogni istanza ha anche una larghezza di banda fino a 400 Gbps.

Per le istanze A4X, RDMA su Converged Ethernet (RoCE) aumenta le prestazioni della rete combinando le NIC NVIDIA ConnectX-7 (CX-7) e la rete a livello di data center di Google, che offre un allineamento ai rail a quattro vie. Questa architettura fornisce fino a 1600 Gbps di larghezza di banda, consentendo comunicazioni a throughput elevato e bassa latenza per workload distribuiti su larga scala.

Per il networking per uso generico, ogni istanza ha anche una larghezza di banda fino a 400 Gbps.
Prestazioni I superchip NVIDIA GB300 Ultra offrono 15 PetaFLOPS di prestazioni FP4 dense. Per l'inferenza FP4 su larga scala, i superchip GB300 Ultra dovrebbero offrire prestazioni superiori del 20-40% rispetto ai superchip GB200. I superchip NVIDIA GB200 offrono 10 PetaFLOPS di prestazioni FP4 dense.
Supporto di bare metal e VM Solo istanze bare metal Solo istanze VM
Supporto per sistemi operativi Le istanze A4X Max supportano una gamma di immagini sistema operativo Linux. Tuttavia, poiché le istanze bare metal utilizzano il driver di rete IDPF (Infrastructure Data Path Function), l'immagine sistema operativo deve supportare IDPF. Per utilizzare un'immagine sistema operativo disponibile su Compute Engine, consulta Immagini sistema operativo che supportano IDPF. Le istanze A4X supportano una gamma di immagini sistema operativo Linux. Per un elenco completo dei sistemi operativi supportati su Compute Engine, consulta Supporto del sistema operativo per le GPU.

I tipi di macchina A4X Max e A4X condividono le seguenti funzionalità:

  • Piattaforma CPU: i tipi di macchina A4X Max e A4X utilizzano la piattaforma CPU NVIDIA Grace con core Arm® Neoverse™ V2. Per maggiori dettagli sulla piattaforma, consulta Piattaforme CPU.

  • Scalabilità NVLink: NVLink multi-nodo scala fino a 72 GPU in un singolo dominio e fornisce una larghezza di banda NVLink della GPU bidirezionale di 1800 GB/s per GPU.

  • Supporto dei dischi: le istanze A4X Max e A4X supportano l'SSD locale per dischi temporanei veloci, utili per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O. 12.000 GiB di SSD locale vengono aggiunti automaticamente alle istanze A4X Max e A4X.

    Per l'archiviazione durevole, puoi collegare fino a 512 TiB di spazio di archiviazione Hyperdisk. Per ulteriori informazioni sui tipi di disco, consulta Scegli un tipo di disco.

  • Supporto per l'allocazione densa e la pianificazione basata sulla topologia: entrambi i tipi di macchine A4X Max e A4X supportano la richiesta di blocchi di capacità allocata in modo denso. Le macchine host sono allocate fisicamente una vicino all'altra, viene eseguito il loro provisioning in blocchi di risorse e sono interconnesse con un'infrastruttura di rete ML dinamica per ridurre al minimo gli hop di rete e ottimizzare per la latenza più bassa. Inoltre, per le istanze A4X Max e A4X, puoi ottenere informazioni sulla topologia a livello di nodo e cluster che possono essere utilizzate per il posizionamento dei job.

Opzioni di prezzo e consumo per le istanze A4X Max e A4X

Le istanze A4X Max e A4X supportano le seguenti opzioni di consumo e sconto:

Google Cloud addebita i costi per le istanze A4X Max e A4X in base alle GPU, alle vCPU predefinite, alla memoria e ai dischi SSD locali in bundle collegati. L'utilizzo di Hyperdisk e della rete viene fatturato separatamente rispetto ai prezzi dei tipo di macchina. Per saperne di più, consulta Opzioni di prezzo e consumo, Prezzi della famiglia di tipo di macchina ottimizzate per l'acceleratore e Prezzi delle GPU.

Tipo di macchina A4X Max (NVIDIA GB300)

I tipi di macchine A4X Max ottimizzate per l'acceleratore utilizzano NVIDIA GB300 Grace Blackwell Ultra Superchip (nvidia-gb300) e sono ideali per l'addestramento e la pubblicazione di foundation model. I tipi di macchine A4X Max sono disponibili come istanze bare metal.

A4X Max è una piattaforma exascale basata su NVIDIA GB300 NVL72. Ogni macchina ha due socket con CPU NVIDIA Grace con core Arm Neoverse V2. Queste CPU sono collegate a quattro GPU NVIDIA B300 Blackwell con comunicazione chip-to-chip (NVLink-C2C) veloce. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A4X Max e A4X.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA GB300 Memoria GPU (GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12.000 6 3600 4 1116

Note sul tipo di macchina A4X Max

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Tipo di macchina A4X (NVIDIA GB200)

I tipi di macchine A4X ottimizzate per l'acceleratore utilizzano i superchip NVIDIA GB200 Grace Blackwell (nvidia-gb200) e sono ideali per l'addestramento e la pubblicazione di foundation model.

A4X è una piattaforma exascale basata su NVIDIA GB200 NVL72. Ogni macchina ha due socket con CPU NVIDIA Grace con core Arm Neoverse V2. Queste CPU sono connesse a quattro GPU NVIDIA B200 Blackwell con comunicazione chip-to-chip (NVLink-C2C) veloce. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A4X Max e A4X.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA GB200 Memoria GPU (GB HBM3e)
a4x-highgpu-4g 140 884 12.000 6 2000 4 744

Note sul tipo di macchina A4X

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni di A4X Max e A4X

Alle istanze A4X Max e A4X si applicano le seguenti limitazioni:

Istanze A4X Max

Istanze A4X

Tipi di dischi supportati per le istanze A4X Max e A4X

A4X Max

Le istanze A4X Max possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk bilanciato (hyperdisk-balanced): è l'unico tipo di disco supportato per il disco di avvio
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A4X Max

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme SSD locale collegato
a4x-maxgpu-4g-metal 32 32 32 32 8 4

A4X

Le istanze A4X possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk bilanciato (hyperdisk-balanced): è l'unico tipo di disco supportato per il disco di avvio
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A4X

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme SSD locale collegato
a4x-highgpu-4g 128 128 0 0 128 8 4

La seguente nota si applica alla tabella precedente:

Limiti di disco e capacità

Puoi collegare una combinazione di tipi di Hyperdisk diversi a un'istanza, ma la capacità totale dei dischi (in TiB) per tutti i tipi di dischi non può superare i 512 TiB per tutti gli Hyperdisk.

Per informazioni dettagliate sui limiti di capacità, vedi Limiti di dimensioni e collegamento di Hyperdisk.

Esperienza di manutenzione per le istanze A4X Max e A4X

Durante il ciclo di vita di un'istanza Compute Engine, la macchina host su cui viene eseguita l'istanza subisce diversi eventi dell'host. Un evento dell'host può includere la normale manutenzione dell'infrastruttura Compute Engine o, in rari casi, un errore dell'host. Compute Engine implementa anche upgrade leggeri e non invasivi dell'hypervisor e della rete, in background.

La tabella seguente descrive le funzionalità di manutenzione dell'host per i tipi di macchina A4X Max e A4X:

Tipo di macchina Numero di GPU Frequenza tipica degli eventi di manutenzione programmata Comportamento manutenzione Notifica avanzata per la manutenzione pianificata Manutenzione on demand Simulazione di manutenzione
A4X Max e A4X 4 Almeno ogni 90 giorni Termina con Persistenza dei dati di SSD locali 90 giorni Sì No

Le seguenti note si applicano alla tabella precedente:

  • Frequenza tipica degli eventi di manutenzione programmata:

    La frequenza di manutenzione indicata nella tabella precedente ha solo valore indicativo. Può accadere che Compute Engine esegua la manutenzione con maggiore frequenza.

Per saperne di più sulla manutenzione dell'host in AI Hypercomputer, consulta Informazioni sulla manutenzione dell'host nella documentazione di AI Hypercomputer.

La serie di macchine A4

La serie di macchine A4 offre tipi di macchine con fino a 224 vCPU e 3968 GB di memoria. Le istanze A4 offrono fino a 3 volte le prestazioni dei tipi di istanze GPU precedenti per la maggior parte dei workload accelerati da GPU. A4 è consigliato per i workload di addestramento del ML, in particolare su larga scala, ad esempio centinaia o migliaia di GPU. La serie di macchine A4 è disponibile in un unico tipo di macchina.

Le istanze VM create utilizzando il tipo di macchina A4 offrono le seguenti funzionalità:

  • Accelerazione GPU con GPU NVIDIA B200: le GPU NVIDIA B200 vengono collegate automaticamente alle istanze A4, che offrono 180 GB di memoria GPU per GPU.

  • Processore Intel Xeon Scalable di 5ª generazione (Emerald Rapids): offre una frequenza turbo massima single-core sostenuta fino a 4,0 GHz. Per ulteriori informazioni su questo processore, consulta la piattaforma CPU.

  • Scalabilità NVLink: le GPU NVIDIA B200 forniscono una larghezza di banda NVLink della GPU di 1800 GBps in modo bidirezionale per GPU.

    Con una topologia NVLink all-to-all tra 8 GPU in un sistema, la larghezza di banda NVLink aggregata può arrivare a 14,4 TB/s.

  • Networking avanzato con RoCE: RDMA su Converged Ethernet (RoCE) aumenta le prestazioni della rete combinando le schede di interfaccia di rete (NIC) NVIDIA ConnectX-7 con la rete a quattro vie con allineamento ai rail del data center di Google. Sfruttando RDMA su Converged Ethernet (RoCE), le istanze A4 raggiungono un throughput molto più elevato tra le istanze in un cluster rispetto alla maggior parte delle istanze A3, ad eccezione di quelle in esecuzione sul tipo di macchina A3 Ultra.

  • Velocità di rete aumentate: offre velocità di networking fino a 4 volte superiori rispetto alle istanze A2 della generazione precedente.

    Per ulteriori informazioni sul networking, consulta Larghezze di banda di rete e GPU.

  • Ottimizzazioni della virtualizzazione per i trasferimenti e il recupero dei dati: la topologia Peripheral Component Interconnect Express (PCIe) delle istanze A4 fornisce informazioni sulla località più precise che i workload possono utilizzare per ottimizzare i trasferimenti di dati.

    Le GPU espongono anche il ripristino a livello di funzione (FLR) per il recupero graduale da errori e il supporto delle operazioni atomiche per i miglioramenti della concorrenza in determinati scenari.

  • Supporto dei dischi: le istanze A4 supportano l'SSD locale per dischi temporanei veloci, utili per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O. Per l'archiviazione durevole, puoi collegare volumi Hyperdisk.

    12.000 GiB di SSD locale vengono aggiunti automaticamente alle istanze A4. Per i workload che richiedono un'archiviazione a blocchi durevole, puoi anche collegare fino a 512 TiB di Hyperdisk alle istanze A4. Per saperne di più sui tipi di disco, consulta Scegli un tipo di disco.

  • Supporto per l'allocazione e la pianificazione in base alla topologia: quando esegui il provisioning di istanze A4, puoi richiedere blocchi di capacità allocata in modo denso. Le macchine host sono allocate fisicamente una vicino all'altra, viene eseguito il loro provisioning in blocchi di risorse e sono interconnesse con un'infrastruttura di rete ML dinamica per ridurre al minimo gli hop di rete e ottimizzare per la latenza più bassa. Inoltre, puoi ottenere informazioni sulla topologia a livello di nodo e cluster che possono essere utilizzate per il posizionamento dei job.

Opzioni di prezzo e consumo per le istanze A4

Le istanze A4 supportano le seguenti opzioni di consumo e sconto:

Google Cloud addebita i costi per le istanze A4 in base alle GPU, alle vCPU predefinite, alla memoria e ai dischi SSD locali in bundle collegati. L'utilizzo di Hyperdisk e della rete viene fatturato separatamente rispetto ai prezzi dei tipo di macchina. Per saperne di più, consulta Prezzi e opzioni di consumo, Prezzi della famiglia di tipo di macchina ottimizzate per l'acceleratore e Prezzi delle GPU.

Tipo di macchina A4 (NVIDIA B200)

I tipi di macchine A4 ottimizzate per l'acceleratore dispongono di GPU NVIDIA B200 Blackwell (nvidia-b200) collegate e sono ideali per l'addestramento e la pubblicazione di foundation model. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A4.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA B200 Blackwell Memoria GPU (GB HBM3e)
a4-highgpu-8g 224 3968 12.000 10 3600 8 1440

Note sul tipo di macchina A4

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A4

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina A4.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A4.
  • Puoi utilizzare un tipo di macchina A4 solo in alcune regioni e zone.
  • Non puoi utilizzare Persistent Disk (a livello di regione o di zona). Puoi utilizzare solo Google Cloud Hyperdisk.
  • Il tipo di macchina A4 è disponibile solo sulla piattaforma CPU Emerald Rapids.
  • Non puoi modificare il tipo di macchina di un'istanza in un tipo di macchina A4 o viceversa. Devi creare una nuova istanza con questo tipo di macchina.
  • I tipi di macchine A4 non supportano la modalità single-tenancy.
  • Non puoi eseguire sistemi operativi Windows su un tipo di macchina A4.
  • Per le istanze A4, quando utilizzi ethtool -S per monitorare il networking delle GPU, i contatori delle porte fisiche che terminano con _phy non vengono aggiornati. Questo è il comportamento previsto per le istanze che utilizzano l'architettura della funzione virtuale (VF) MRDMA. Per saperne di più, consulta Funzioni MRDMA e strumenti di monitoraggio della rete.
  • Non puoi collegare dischi Hyperdisk ML creati prima del 4 febbraio 2026 ai tipi di macchina A4.

Tipi di dischi supportati per le istanze A4

Le istanze A4 possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk bilanciato (hyperdisk-balanced): è l'unico tipo di disco supportato per il disco di avvio
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A4

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme SSD locale collegato
a4-highgpu-8g 128 128 N/D 128 8 32

La seguente nota si applica alla tabella precedente:

Limiti di disco e capacità

Puoi collegare una combinazione di tipi di Hyperdisk diversi a un'istanza, ma la capacità totale dei dischi (in TiB) per tutti i tipi di dischi non può superare i 512 TiB per tutti gli Hyperdisk.

Per informazioni dettagliate sui limiti di capacità, vedi Limiti di dimensioni e collegamento di Hyperdisk.

Esperienza di manutenzione per le istanze A4

Durante il ciclo di vita di un'istanza Compute Engine, la macchina host su cui viene eseguita l'istanza subisce diversi eventi dell'host. Un evento dell'host può includere la normale manutenzione dell'infrastruttura Compute Engine o, in rari casi, un errore dell'host. Compute Engine implementa anche upgrade leggeri e non invasivi dell'hypervisor e della rete, in background.

La tabella seguente descrive le funzionalità di manutenzione dell'host per i tipi di macchine A4:

Tipo di macchina Numero di GPU Frequenza tipica degli eventi di manutenzione programmata Comportamento manutenzione Notifica avanzata per la manutenzione pianificata Manutenzione on demand Simulazione di manutenzione
A4 8 Almeno ogni 90 giorni Termina con Persistenza dei dati di SSD locali 90 giorni Sì No

Le seguenti note si applicano alla tabella precedente:

  • Frequenza tipica degli eventi di manutenzione programmata:

    La frequenza di manutenzione indicata nella tabella precedente ha solo valore indicativo. Può accadere che Compute Engine esegua la manutenzione con maggiore frequenza.

Per saperne di più sulla manutenzione dell'host in AI Hypercomputer, consulta Informazioni sulla manutenzione dell'host nella documentazione di AI Hypercomputer.

La serie di macchine A3

La serie di macchine A3 ha fino a 224 vCPU e 2944 GB di memoria. Questa serie di macchine è ottimizzata per l'addestramento ML con vincoli di rete, ad alta intensità di calcolo e memoria, nonché per i workload HPC. La serie di macchine A3 è disponibile nei tipi di macchine A3 Ultra, A3 Mega, A3 High e A3 Edge.

La seguente tabella mette a confronto le funzionalità che differiscono tra i tipi di macchina A3:

Funzionalità A3 Ultra (NVIDIA H200) A3 Mega, High ed Edge (NVIDIA H100)
Accelerazione GPU

GPU NVIDIA H200 SXM collegate, che offrono 141 GB di memoria GPU per GPU e forniscono memoria più grande e più rapida per supportare modelli linguistici di grandi dimensioni (LLM) e workload HPC.

GPU NVIDIA H100 SXM collegate, che offrono 80 GB di memoria GPU per GPU, ideale per HPC, database e modelli linguistici di grandi dimensioni (LLM) basati su Transformer.
Processori Intel Xeon Scalable

Processore Intel Xeon scalabile di 5ª generazione (Emerald Rapids), che offre una frequenza turbo massima single-core sostenuta fino a 4,0 GHz. Per ulteriori informazioni su questo processore, consulta Piattaforme CPU.

Processore Intel Xeon scalabile di 4ª generazione (Sapphire Rapids), che offre una frequenza turbo massima single-core supportata fino a 3,3 GHz. Per ulteriori informazioni su questo processore, consulta Piattaforme CPU.
Networking avanzato

Per questo tipo di macchina, RDMA su Converged Ethernet (RoCE) aumenta le prestazioni della rete combinando schede di interfaccia di rete (NIC) NVIDIA ConnectX-7 con la rete a quattro vie con allineamento ai rail del data center di Google. Utilizzando RDMA su Converged Ethernet (RoCE), il tipo di macchina a3-ultragpu-8g raggiunge un throughput molto più elevato tra le istanze in un cluster rispetto ad altri tipi di macchine A3.
  • Per i tipi di macchine A3 Mega, GPUDirect-TCPXO migliora ulteriormente GPUDirect-TCPX eseguendo l'offload del protocollo TCP. Utilizzando GPUDirect-TCPXO, il tipo di macchina a3-megagpu-8g raddoppia la larghezza di banda della rete rispetto ai tipi di macchina A3 High e A3 Edge.
  • Per i tipi di macchine A3 Edge (a3-edgegpu-8g) e A3 High (a3-highgpu-8g), GPUDirect-TCPX aumenta le prestazioni della rete consentendo il trasferimento dei payload dei pacchetti di dati direttamente dalla memoria della GPU all'interfaccia di rete. Utilizzando GPUDirect-TCPX, questi tipi di macchine raggiungono un throughput molto più elevato tra le istanze in un cluster rispetto ai tipi di macchine ottimizzati per l'acceleratore A2 o G2.
Velocità di networking migliorate

Offre velocità di rete fino a 4 volte superiori rispetto alla serie di macchine A2 di generazione precedente.

Per ulteriori informazioni sul networking, consulta Larghezze di banda di rete e GPU.

Offre velocità di rete fino a 2,5 volte superiori rispetto alla serie di macchine A2 della generazione precedente.

Per ulteriori informazioni sul networking, consulta Larghezze di banda di rete e GPU.

Tutti i tipi di macchine A3 condividono le seguenti funzionalità:

  • Scalabilità NVLink: le GPU NVIDIA H200 e H100 forniscono una larghezza di banda NVLink della GPU di picco di 450 GBps in modo unidirezionale. Utilizzando una topologia NVLink all-to-all, un sistema con 8 GPU raggiunge una larghezza di banda aggregata fino a 7,2 TB/s.

  • Ottimizzazioni della virtualizzazione: la topologia Peripheral Component Interconnect Express (PCIe) delle istanze A3 fornisce informazioni sulla località più precise che i workload possono utilizzare per ottimizzare i trasferimenti di dati. Le GPU espongono anche il ripristino a livello di funzione (FLR) per il recupero graduale da errori e il supporto delle operazioni atomiche per i miglioramenti della concorrenza in determinati scenari.

  • Supporto dei dischi: le istanze A3 supportano l'SSD locale per dischi temporanei veloci, utile per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O. Per l'archiviazione durevole, puoi collegare volumi Persistent Disk e Hyperdisk.

    L'SSD locale è collegato come segue:

    • 12.000 GiB di SSD locale vengono aggiunti automaticamente alle istanze A3 Ultra.
    • 6000 GiB di SSD locale vengono aggiunti automaticamente alle istanze A3 Mega, High ed Edge.

    Per i workload che richiedono un'archiviazione a blocchi durevole, puoi anche collegare fino a 512 TiB di Persistent Disk e Hyperdisk ai tipi di macchine di queste serie. Per alcuni tipi di macchine, è supportato anche un Persistent Disk fino a 257 TiB. Per ulteriori informazioni sui tipi di disco, consulta Scegli un tipo di disco.

  • Supporto delle policy di posizionamento compatto: offre un maggiore controllo sul posizionamento fisico delle istanze all'interno dei data center. Questo posizionamento consente una latenza inferiore e una maggiore larghezza di banda per le istanze che si trovano all'interno di una singola zona di disponibilità. Per saperne di più, consulta Informazioni sulle policy di posizionamento compatto.

Opzioni di prezzo e consumo per le istanze A3

Le istanze A3 supportano le seguenti opzioni di consumo e sconto:

Google Cloud addebita le istanze A3 in base alle GPU, alle vCPU predefinite, alla memoria e ai dischi SSD locali in bundle collegati. L'utilizzo di Persistent Disk, Hyperdisk e della rete viene fatturato separatamente rispetto ai prezzi tipo di macchina. Per saperne di più, consulta Opzioni di prezzo e consumo, Prezzi della famiglia di tipo di macchina ottimizzate per l'acceleratore e Prezzi delle GPU.

Tipo di macchina A3 Ultra (NVIDIA H200)

I tipi di macchina A3 Ultra dispongono di GPU NVIDIA H200 SXM (nvidia-h200-141gb) collegate e offrono le massime prestazioni di rete della serie A3. I tipi di macchine A3 Ultra sono ideali per l'addestramento e la pubblicazione di foundation model. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A3 Ultra.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA H200 Memoria GPU (GB HBM3e)
a3-ultragpu-8g 224 2952 12.000 10 3600 8 1128

Note sul tipo di macchina A3 Ultra

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A3 Ultra

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina A3 Ultra.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A3 Ultra.
  • Puoi utilizzare un tipo di macchina A3 Ultra solo in alcune regioni e zone.
  • Non puoi utilizzare Persistent Disk (a livello di regione o di zona). Puoi utilizzare solo Google Cloud Hyperdisk.
  • Il tipo di macchina A3 Ultra è disponibile solo sulla piattaforma CPU Emerald Rapids.
  • Le modifiche al tipo di macchina non sono supportate per il tipo di macchina A3 Ultra. Per passare da o a questo tipo di macchina, devi creare una nuova istanza.
  • Non puoi eseguire sistemi operativi Windows su un tipo di macchina A3 Ultra.
  • I tipi di macchine A3 Ultra non supportano la modalità single-tenancy.
  • Per le istanze A3 Ultra, quando utilizzi ethtool -S per monitorare il networking GPU, i contatori delle porte fisiche che terminano con _phy non vengono aggiornati. Questo è il comportamento previsto per le istanze che utilizzano l'architettura della funzione virtuale (VF) MRDMA. Per saperne di più, consulta Funzioni MRDMA e strumenti di monitoraggio della rete.

Tipo di macchina A3 Mega (NVIDIA H100)

I tipi di macchine A3 Mega dispongono di GPU NVIDIA H100 SXM e sono ideali per l'addestramento di modelli di grandi dimensioni e l'inferenza multi-host. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A3 Mega.
Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA H100 Memoria GPU (GB HBM3)
a3-megagpu-8g 208 1872 6000 9 1800 8 640

Note sul tipo di macchina A3 Mega

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A3 Mega (NVIDIA H100)

Tipo di macchina A3 High (NVIDIA H100)

I tipi di macchine A3 High dispongono di GPU NVIDIA H100 SXM e sono adatti sia per l'inferenza di modelli di grandi dimensioni sia per l'ottimizzazione dei modelli. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A3 High.
Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA H100 Memoria GPU (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1500 1 50 2 160
a3-highgpu-4g 104 936 3000 1 100 4 320
a3-highgpu-8g 208 1872 6000 5 1000 8 640

Note sul tipo di macchina A3 High

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A3 High

Tipo di macchina A3 Edge (NVIDIA H100)

I tipi di macchine A3 Edge sono dotati di GPU NVIDIA H100 SXM, sono progettati specificamente per la pubblicazione e sono disponibili in un insieme limitato di regioni. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A3 Edge.
Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA H100 Memoria GPU (GB HBM3)
a3-edgegpu-8g 208 1872 6000 5 600 (asia-south1 e northamerica-northeast2) o 400 (tutte le altre regioni A3 Edge) 8 640

Note sul tipo di macchina A3 Edge

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A3 Edge

Tipi di dischi supportati per le istanze A3

A3 Ultra

Le istanze A3 Ultra possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk bilanciato (hyperdisk-balanced): è l'unico tipo di disco supportato per il disco di avvio
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A3

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme Dischi SSD locali collegati
a3-ultragpu-8g 128 128 128 N/D 128 8 32

La seguente nota si applica alla tabella precedente:

A3 Mega

Le istanze A3 Mega possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Balanced Persistent Disk (pd-balanced)
  • Persistent Disk SSD (prestazioni) (pd-ssd)
  • Hyperdisk bilanciato (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A3

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme Dischi SSD locali collegati
a3-megagpu-8g 128 32 32 64 64 8 16

La seguente nota si applica alla tabella precedente:

A3 High

Le istanze A3 High possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Balanced Persistent Disk (pd-balanced)
  • Persistent Disk SSD (prestazioni) (pd-ssd)
  • Hyperdisk bilanciato (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A3

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme Dischi SSD locali collegati
a3-highgpu-1g 128 32 32 64 64 N/A 2
a3-highgpu-2g 128 32 32 64 64 N/A 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

La seguente nota si applica alla tabella precedente:

A3 Edge

Le istanze A3 Edge possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Balanced Persistent Disk (pd-balanced)
  • Persistent Disk SSD (prestazioni) (pd-ssd)
  • Hyperdisk bilanciato (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD locale: viene aggiunto automaticamente alle istanze create utilizzando uno qualsiasi dei tipi di macchine A3

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme SSD locale collegato
a3-edgegpu-8g 128 32 32 64 64 8 16

La seguente nota si applica alla tabella precedente:

Limiti di disco e capacità

Se supportato dal tipo di macchina, puoi collegare una combinazione di volumi Hyperdisk e Persistent Disk a un'istanza, ma si applicano le seguenti limitazioni:

  • Il numero combinato di volumi Hyperdisk e Persistent Disk non può superare i 128 per istanza.

  • La capacità totale massima del disco (in TiB) per tutti i tipi di disco non può essere superiore a:

    • Per i tipi di macchine con meno di 32 vCPU:

      • 257 TiB per soli Hyperdisk o soli Persistent Disk
      • 257 TiB per una combinazione di Hyperdisk e Persistent Disk

    • Per i tipi di macchine con 32 o più vCPU:

      • 512 TiB per soli Hyperdisk
      • 512 TiB per una combinazione di Hyperdisk e Persistent Disk
      • 257 TiB per soli Persistent Disk

Per informazioni dettagliate sui limiti di capacità, consulta Limiti di dimensioni e collegamento di Hyperdisk e Capacità massima di Persistent Disk.

Esperienza di manutenzione per le istanze A3

Durante il ciclo di vita di un'istanza Compute Engine, la macchina host su cui viene eseguita l'istanza subisce diversi eventi dell'host. Un evento dell'host può includere la normale manutenzione dell'infrastruttura Compute Engine o, in rari casi, un errore dell'host. Compute Engine implementa anche upgrade leggeri e non invasivi dell'hypervisor e della rete, in background.

La tabella seguente descrive le funzionalità di manutenzione dell'host per i tipi di macchine A3:

Tipo di macchina Numero di GPU Frequenza tipica degli eventi di manutenzione programmata Comportamento manutenzione Notifica avanzata per la manutenzione pianificata Manutenzione on demand Simulazione di manutenzione
A3 Ultra 8 Almeno ogni 90 giorni Termina con Persistenza dei dati di SSD locali 90 giorni Sì No
A3 Mega e A3 High 8 Almeno ogni 30 giorni Terminazione e riavvio 7 giorni Sì Sì
A3 High 1, 2, 4 Almeno ogni 30 giorni Terminazione e riavvio 7 giorni No Sì
A3 Edge 8 Almeno ogni 30 giorni Terminazione e riavvio 7 giorni Sì Sì

Le seguenti note si applicano alla tabella precedente:

  • Frequenza tipica degli eventi di manutenzione programmata:

    La frequenza di manutenzione indicata nella tabella precedente ha solo valore indicativo. Può accadere che Compute Engine esegua la manutenzione con maggiore frequenza.

  • A3 Mega e A3 High: le frequenze di manutenzione pianificata e le finestre di notifica escludono le istanze coperte da contratti di manutenzione specifici con i clienti.

Per saperne di più sulla manutenzione dell'host in AI Hypercomputer, consulta Informazioni sulla manutenzione dell'host nella documentazione di AI Hypercomputer.

La serie di macchine A2

La serie di macchine A2 è disponibile nei tipi di macchine A2 Standard e A2 Ultra. Questi tipi di macchine hanno da 12 a 96 vCPU e fino a 1360 GB di memoria.

Le istanze VM create utilizzando i tipi di macchine A2 offrono le seguenti funzionalità:

  • Accelerazione GPU: ogni istanza A2 ha GPU NVIDIA A100. Sono disponibili sia nelle opzioni A100 da 40 GB che A100 da 80 GB.

  • Scalabilità NVLink: le GPU NVIDIA A100 forniscono una larghezza di banda NVLink GPU-to-GPU di picco di 600 GB/s. Ad esempio, i sistemi con 16 GPU hanno una larghezza di banda NVLink aggregata fino a 9,6 TB/s. Queste 16 GPU possono essere utilizzate come un singolo acceleratore ad alte prestazioni con spazio di memoria unificato per fornire fino a 10 petaFLOPS di potenza di calcolo e fino a 20 petaFLOPS di potenza di calcolo di inferenza che possono essere utilizzati per i workload di intelligenza artificiale, deep learning e machine learning.

  • Velocità di calcolo migliorate: le GPU NVIDIA A100 collegate offrono fino a 10 volte in più in termini di velocità di calcolo rispetto alle GPU NVIDIA V100 di generazione precedente.

    Con la serie di macchine A2, puoi ottenere una larghezza di banda di rete fino a 100 Gbps.

  • Supporto dei dischi: le istanze A2 supportano l'SSD locale per dischi temporanei veloci, utili per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O. Per l'archiviazione durevole, puoi collegare volumi Persistent Disk e Hyperdisk.

    L'SSD locale è supportato come segue:

    • Per i tipi di macchina standard A2, puoi aggiungere fino a 3000 GiB di SSD locale quando crei un'istanza.
    • Per i tipi di macchine A2 Ultra, l'SSD locale viene collegata automaticamente quando crei un'istanza.

    Per i workload che richiedono un'archiviazione a blocchi durevole, puoi collegare fino a 257 TiB di Persistent Disk e 512 TiB di volumi Hyperdisk alle istanze A2. Per ulteriori informazioni sui tipi di disco, consulta Scegli un tipo di disco.

  • Supporto delle policy di posizionamento compatto: offre un maggiore controllo sul posizionamento fisico delle istanze all'interno dei data center. Ciò consente una latenza inferiore e una maggiore larghezza di banda per le istanze che si trovano all'interno di una singola zona di disponibilità. Per ulteriori informazioni, consulta Riduci la latenza utilizzando le policy di posizionamento compatto.

Opzioni di prezzo e consumo per le istanze A2

Le istanze A2 supportano le seguenti opzioni di consumo e sconto:

Google Cloud addebita le istanze A2 in base alle GPU, alle vCPU predefinite, alla memoria e ai dischi SSD locali in bundle (per A2 Ultra) collegati. L'utilizzo di Persistent Disk, Hyperdisk, dischi SSD locali aggiuntivi (per A2 Standard) e della rete viene fatturato separatamente rispetto ai prezzi dei tipo di macchina. Per saperne di più, consulta Opzioni di prezzo e consumo, Prezzi della famiglia di tipo di macchina ottimizzate per l'acceleratore e Prezzi delle GPU.

Per la serie di macchine A2 sono disponibili i seguenti tipi di macchine.

Tipi di macchine A2 Ultra (NVIDIA A100 80 GB)

Questi tipi di macchine hanno un numero fisso di GPU A100 da 80 GB. L'unità SSD locale viene collegata automaticamente alle istanze create utilizzando i tipi di macchine A2 Ultra. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A2 Ultra.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale collegato (GiB) Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA A100 80 GB Memoria GPU (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1500 50 4 320
a2-ultragpu-8g 96 1360 3000 100 8 640

Note tipo di macchina A2 Ultra

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A2 Ultra

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina A2 Ultra.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A2 Ultra.
  • Puoi utilizzare un tipo di macchina A2 Ultra solo in alcune regioni e zone.
  • Il tipo di macchina A2 Ultra è disponibile solo sulla piattaforma Cascade Lake.
  • Se la tua istanza utilizza un tipo di macchina A2 Ultra, non puoi modificarlo. Se devi utilizzare un altro tipo di macchina A2 Ultra o qualsiasi altro tipo di macchina, devi creare una nuova istanza.
  • Non puoi modificare un altro tipo di macchina in un tipo A2 Ultra. Se hai bisogno di un'istanza che utilizzi un tipo di macchina A2 Ultra, devi creare una nuova istanza.
  • Non puoi formattare rapidamente le unità SSD locali collegate sulle istanze Windows che utilizzano i tipi di macchine A2 Ultra. Per formattare questi SSD locali, devi eseguire una formattazione completa utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.

Tipi di macchine A2 Standard (NVIDIA A100 40 GB)

Questi tipi di macchine hanno un numero fisso di GPU A100 da 40 GB. Puoi anche aggiungere dischi SSD locali quando crei un'istanza A2 Standard. Per il numero di dischi che puoi collegare, consulta Tipi di macchine per cui devi scegliere un numero di dischi SSD locali. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di A2 Standard.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD locale supportato Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA A100 40 GB Memoria GPU (GB HBM2)
a2-highgpu-1g 12 85 Sì 24 1 40
a2-highgpu-2g 24 170 Sì 32 2 80
a2-highgpu-4g 48 340 Sì 50 4 160
a2-highgpu-8g 96 680 Sì 100 8 320
a2-megagpu-16g 96 1360 Sì 100 16 640

Note tipo di macchina A2 Standard

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni A2 Standard

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina standard A2.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A2 Standard.
  • Puoi utilizzare un tipo di macchina standard A2 solo in alcune regioni e zone.
  • Il tipo di macchina A2 Standard è disponibile solo sulla piattaforma Cascade Lake.
  • Se la tua istanza utilizza un tipo di macchina A2 Standard, puoi passare solo da un tipo di macchina A2 Standard a un altro tipo di macchina A2 Standard. Non puoi passare a un altro tipo di macchina. Per ulteriori informazioni, consulta Modifica le istanze ottimizzate per l'acceleratore.
  • Non puoi utilizzare il sistema operativo Windows con il tipo di macchina a2-megagpu-16g. Quando utilizzi un sistema operativo Windows, scegli un tipo di macchina A2 Standard diverso.
  • Non puoi formattare rapidamente le unità SSD locali collegate sulle istanze Windows che utilizzano i tipi di macchine A2 Standard. Per formattare questi SSD locali, devi eseguire una formattazione completa utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.

Tipi di dischi supportati per le istanze A2

Le istanze A2 possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk ML (hyperdisk-ml)
  • Balanced Persistent Disk (pd-balanced)
  • Persistent Disk SSD (prestazioni) (pd-ssd)
  • Disco permanente standard (pd-standard)
  • SSD locale: viene collegata automaticamente alle istanze create utilizzando i tipi di macchine A2 Ultra.

A2 Ultra

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti i dischi Hyperdisk ML SSD locale collegato
a2-ultragpu-1g 128 32 1
a2-ultragpu-2g 128 48 2
a2-ultragpu-4g 128 64 4
a2-ultragpu-8g 128 64 8

Le seguenti note si applicano alla tabella precedente:

A2 Standard

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti i dischi Hyperdisk ML SSD locale
a2-highgpu-1g 128 32 8
a2-highgpu-2g 128 48 8
a2-highgpu-4g 128 64 8
a2-highgpu-8g 128 64 8
a2-megagpu-16g 128 64 8

Le seguenti note si applicano alla tabella precedente:

Se supportato dal tipo di macchina, puoi collegare una combinazione di volumi Hyperdisk e Persistent Disk a un'istanza, ma si applicano le seguenti limitazioni:

  • Il numero combinato di volumi Hyperdisk e Persistent Disk non può superare i 128 per istanza.

  • La capacità totale massima del disco (in TiB) per tutti i tipi di disco non può essere superiore a:

    • Per i tipi di macchine con meno di 32 vCPU:

      • 257 TiB per soli Hyperdisk o soli Persistent Disk
      • 257 TiB per una combinazione di Hyperdisk e Persistent Disk

    • Per i tipi di macchine con 32 o più vCPU:

      • 512 TiB per soli Hyperdisk
      • 512 TiB per una combinazione di Hyperdisk e Persistent Disk
      • 257 TiB per soli Persistent Disk

Per informazioni dettagliate sui limiti di capacità, consulta Limiti di dimensioni e collegamento di Hyperdisk e Capacità massima di Persistent Disk.

Esperienza di manutenzione per le istanze A2

Durante il ciclo di vita di un'istanza Compute Engine, la macchina host su cui viene eseguita l'istanza subisce diversi eventi dell'host. Un evento dell'host può includere la normale manutenzione dell'infrastruttura Compute Engine o, in rari casi, un errore dell'host. Compute Engine implementa anche upgrade leggeri e non invasivi dell'hypervisor e della rete, in background.

La tabella seguente descrive le funzionalità di manutenzione dell'host per i tipi di macchina A2:

Tipo di macchina Numero di GPU Frequenza tipica degli eventi di manutenzione programmata Comportamento manutenzione Notifica avanzata per la manutenzione pianificata Manutenzione on demand Simulazione di manutenzione
A2 Ultra 1, 2, 4, 8 Almeno ogni 30 giorni Terminazione e riavvio 7 giorni Sì (solo 8 GPU) Sì
A2 Standard 1, 2, 4, 8 o 16 Almeno ogni 30 giorni Terminazione e riavvio 7 giorni Sì (solo 8 e 16 GPU) Sì

Le seguenti note si applicano alla tabella precedente:

  • Frequenza tipica degli eventi di manutenzione programmata:

    La frequenza di manutenzione indicata nella tabella precedente ha solo valore indicativo. Può accadere che Compute Engine esegua la manutenzione con maggiore frequenza.

La serie di macchine G4

La serie di macchine G4 utilizza la piattaforma CPU AMD EPYC Turin e dispone di GPU NVIDIA RTX PRO 6000 Blackwell Server Edition. Questa serie di macchine offre miglioramenti significativi rispetto alla serie di macchine G2 della generazione precedente, con una memoria GPU notevolmente maggiore, una larghezza di banda della memoria GPU aumentata e una larghezza di banda di rete più elevata.

Le istanze G4 hanno fino a 384 vCPU, 1440 GB di memoria e 12 TiB di dischi Titanium SSD collegati. Le istanze G4 forniscono anche fino a 400 Gbps di prestazioni di rete standard.

Questa serie di macchine è destinata in particolare a workload come quelli di simulazione NVIDIA Omniverse, applicazioni ad alta intensità di grafica, transcodifica video e desktop virtuali. La serie di macchine G4 offre anche una soluzione a basso costo per eseguire l'inferenza su un singolo host e l'ottimizzazione del modello rispetto ai tipi di macchina della serie A.

Le istanze che utilizzano il tipo di macchina G4 offrono le seguenti funzionalità:

  • Accelerazione GPU con GPU NVIDIA RTX PRO 6000 Blackwell Server Edition: alle istanze G4 vengono collegate automaticamente GPU NVIDIA RTX PRO 6000 Blackwell Server Edition, che offrono 96 GB di memoria GPU per GPU.

  • Piattaforma CPU AMD EPYC Turin di 5ª generazione: questa piattaforma offre una frequenza di boost massima sostenuta fino a 4,1 GHz. Per ulteriori informazioni su questo processore, consulta la piattaforma CPU.

  • Prestazioni grafiche di nuova generazione: le GPU NVIDIA RTX PRO 6000 offrono prestazioni e upgrade delle funzionalità significativi rispetto alle GPU NVIDIA L4 collegate alla serie di macchine G2. Questi upgrade sono i seguenti:

    • Tensor Core di 5ª generazione: questi core introducono il supporto per la precisione FP4 e la generazione di più frame DLSS 4. Utilizzando questi Tensor Core di quinta generazione, le GPU NVIDIA RTX PRO 6000 offrono prestazioni migliorate per accelerare attività come lo sviluppo di LLM locali e la creazione di contenuti, rispetto alle GPU NVIDIA L4.
    • Core RT di 4ª generazione: questi core offrono prestazioni di ray tracing fino a due volte superiori rispetto alle GPU NVIDIA L4 della generazione precedente, accelerando il rendering per i workload di progettazione e produzione.
    • Numero di core: la GPU NVIDIA RTX PRO 6000 include 24.064 core CUDA, 752 core Tensor di 5ª generazione e 188 core RT di 4ª generazione. Questo aggiornamento rappresenta un aumento sostanziale rispetto alle generazioni precedenti, come la GPU L4,che ha 7680 core CUDA e 240 core Tensor.

  • Condivisione della GPU: sono disponibili diverse opzioni che puoi utilizzare per consentire a più workload di accedere a una singola GPU fisica. La condivisione delle GPU è utile per i workload che non richiedono le risorse di una GPU completa, aiutandoti a ottimizzare i costi. Per le istanze G4 sono disponibili le seguenti opzioni di condivisione della GPU:

    • Supporto di GPU frazionarie (vGPU): questa funzionalità consente di condividere una singola GPU fisica tra più istanze di macchine virtuali (VM). Le vGPU forniscono l'isolamento della sicurezza multi-tenant perché ogni vGPU è un'istanza VM separata. Per utilizzare le vGPU, Compute Engine fornisce i seguenti tipi di istanze VM: g4-standard-6 (1/8 GPU), g4-standard-12 (1/4 GPU) e g4-standard-24 (1/2 GPU).
    • GPU multi-istanza (MIG): questa funzionalità consente di partizionare una singola GPU in un massimo di quattro istanze completamente isolate su una singola macchina virtuale. Questa opzione non offre l'isolamento di sicurezza multi-tenant, poiché tutte le partizioni appartengono a una singola VM.

  • Supporto di Peripheral Component Interconnect Express (PCIe) Gen 5: le istanze G4 supportano PCI Express Gen 5, che migliora la velocità di trasferimento dei dati dalla memoria della CPU alla GPU rispetto a PCIe Gen 3 utilizzato dalle istanze G2.

  • Supporto dei dischi: le istanze G4 supportano Titanium SSD per dischi temporanei veloci, utili per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O. Per l'archiviazione durevole, puoi collegare volumi Hyperdisk.

    Le istanze G4 supportano il collegamento di un massimo di 12.000 GiB di Titanium SSD. Per i workload che richiedono un'archiviazione a blocchi durevole, le istanze G4 supportano anche il collegamento di un massimo di 512 TiB di Hyperdisk. Per saperne di più sui tipi di disco, consulta Scegli un tipo di disco.

  • Comunicazione GPU peer-to-peer (P2P): le istanze G4 supportano la comunicazione GPU P2P, consentendo il trasferimento diretto dei dati tra le GPU all'interno della stessa istanza. Ciò può migliorare significativamente le prestazioni per i workload multi-GPU riducendo la latenza di trasferimento dei dati e liberando risorse della CPU. Per saperne di più, consulta Comunicazione peer-to-peer (P2P) della GPU G4.

  • Supporto delle policy di posizionamento compatto: questa funzionalità ti consente di controllare la posizione fisica delle tue istanze all'interno dei data center. Le policy di posizionamento compatto ti aiutano a collocare le istanze vicine tra loro per ridurre la latenza di rete, il che è utile per i workload sensibili alla latenza, come il computing ad alte prestazioni (HPC) o il machine learning (ML). Per ulteriori informazioni, consulta Riduci la latenza utilizzando le policy di posizionamento compatto.

Opzioni di prezzo e consumo per le istanze G4

Le istanze G4 supportano le seguenti opzioni di consumo e sconto:

Google Cloud addebita i costi delle istanze G4 in base alle GPU, alle vCPU predefinite e alla memoria collegate. L'utilizzo di Hyperdisk, dei dischi Titanium SSD e della rete viene fatturato separatamente rispetto ai prezzi tipo di macchina. Per saperne di più, consulta Prezzi e opzioni di consumo, Prezzi della famiglia di tipo di macchina ottimizzate per l'acceleratore e Prezzi delle GPU.

Tipi di macchine G4 (NVIDIA RTX PRO 6000)

I tipi di macchine G4 ottimizzate per l'acceleratore utilizzano GPU NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) e sono adatti per workload di simulazione NVIDIA Omniverse, applicazioni ad alta intensità di grafica, transcodifica video e desktop virtuali. I tipi di macchina G4 forniscono anche una soluzione a basso costo per eseguire l'inferenza su un singolo host e l'ottimizzazione del modello rispetto ai tipi di macchina della serie A.

Puoi anche aggiungere dischi SSD Titanium quando crei un'istanza G4. Per il numero di dischi che puoi collegare, consulta Tipi di macchine per cui devi scegliere un numero di dischi SSD locali. Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di G4.

Tipo di macchina Numero di vCPU Memoria istanza (GB) SSD Titanium massimo supportato (GiB) Numero di NIC fisiche Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA RTX PRO 6000 Memoria GPU (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1500 1 50 1 96
g4-standard-96 96 360 3000 1 100 2 192
g4-standard-192 192 720 6000 1 200 4 384
g4-standard-384 384 1440 12.000 2 400 8 768

Note tipo di macchina G4

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni G4

Tipi di dischi supportati per le istanze G4

Le istanze G4 possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Hyperdisk bilanciato (hyperdisk-balanced): è l'unico tipo di disco supportato per il disco di avvio
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme): questo tipo di disco è supportato solo sulle istanze G4 con due o più GPU collegate
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Titanium SSD: puoi aggiungere Titanium SSD alle istanze create utilizzando i tipi di macchine G4.

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti gli Hyperdisk Hyperdisk bilanciato Hyperdisk Balanced High Availability Hyperdisk Extreme Hyperdisk ML Hyperdisk Throughput Titanium SSD
g4-standard-6 8 8 8 0 8 8 0
g4-standard-12 16 16 16 0 16 16 1
g4-standard-24 32 32 32 0 32 32 2
g4-standard-48 32 32 32 0 32 32 4
g4-standard-96 32 32 32 8 32 32 8
g4-standard-192 64 64 64 8 64 64 16
g4-standard-384 128 128 128 8 128 128 32

La seguente nota si applica alla tabella precedente:

Puoi collegare una combinazione di tipi di Hyperdisk diversi a un'istanza, ma la capacità totale dei dischi (in TiB) per tutti i tipi di dischi non può superare i 512 TiB per tutti gli Hyperdisk.

Per informazioni dettagliate sui limiti di capacità, vedi Limiti di dimensioni e collegamento di Hyperdisk.

Comunicazione peer-to-peer (P2P) della GPU

Le istanze G4 migliorano le prestazioni dei workload multi-GPU utilizzando la comunicazione peer-to-peer (P2P) diretta tra GPU, supportata solo sui tipi di macchine con due o più GPU. Questo approccio consente alle GPU collegate alla stessa istanza G4 di scambiare dati direttamente tramite il bus PCIe, evitando la necessità di trasferire i dati tramite la memoria principale della CPU. Questo percorso diretto riduce la latenza, l'utilizzo della CPU e aumenta la larghezza di banda effettiva tra le GPU. La comunicazione P2P accelera notevolmente le applicazioni multi-GPU, come l'addestramento del machine learning (ML) e il computing ad alte prestazioni (HPC).

Poiché le istanze G4 utilizzano la comunicazione GPU P2P per impostazione predefinita, ottieni i seguenti vantaggi senza modificare il codice dell'applicazione. Tuttavia, per le applicazioni che utilizzano la NVIDIA Collective Communication Library (NCCL), per ricevere i miglioramenti completi delle prestazioni dalla comunicazione P2P, devi configurare NCCL per l'utilizzo di P2P.

Vantaggi principali e prestazioni

  • Accelera i workload multi-GPU sulle istanze G4 con due o più GPU: fornisce runtime più rapidi per le applicazioni in esecuzione sui tipi di macchine g4-standard-96, g4-standard-192 e g4-standard-384.
  • Fornisce comunicazioni a larghezza di banda elevata: consente velocità di trasferimento dei dati elevate tra le GPU.

  • Migliora le prestazioni NCCL: offre miglioramenti significativi delle prestazioni per le applicazioni che utilizzano la NVIDIA Collective Communication Library (NCCL) rispetto alla comunicazione che non utilizza il P2P. L'hypervisor di Google isola in modo sicuro questa comunicazione P2P all'interno delle tue istanze.

    • Su quattro istanze GPU (g4-standard-192), tutte le GPU si trovano su un singolo nodo NUMA, consentendo la comunicazione P2P più efficiente. Ciò può portare a miglioramenti delle prestazioni fino a 2,04x per collettivi come Allgather, Allreduce e ReduceScatter.
    • Nelle istanze con otto GPU (g4-standard-384), le GPU sono distribuite su due nodi NUMA. La comunicazione P2P è accelerata per il traffico sia all'interno che tra questi nodi, con miglioramenti delle prestazioni fino a 2,19x per gli stessi collettivi.

Configura NCCL per l'utilizzo di P2P

Per configurare NCCL in modo che utilizzi P2P, prima di eseguire i workload, imposta la variabile di ambiente NCCL_P2P_LEVEL sulla tua istanza G4 in base al tipo di macchina:

  • Per le istanze G4 con 2 o 4 GPU (g4-standard-96, g4-standard-192): imposta NCCL_P2P_LEVEL=PHB
  • Per le istanze G4 con 8 GPU (g4-standard-384): imposta NCCL_P2P_LEVEL=SYS

Imposta la variabile di ambiente utilizzando una delle seguenti opzioni:

  • Nella riga di comando, esegui il comando di esportazione appropriato, ad esempio export NCCL_P2P_LEVEL=SYS, nella sessione della shell in cui prevedi di eseguire l'app. Per rendere permanente questa impostazione, aggiungi questo comando allo script di avvio della shell, ad esempio ~/.bashrc.
  • Aggiungi l'impostazione appropriata, ad esempio NCCL_P2P_LEVEL=SYS, al file di configurazione NCCL che si trova in /etc/nccl.conf.

Esperienza di manutenzione per le istanze G4

Durante il ciclo di vita di un'istanza Compute Engine, la macchina host su cui viene eseguita l'istanza subisce diversi eventi dell'host. Un evento dell'host può includere la normale manutenzione dell'infrastruttura Compute Engine o, in rari casi, un errore dell'host. Compute Engine implementa anche upgrade leggeri e non invasivi dell'hypervisor e della rete, in background.

La tabella seguente descrive le funzionalità di manutenzione dell'host per i tipi di macchine G4:

Tipo di macchina Numero di GPU Frequenza tipica degli eventi di manutenzione programmata Comportamento manutenzione Notifica avanzata per la manutenzione pianificata Manutenzione on demand Simulazione di manutenzione
G4 1, 2 o 4 Almeno ogni 30 giorni Termina e riavvia. Se sono collegati dischi SSD locali, l'istanza viene terminata con la persistenza dei dati degli SSD locali. 7 giorni No Sì
G4 8 Almeno ogni 90 giorni Termina e riavvia. Se sono collegati dischi SSD locali, l'istanza viene terminata con la persistenza dei dati degli SSD locali. 30 giorni Sì Sì

Le seguenti note si applicano alla tabella precedente:

  • Frequenza tipica degli eventi di manutenzione programmata:

    La frequenza di manutenzione indicata nella tabella precedente ha solo valore indicativo. Può accadere che Compute Engine esegua la manutenzione con maggiore frequenza.

La serie di macchine G2

La serie di macchine G2 è disponibile in tipi di macchine standard con da 4 a 96 vCPU e fino a 432 GB di memoria. Questa serie di macchine è ottimizzata per i workload di inferenza e grafica. La serie di macchine G2 è disponibile in un unico tipo di macchina standard con più configurazioni.

Le istanze create utilizzando i tipi di macchine G2 offrono le seguenti funzionalità:

  • Accelerazione GPU: ogni tipo di macchina G2 ha GPU NVIDIA L4.

  • Miglioramento delle velocità di inferenza: il tipo di macchina G2 supporta il tipo di dato FP8 (virgola mobile a 8 bit) che accelera le velocità di inferenza ML e riduce i requisiti di memoria.

  • Prestazioni grafiche di nuova generazione: le GPU NVIDIA L4 offrono un miglioramento fino a tre volte delle prestazioni grafiche utilizzando core RT di terza generazione e la tecnologia NVIDIA DLSS 3 (Deep Learning Super Sampling).

  • Larghezza di banda di rete ad alte prestazioni: con i tipi di macchina G2, puoi ottenere fino a 100 Gbps di larghezza di banda di rete.

  • Supporto dei dischi: le istanze G2 supportano l'SSD locale per dischi temporanei veloci, utili per inviare dati alle GPU evitando al contempo i colli di bottiglia I/O. Per l'archiviazione durevole, puoi collegare volumi Persistent Disk e Hyperdisk.

    Puoi aggiungere fino a 3000 GiB di SSD locale alle istanze G2. Per i workload che richiedono un'archiviazione a blocchi durevole, puoi collegare volumi Hyperdisk e Persistent Disk alle istanze G2. La capacità di archiviazione massima dipende dal numero di vCPU dell'istanza. Per ulteriori informazioni sui tipi di disco, consulta Scegli un tipo di disco.

  • Supporto delle policy di posizionamento compatto: offre un maggiore controllo sul posizionamento fisico delle istanze all'interno dei data center. Ciò consente una latenza inferiore e una maggiore larghezza di banda per le istanze che si trovano all'interno di una singola zona di disponibilità. Per ulteriori informazioni, consulta Riduci la latenza utilizzando le policy di posizionamento compatto.

Opzioni di prezzo e consumo per le istanze G2

Le istanze G2 supportano le seguenti opzioni di consumo e sconto:

Google Cloud addebita i costi delle istanze G2 in base alle GPU, alle vCPU predefinite e alla memoria collegate. L'utilizzo di Persistent Disk, Hyperdisk, dischi SSD locali e rete viene fatturato separatamente rispetto ai prezzi tipo di macchina. Per saperne di più, consulta Prezzi e opzioni di consumo, Prezzi della famiglia di tipo di macchina ottimizzate per l'acceleratore e Prezzi delle GPU.

Tipi di macchine G2 (NVIDIA L4)

I tipi di macchina G2 ottimizzati per l'acceleratore hanno GPU NVIDIA L4 collegate e sono ideali per workload di inferenza ottimizzati in termini di costi, ad alta intensità di grafica e computing ad alte prestazioni.

Ogni tipo di macchina G2 ha anche una memoria predefinita e un intervallo di memoria personalizzato. L'intervallo di memoria personalizzato definisce la quantità di memoria che puoi allocare all'istanza per ogni tipo di macchina. Puoi anche aggiungere dischi SSD locali quando crei un'istanza G2. Per il numero di dischi che puoi collegare, consulta Tipi di macchine per cui devi scegliere un numero di dischi SSD locali.

Per informazioni sulle limitazioni dei tipo di macchina, consulta Limitazioni di G2.

Tipo di macchina Numero di vCPU Memoria istanza predefinita (GB) Intervallo di memoria dell'istanza personalizzata (GB) SSD locale massimo supportato (GiB) Larghezza di banda massima della rete (Gbps) Numero di GPU NVIDIA L4 Memoria GPU (GB GDDR6)
g2-standard-4 4 16 16-32 375 10 1 24
g2-standard-8 8 32 32-54 375 16 1 24
g2-standard-12 12 48 48-54 375 16 1 24
g2-standard-16 16 64 54-64 375 32 1 24
g2-standard-24 24 96 96-108 750 32 2 48
g2-standard-32 32 128 96-128 375 32 1 24
g2-standard-48 48 192 192-216 1500 50 4 96
g2-standard-96 96 384 384-432 3000 100 8 192

Note tipo di macchina G2

Le seguenti note si applicano alla tabella precedente:

  • Conteggio vCPU: una vCPU viene implementata come un singolo hyperthread hardware su una delle piattaforme CPU disponibili.
  • Larghezza di banda di rete massima: la larghezza di banda in uscita massima non può superare il numero specificato. La larghezza di banda in uscita effettiva dipende dall'indirizzo IP di destinazione e da altri fattori. Per saperne di più sulla larghezza di banda della rete, consulta Larghezza di banda della rete.
  • Memoria GPU: la memoria GPU è la memoria di un dispositivo GPU che può essere utilizzata per l'archiviazione temporanea dei dati. È separata dalla memoria dell'istanza ed è progettata specificamente per gestire le richieste di larghezza di banda più elevate dei workload ad alta intensità grafica.

Limitazioni G2

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina G2.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina G2.
  • Puoi utilizzare un tipo di macchina G2 solo in alcune regioni e zone.
  • Il tipo di macchina G2 è disponibile solo sulla piattaforma Cascade Lake.
  • Il disco permanente standard (pd-standard) non è supportato nelle istanze che utilizzano il tipo di macchina G2. Per i tipi di dischi supportati, consulta Tipi di dischi supportati per G2.
  • Non puoi creare GPU multi-istanza su un'istanza che utilizza un tipo di macchina G2.
  • Se devi modificare il tipo di macchina di un'istanza G2, consulta Modifica le istanze ottimizzate per l'acceleratore.
  • Non puoi utilizzare Deep Learning VM Image come dischi di avvio per le istanze che utilizzano il tipo di macchina G2.
  • L'attuale driver predefinito per Container-Optimized OS non supporta le GPU L4 in esecuzione su tipi di macchine G2. Inoltre, Container-Optimized OS supporta solo un insieme selezionato di driver. Se vuoi utilizzare Container-Optimized OS sui tipi di macchine G2, consulta le seguenti note:
    • Utilizza una versione di Container-Optimized OS che supporti la versione minima consigliata del driver NVIDIA 525.60.13 o successive. Per ulteriori informazioni, consulta le note di rilascio di Container-Optimized OS.
    • Quando installi il driver, specifica la versione più recente disponibile adatta alle GPU L4. Ad esempio, sudo cos-extensions install gpu -- -version=525.60.13.
  • Devi utilizzare Google Cloud CLI o REST per creare istanze G2 per i seguenti scenari:
    • Specifica i valori di memoria personalizzati.
    • Personalizza il numero di core della CPU visibili.

Tipi di dischi supportati per le istanze G2

Le istanze G2 possono utilizzare i seguenti tipi di archiviazione a blocchi:

  • Balanced Persistent Disk (pd-balanced)
  • Persistent Disk SSD (prestazioni) (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • SSD locale: puoi aggiungere un'unità SSD locale alle istanze create utilizzando i tipi di macchine G2.

La tabella seguente elenca il numero massimo di dischi supportati per istanza:

Tipi di macchina Tutti i dischi Hyperdisk ML Hyperdisk Throughput SSD locale
g2-standard-4 128 24 24 1
g2-standard-8 128 32 32 1
g2-standard-12 128 32 32 1
g2-standard-16 128 48 48 1
g2-standard-24 128 48 48 2
g2-standard-32 128 64 64 1
g2-standard-48 128 64 64 4
g2-standard-96 128 64 64 8

Le seguenti note si applicano alla tabella precedente:

Se supportato dal tipo di macchina, puoi collegare una combinazione di volumi Hyperdisk e Persistent Disk a un'istanza, ma si applicano le seguenti limitazioni:

  • Il numero combinato di volumi Hyperdisk e Persistent Disk non può superare i 128 per istanza.

  • La capacità totale massima del disco (in TiB) per tutti i tipi di disco non può essere superiore a:

    • Per i tipi di macchine con meno di 32 vCPU:

      • 257 TiB per soli Hyperdisk o soli Persistent Disk
      • 257 TiB per una combinazione di Hyperdisk e Persistent Disk

    • Per i tipi di macchine con 32 o più vCPU:

      • 512 TiB per soli Hyperdisk
      • 512 TiB per una combinazione di Hyperdisk e Persistent Disk
      • 257 TiB per soli Persistent Disk

Per informazioni dettagliate sui limiti di capacità, consulta Limiti di dimensioni e collegamento di Hyperdisk e Capacità massima di Persistent Disk.

Esperienza di manutenzione per le istanze G2

Durante il ciclo di vita di un'istanza Compute Engine, la macchina host su cui viene eseguita l'istanza subisce diversi eventi dell'host. Un evento dell'host può includere la normale manutenzione dell'infrastruttura Compute Engine o, in rari casi, un errore dell'host. Compute Engine implementa anche upgrade leggeri e non invasivi dell'hypervisor e della rete, in background.

La tabella seguente descrive le funzionalità di manutenzione dell'host per i tipi di macchina G2:

Tipo di macchina Numero di GPU Frequenza tipica degli eventi di manutenzione programmata Comportamento manutenzione Notifica avanzata per la manutenzione pianificata Manutenzione on demand Simulazione di manutenzione
G2 1, 2, 4 o 8 Almeno ogni 30 giorni Terminazione e riavvio 7 giorni Sì (solo 8 GPU) Sì

Le seguenti note si applicano alla tabella precedente:

  • Frequenza tipica degli eventi di manutenzione programmata:

    La frequenza di manutenzione indicata nella tabella precedente ha solo valore indicativo. Può accadere che Compute Engine esegua la manutenzione con maggiore frequenza.

Opzioni di prezzo e consumo

Le opzioni di consumo si riferiscono ai modi per ottenere e utilizzare le risorse di computing. Google Cloud addebita i costi dei tipi di macchine ottimizzate per l'acceleratore in base alle GPU, alla vCPU predefinita, alla memoria e all'SSD locale in bundle (se applicabile). Gli sconti per le istanze ottimizzate per l'acceleratore possono variare in base al tipo di risorsa e all'opzione di consumo che utilizzi. Una risorsa è idonea per un solo tipo di sconto alla volta.

A seconda del tipo di risorsa e dell'opzione di consumo che scegli, gli sconti si applicano ai tipi di macchine ottimizzate per l'acceleratore come segue:

  • On demand: con questa opzione di consumo, puoi ricevere sconti per impegno di utilizzo (CUD) flessibili di Compute solo per la spesa idonea per l'utilizzo delle istanze N1, G2 e G4, come segue:

    • Per i tipi di macchine N1 con GPU collegate, puoi ricevere sconti per impegno di utilizzo (CUD) flessibili per l'elaborazione solo per vCPU, memoria e dischi SSD locali.
    • Per i tipi di macchine G2 e G4, puoi ricevere sconti per impegno di utilizzo (CUD) flessibili per il computing per vCPU, memoria, GPU e dischi SSD locali.

    Per ricevere CUD basati sulle risorse per altre serie di macchine ottimizzate per l'acceleratore, tra cui G2 e G4, utilizza una delle opzioni di prenotazione.

  • Spot: le VM spot ricevono automaticamente sconti tramite Prezzi di VM spot.

  • Avvio flessibile: le istanze di cui è stato eseguito il provisioning utilizzando l'opzione di consumo con avvio flessibile ricevono automaticamente sconti tramite i prezzi di Dynamic Workload Scheduler.

  • Prenotazioni: puoi ricevere CUD basati sulle risorse per le risorse tipo di macchina ottimizzati per l'acceleratore acquistando impegni basati sulle risorse. Gli impegni basati sulle risorse per tutte le GPU e la maggior parte dei dischi SSD locali richiedono prenotazioni allegate per queste risorse.

Per ulteriori informazioni sui prezzi delle istanze ottimizzate per l'acceleratore, consulta la sezione Famiglia di tipi di macchine ottimizzate per l'acceleratore nella pagina dei prezzi delle istanze VM.

Disponibilità delle opzioni di consumo per tipo di macchina

La tabella seguente riassume la disponibilità di ciascuna opzione di consumo in base ai tipi di macchina. Per saperne di più su come scegliere un'opzione di consumo, consulta Scegli un modello di consumo nella documentazione di AI Hypercomputer.

Tipo di macchina (modello GPU) On demand Spot Avvio flessibile Prenotazioni on demand Prenotazioni future Prenotazioni future in modalità calendario Prenotazioni future in AI Hypercomputer
A4X Max (GB300) e A4X (GB200) No No No No No No Sì
A4 (B200) No Sì Sì No No Sì Sì
A3 Ultra (H200) No Sì Sì No No Sì Sì
A3 Mega (H100) Sì Sì Sì Sì Sì Sì Sì
A3 High con 8 GPU (H100) Sì Sì Sì Sì Sì Sì Sì
A3 High con meno di 8 GPU (H100) No Sì Sì No No No No
A3 Edge (H100) Sì Sì Sì Sì Sì Sì Sì
A2 (A100) Sì Sì Sì Sì Sì No No
G4 (RTX PRO 6000) Sì Sì Sì Sì Sì No No
G2 (L4) Sì Sì Sì Sì Sì No No
N1 con GPU (T4/P4/V100) Sì Sì Sì Sì Sì No No

Passaggi successivi