Risorse di computing

Se ti interessano i cluster di addestramento di Gemini Enterprise Agent Platform, contatta il tuo rappresentante di vendita per l'accesso.

I cluster di addestramento di Gemini Enterprise Agent Platform supportano una varietà di tipi di macchine per adattarsi a diversi workload. Puoi scegliere tra le seguenti opzioni quando configuri i node pool del cluster.

Tipi di macchine ottimizzate per l'acceleratore

Tipo di macchina GPU GPU per nodo
a4x-highgpu-4g NVIDIA GB200 4
a4-highgpu-8g NVIDIA B200 8
a3-ultragpu-8g NVIDIA H200 8
a3-megagpu-8g NVIDIA H100 8
g4-standard-48 NVIDIA RTX PRO 6000 Blackwell 1
g4-standard-96 NVIDIA RTX PRO 6000 Blackwell 2
g4-standard-192 NVIDIA RTX PRO 6000 Blackwell 4
g4-standard-384 NVIDIA RTX PRO 6000 Blackwell 8

Tipi di macchine con CPU e HPC

Tipo di macchina Descrizione
Famiglia N2: n2-standard-*, n2-highmem-*, n2-highcpu-* Nodi per uso generico per la pre-elaborazione dei dati, l'orchestrazione dei job e altri lavori che non richiedono un acceleratore. N2 è anche la famiglia di macchine utilizzata per i nodi di accesso Slurm.
Famiglia H4D: h4d-standard-*, h4d-highmem-* Nodi ottimizzati per HPC con rete RDMA, per workload di simulazione e pre-elaborazione ad alto accoppiamento.

Tipo di macchina A4X

I cluster di addestramento di Gemini Enterprise Agent Platform supportano il tipo di macchina A4X ottimizzato per l'acceleratore (a4x-highgpu-4g), una piattaforma exascale basata sull' architettura NVIDIA GB200 NVL72 su rack.

Confronto architettonico

La seguente tabella illustra le differenze hardware fondamentali tra la famiglia A4X e le altre famiglie ottimizzate per l'acceleratore.

Funzionalità A4X (a4x-highgpu-4g) A3 / A4H
Architettura CPU ARM X86
Numero di GPU 4 GPU per nodo 8 GPU per nodo
Tipo di prenotazione Modalità di capacità totale Modalità di gestione
Criterio di posizionamento Restrittivo (compatto) Flessibile

Linee guida specifiche per A4X

  • Il numero di VM del pool di nodi A4X deve essere un multiplo di 18 (ad esempio 18, 36, 54). Questo è necessario perché la capacità A4X viene sottoposta a provisioning in blocchi fissi e non condivisibili di 18 nodi chiamati domini NVLink. Questi domini sono vincolati da una policy di posizionamento compatto restrittiva e i blocchi allocati parzialmente non possono essere utilizzati da altri cluster.
  • A causa dell'architettura basata su ARM dei nodi A4X, devi apportare due modifiche chiave ai workload di addestramento:
    • Utilizza immagini compatibili con ARM: tutti i job di addestramento devono utilizzare un'immagine container creata per l'architettura ARM.
    • Adatta per 4 GPU: la logica di addestramento distribuito deve essere aggiornata per riconoscere e utilizzare correttamente le 4 GPU disponibili su ogni nodo A4X.
  • Procedura di segnalazione di errori dell'host e tempi di inattività Quando segnali un host come difettoso, tieni presente la seguente procedura di ripristino:
    • Nessuna capacità di riserva: il sistema non utilizza un pool di riserva per la sostituzione immediata dei nodi.
    • Ripristino basato sulla riparazione: il nodo rimane non disponibile finché l'host fisico sottostante non viene riparato.
    • Tempi di inattività prolungati: in genere, questa procedura di riparazione richiede da 3 a 14 giorni.

Provisioning della capacità

La scelta del modello di provisioning giusto è fondamentale per bilanciare costi, velocità e disponibilità delle risorse. Consulta le seguenti opzioni di provisioning:

  • RESERVATION: alloca i nodi da una prenotazione Compute Engine specifica che hai creato in anticipo. Questo modello garantisce la capacità ed è la scelta consigliata per le risorse ad alta richiesta.

  • FLEX_START: utilizza Dynamic Workload Scheduler per mettere in coda il job. Il job inizia automaticamente non appena le risorse di calcolo richieste diventano disponibili, offrendo un orario di inizio flessibile senza richiedere una prenotazione.

  • SPOT: esegue il provisioning del pool di nodi utilizzando le VM spot. Questa è l'opzione più conveniente, ma deve essere utilizzata solo per i workload a tolleranza di errore che possono gestire le interruzioni, poiché le VM potrebbero essere prerilasciate in qualsiasi momento.

  • ON_DEMAND: questa è l'opzione predefinita per i node pool solo CPU ed è più adatta ai tipi di macchine non scarsi. Fornisce istanze VM standard con prezzi prevedibili e a consumo.

Utilizza le seguenti indicazioni per effettuare la selezione:

  • Per le risorse GPU ad alta richiesta (come A3 e A4): il modello RESERVATION è vivamente consigliato. Garantisce l'accesso dedicato alla capacità necessaria per i job di addestramento critici.

  • Per i workload flessibili o con picchi di utilizzo: valuta FLEX_START o SPOT. FLEX_START mette in coda il job finché le risorse non sono disponibili, mentre SPOT offre un notevole risparmio sui costi per i job a tolleranza di errore che possono gestire il prerilascio.

  • Per i tipi di macchine abbondanti: il modello ON_DEMAND è la scelta preferita. Utilizzalo per i tipi di macchine non scarsi e in cui la disponibilità immediata non è un problema.

Utilizzare una prenotazione condivisa (facoltativo)

Se vuoi utilizzare una prenotazione condivisa anziché una prenotazione locale, devi eseguire altri passaggi prima di poter creare un cluster.

Prima di utilizzare una prenotazione condivisa con i cluster di addestramento di Gemini Enterprise Agent Platform, assicurati che funzioni creando manualmente una VM che la utilizzi. Se la creazione della VM funziona, passa al passaggio successivo. Nella configurazione di creazione del cluster, utilizza il nome della prenotazione nel seguente formato: projects/RESERVATION_HOST_PROJECT_ID/zones/RESERVATION_ZONE/reservations/RESERVATION_NAME.

Passaggi successivi

Dopo aver selezionato le opzioni di calcolo e provisioning per il cluster di addestramento, puoi creare il cluster ed eseguire un workload.