Opzioni di consumo per AI Hypercomputer

AI Hypercomputer offre diverse opzioni di consumo per l'acquisizione di risorse di calcolo. Queste opzioni soddisfano esigenze quali la durata del workload, la tolleranza agli errori e il modello di infrastruttura. Scopri queste opzioni e scegli quella più adatta al tuo caso d'uso.

In alternativa alla valutazione manuale, puoi chiedere a Gemini nella consoleGoogle Cloud di confrontare le opzioni di consumo per il tuo workload e il tuo budget. Per saperne di più, consulta Progettare l'infrastruttura AI con Compute Advisor.

Panoramica delle opzioni di consumo

Per confrontare le opzioni di consumo in base alle caratteristiche principali, utilizza la seguente tabella:

Opzione di consumo Modello di provisioning Ideale per Garanzia di capacità Durata Preemptible Quota Sconti Modello di allocazione
Avvio flessibile Avvio flessibile Workload di breve durata fino a sette giorni che possono attendere la capacità. Best effort Fino a sette giorni No Quota preemptible Sconto (fino al 53%) sulle serie supportate Denso per le richieste di ridimensionamento del MIG; best effort per le VM autonome.
VM spot Spot Workload GPU generali a tolleranza di errore e di breve durata. Best effort Preemptible Sì Quota preemptible Scontati (fino al 91%) Standard
Prenotazioni standard Standard Workload GPU generali critici che richiedono un livello di garanzia molto elevato per la capacità. Molto alta Molto alta Definito dall'utente No Nessuna quota consumata Tariffe scontate con sconti per impegno di utilizzo (CUD)
Prenotazioni future per i blocchi di capacità Con prenotazione Addestramento su larga scala e di lunga durata su GPU in cluster. Molto alta Illimitato durante il periodo di prenotazione. No La quota viene aumentata prima della pubblicazione Scontato (fino al 53%) con i CUD Denso
Prenotazioni future in modalità calendario Con prenotazione carichi di lavoro di GPU cluster fino a 90 giorni che richiedono capacità riservata. Molto alta Fino a 90 giorni No Nessuna quota consumata Scontato (fino al 53%) Denso
VM on demand Standard workload GPU generali senza una durata specifica. Best effort Illimitato No Quota on demand Nessuno (pagamento a consumo) Standard

L'opzione di consumo che utilizzi per il deployment dell'infrastruttura dipende dal fatto che utilizzi la GPU generica o la GPU in cluster.

  • GPU generica: progettata per inferenza, sviluppo e workload di addestramento su piccola scala. Questo tipo di GPU offre flessibilità operativa grazie alla manutenzione asincrona. Per visualizzare le opzioni disponibili, consulta Opzioni di consumo per GPU generiche.

  • GPU in cluster: progettate per workload di addestramento accoppiati in modo stretto e su larga scala e per inferenza, RL e modelli di ragionamento su larga scala che richiedono una garanzia di capacità elevata e un'allocazione densa delle risorse per ridurre al minimo la latenza di rete. Per visualizzare le opzioni disponibili, consulta Opzioni di consumo per GPU cluster.

Opzioni di consumo per le GPU generiche

Utilizza le seguenti opzioni di consumo per acquisire capacità per la GPU generica.

Usa avvio flessibile

Per eseguire workload di breve durata che richiedono risorse allocate in modo denso, puoi richiedere risorse di calcolo fino a sette giorni utilizzando l'avvio flessibile. Ogni volta che le risorse sono disponibili, Compute Engine crea il numero di VM richiesto. Puoi arrestare le VM con avvio flessibile autonome, ma non puoi arrestare le VM con avvio flessibile che un gruppo di istanze gestite (MIG) crea tramite richieste di ridimensionamento. Le VM con avvio flessibile esistono finché non le elimini o finché Compute Engine non le elimina al termine della loro durata di esecuzione.

Workload ideali

  • Pre-addestramento di modelli di piccole dimensioni
  • Ottimizzazione del modello
  • Simulazione di computing ad alte prestazioni (HPC)
  • Inferenza batch

Caratteristiche principali

  • Modello di provisioning: avvio flessibile.
  • Ampio supporto hardware: richiedi qualsiasi tipo di macchina con GPU cluster, ad eccezione di A4X Max e A4X.
  • Ottimizzazione della latenza: applica una policy di posizionamento compatto alle VM autonome per ridurre al minimo la latenza di rete.
  • Efficienza dei costi: ricevi uno sconto fino al 53% su vCPU, memoria, GPU e dischi SSD locali per le serie di macchine A4, A3, A2 e G4. Le tariffe on demand standard vengono applicate alle altre serie supportate. Per saperne di più, consulta la sezione Prezzi con avvio flessibile.

Utilizzare Spot

Per eseguire carichi di lavoro a tolleranza di errore, puoi ottenere immediatamente risorse di calcolo in base alla disponibilità. Ottieni risorse al prezzo più basso possibile. Tuttavia, Compute Engine può prerilasciare le VM in qualsiasi momento per recuperare capacità.

Workload ideali

  • Elaborazione batch e analisi dei dati
  • Computing ad alte prestazioni (HPC) e codifica multimediale

Caratteristiche principali

  • Modello di provisioning: spot.
  • Ampio supporto hardware: richiedi qualsiasi tipo di macchina con GPU cluster, ad eccezione di A4X Max e A4X.
  • Ottimizzazione della latenza: applica una policy di posizionamento compatto alle VM autonome per ridurre al minimo la latenza di rete.
  • Efficienza dei costi: ricevi uno sconto fino al 91% su vCPU, memoria, GPU e dischi SSD locali.

Utilizza on demand

Suggerimento: per aumentare le possibilità di ottenere capacità GPU generica, utilizza l'avvio flessibile o Spot. Queste opzioni di consumo offrono GPU a un prezzo scontato rispetto ai prezzi on demand e sono state progettate per aumentare le tue possibilità di ottenere risorse molto richieste come le GPU.

Per eseguire workload senza una durata specifica, puoi ottenere immediatamente risorse di calcolo in base alla disponibilità. Le VM vengono eseguite finché non le arresti o le elimini.

Workload ideali

  • Inferenza ed erogazione del modello
  • Prototipazione e sperimentazione

Caratteristiche principali

  • Modello di provisioning: standard.
  • Disponibilità immediata: crea istanze VM immediatamente senza attendere la pianificazione o l'approvazione della capacità.
  • Prezzi standard: paga le risorse alle tariffe on demand standard senza impegni a lungo termine.
  • Ampio supporto hardware: utilizza qualsiasi serie di macchine GPU supportata nel percorso GPU generale.

Utilizzare le prenotazioni standard

Per eseguire workload GPU generali critici che richiedono un livello di garanzia molto elevato per la capacità, puoi utilizzare le prenotazioni standard.

Workload ideali

  • Workload di produzione critici
  • Workload che richiedono capacità garantita

Caratteristiche principali

  • Modello di provisioning: standard.
  • Garanzia di capacità: offre una garanzia molto elevata che le risorse siano disponibili.
  • Prezzi: vengono applicate le tariffe standard, ma puoi allegare CUD per risparmiare.

Opzioni di consumo per la GPU cluster

Utilizza le seguenti opzioni di consumo per acquisire capacità per la GPU in cluster.

Utilizzare le prenotazioni future per i blocchi di capacità

Per eseguire carichi di lavoro distribuiti su larga scala e di lunga durata che richiedono risorse allocate in modo denso, puoi richiedere risorse di calcolo allocate in modo denso per una data e un'ora future. Hai accesso esclusivo alle risorse prenotate per quel periodo di tempo e puoi utilizzarle per creare VM o cluster. Al termine del periodo di prenotazione, Compute Engine esegue le seguenti azioni:

  • Compute Engine elimina la prenotazione e l'eventuale pool di archiviazione vuoto associato.
  • In base all'azione di terminazione specificata per le VM, Compute Engine arresta o elimina le VM che utilizzano la prenotazione.

Workload ideali

  • Modelli di base preaddestrati
  • Inferenza per i modelli di base su più host

Caratteristiche principali

  • Modello di provisioning: con prenotazione.
  • Supporto per macchine premium: riserva i tipi di macchine A4X Max, A4X, A4, A3 Ultra, A3 Mega o A3 High (8 GPU).
  • Prenotazioni Hyperdisk: puoi prenotare un pool di archiviazione Hyperdisk o un Hyperdisk Exapool insieme alla capacità di calcolo per assicurarti che i tuoi workload dispongano di risorse di archiviazione sufficienti. Google colloca i pool Hyperdisk con i nodi di calcolo per ottimizzare le prestazioni di archiviazione.
  • Requisiti di impegno: collega un impegno basato sulle risorse per le prenotazioni di un anno o più per ricevere sconti sulle risorse di calcolo e sui pool Hyperdisk.
  • Modifiche dinamiche: attiva le notifiche di manutenzione di emergenza dell'hardware per l'utilizzo dei job Vertex AI dopo l'inizio del periodo.

Utilizzare le prenotazioni future in modalità calendario

Per eseguire workload distribuiti di breve durata che richiedono risorse allocate in modo denso, puoi richiedere risorse di calcolo per un massimo di 90 giorni. Hai accesso esclusivo alle risorse prenotate per quel periodo di tempo e puoi utilizzarle per creare VM o cluster. Al termine del periodo di prenotazione, Compute Engine esegue le seguenti operazioni:

  • Compute Engine elimina la prenotazione.
  • In base all'azione di terminazione specificata per le VM, Compute Engine arresta o elimina le VM che utilizzano la prenotazione.

Workload ideali

  • Pre-addestramento e ottimizzazione
  • Simulazioni e inferenza su larga scala

Caratteristiche principali

  • Modello di provisioning: con prenotazione.
  • Supporto delle serie di macchine: riserva tipi di macchine A4, A3 Ultra, A3 Mega o A3 High (8 GPU).
  • Limiti di scalabilità: riserva fino a 80 VM per un massimo di 90 giorni.
  • Provisioning ottimizzato: utilizza un modello vincolato alla prenotazione per aumentare le tue possibilità di ottenere GPU.

Usa avvio flessibile

Utilizza l'avvio flessibile per le richieste di ridimensionamento del gruppo di istanze gestite (MIG) in cluster quando hai bisogno di risorse allocate in modo denso per un massimo di sette giorni.

Workload ideali

Le VM con inizio flessibile sono ideali per l'esecuzione di workload che possono iniziare in qualsiasi momento, ad esempio:

  • Pre-addestramento di modelli di piccole dimensioni
  • Ottimizzazione del modello
  • Simulazione di computing ad alte prestazioni (HPC)
  • Inferenza batch

Caratteristiche principali

  • Modello di provisioning: avvio flessibile.
  • Allocazione delle risorse: allocazione densa per le richieste di ridimensionamento del MIG.
  • Efficienza dei costi: ricevi uno sconto fino al 53% su vCPU, memoria, GPU e su eventuali dischi SSD locali collegati per le serie di macchine A4, A3, A2 e G4. Le tariffe on demand standard si applicano alle altre serie di macchine supportate.

Utilizzare Spot

Puoi utilizzare le VM spot per carichi di lavoro a tolleranza di errore allocati in modo denso per ottenere sconti elevati, con la consapevolezza che Compute Engine può prerilasciare le VM per recuperare capacità.

Workload ideali

  • Addestramento distribuito a tolleranza di errore
  • Elaborazione batch

Caratteristiche principali

  • Modello di provisioning: spot.
  • Prerilascio: Compute Engine può prerilasciare le istanze in qualsiasi momento.
  • Efficienza dei costi: ricevi uno sconto fino al 91% su vCPU, memoria, GPU e su tutti i dischi SSD locali collegati

Passaggi successivi