Scegliere un'opzione di consumo

Questo documento spiega i diversi modi, chiamati opzioni di consumo, per ottenere e utilizzare le risorse di calcolo su AI Hypercomputer. Scegli l'opzione più adatta al tuo carico di lavoro, alla sua durata e alle tue esigenze di costo.

Ogni opzione di consumo specifica quanto segue:

• Come accedere alla capacità per creare VM o cluster.

• Il modello di provisioning sottostante, che determina l'ottenibilità, la durata e il prezzo delle VM.

Confronto delle opzioni di consumo

La seguente tabella riassume le principali differenze tra le opzioni di consumo:

Opzione di consumo	Prenotazioni future in AI Hypercomputer	Prenotazioni future fino a 90 giorni (in modalità calendario)	Avvio flessibile	Spot
Macchine supportate	A4X Max, A4X, A4, A3 Ultra, A3 Mega o A3 High	A4, A3 Ultra, A3 Mega o A3 High con 8 GPU	Qualsiasi macchina GPU tranne A4X Max e A4X	Qualsiasi macchina GPU tranne A4X Max e A4X
Durata	Qualsiasi ora	Fino a 90 giorni	Fino a 7 giorni	In qualsiasi momento (ma soggetto a prelazione)
Prerilasciabile
Garanzia di capacità	Molto alto. Se Google Cloud approva la richiesta di prenotazione, hai una garanzia molto elevata che Compute Engine esegua il provisioning della capacità richiesta.	Molto alto. Se Google Cloud approva la richiesta di prenotazione, hai una garanzia molto elevata che Compute Engine esegua il provisioning della capacità richiesta.	Best effort. Compute Engine tenta al meglio di pianificare il provisioning della capacità richiesta.	Best effort. Compute Engine tenta di eseguire il provisioning della capacità richiesta nel miglior modo possibile.
Quota	La quota viene aumentata automaticamente prima che venga fornita la capacità.	Non viene addebitata alcuna quota.	Viene addebitata la quota preemptible.	Viene addebitata la quota preemptible.
Prezzi	Scontati (fino al 53%). Consulta i prezzi delle VM ottimizzate per gli acceleratori. Se prenoti risorse per un anno o più, devi acquistare e collegare un impegno basato sulle risorse alle risorse prenotate. Ti viene addebitato l'importo per il periodo di prenotazione. Vedi fatturazione delle prenotazioni.	Scontati (fino al 53%). Consulta i prezzi di Dynamic Workload Scheduler. Ti viene addebitato l'importo per il periodo di prenotazione. Vedi fatturazione delle prenotazioni.	Scontati (fino al 53%). Consulta i prezzi di Dynamic Workload Scheduler. Paghi in base al consumo (PAYG).	Scontate in modo significativo (fino al 91%). Consulta i prezzi delle VM spot e i prezzi delle VM ottimizzate per gli acceleratori. Paghi in base al consumo (PAYG).
Allocazione delle risorse	Dense	Dense	Per le richieste di ridimensionamento del MIG: Dense Per le VM con avvio flessibile autonome: Standard	Standard (policy compatta facoltativa)
Modello di provisioning	Con prenotazione	Con prenotazione	Avvio flessibile	Spot
Metodo di creazione	Per creare le VM, devi svolgere le seguenti operazioni: Prenota la capacità contattando il team dedicato al tuo account. Nella data e nell'ora che hai scelto, puoi utilizzare la capacità prenotata per creare VM e cluster utilizzando uno dei metodi descritti nella panoramica della creazione di VM e cluster.	Per creare le VM, devi svolgere le seguenti operazioni: Crea una prenotazione futura in modalità calendario. Nella data e nell'ora che hai scelto, puoi utilizzare la capacità riservata per creare VM e cluster utilizzando uno dei metodi descritti nella Panoramica delle opzioni di deployment.	Per creare le VM, utilizza uno dei seguenti metodi: Crea una VM autonoma Crea MIG con richieste di ridimensionamento Creare cluster Slurm Crea cluster GKE: Crea un cluster con la configurazione predefinita Creare un cluster personalizzato Quando la capacità richiesta diventa disponibile, Compute Engine esegue il provisioning.	Puoi creare immediatamente VM utilizzando uno dei metodi descritti nella panoramica delle opzioni di deployment.

Scegli un'opzione di consumo

Utilizza il seguente diagramma di flusso per scegliere l'opzione di consumo più adatta al tuo workload:

Le domande nel diagramma precedente sono le seguenti:

1. Hai bisogno di capacità per più di 90 giorni?

   • Sì: consulta la sezione Utilizzare le prenotazioni future in AI Hypercomputer.

   • No: vai alla domanda 2.

2. Vuoi la capacità riservata?

   • Sì: vedi Utilizzare le prenotazioni future in modalità calendario.

   • No: vai alla domanda 3.

3. Il carico di lavoro è a tolleranza di errore?

   • No: vedi Usare avvio flessibile.

   • Sì: consulta Usare Spot.

Utilizzare le prenotazioni future in AI Hypercomputer

Per eseguire carichi di lavoro distribuiti di grandi dimensioni e a lunga esecuzione che richiedono risorse allocate in modo denso, puoi richiedere risorse di calcolo per un momento specifico nel futuro. Hai accesso esclusivo alle risorse prenotate per quel periodo di tempo e puoi utilizzarle per creare VM o cluster. Al termine del periodo di prenotazione, Compute Engine esegue le seguenti operazioni:

• Compute Engine elimina la prenotazione.
• In base all'azione di terminazione specificata per le VM, Compute Engine arresta o elimina le VM che utilizzano la prenotazione.

Workload ideali per prenotazioni future in AI Hypercomputer

Le prenotazioni future sono ideali per i seguenti carichi di lavoro:

• Modelli di base preaddestrati

• Inferenza del modello di base multihost

Caratteristiche principali delle prenotazioni future in AI Hypercomputer

Le prenotazioni future hanno le seguenti caratteristiche:

• Puoi prenotare i tipi di macchine A4X Max, A4X, A4, A3 Ultra, A3 Mega o A3 High (8 GPU). Le macchine vengono allocate in modo denso per ridurre al minimo la latenza di rete.

• Puoi prenotare tutte le VM che vuoi per il periodo di tempo che preferisci per una data futura. Poi, puoi utilizzare le risorse prenotate per creare ed eseguire VM fino al termine del periodo di prenotazione. Se prenoti risorse per un anno o più, devi acquistare e allegare un impegno basato sulle risorse.

• Dopo l'inizio del periodo di prenotazione, puoi modificare le prenotazioni create automaticamente nel seguente modo:

  • Attivare o disattivare le notifiche di manutenzione di emergenza dell'hardware
  • Abilita o disabilita l'utilizzo dei job Vertex AI

• Utilizzi il modello di provisioning con prenotazione, che offre i seguenti vantaggi:

  • Hai maggiori probabilità di ottenere GPU.

  • Oltre all'impegno associato alle tue VM, ottieni uno sconto fino al 53% per vCPU e GPU.

Come utilizzare le prenotazioni future in AI Hypercomputer

Per utilizzare le prenotazioni future per creare VM o cluster, devi completare i seguenti passaggi:

1. Richiedi di prenotare la capacità. Contatti il team dedicato al tuo account e specifichi le risorse da prenotare. In base alla disponibilità, Google crea una bozza di richiesta di prenotazione per te. Se ti sembra corretta, puoi inviarla. Google Cloud approva immediatamente la richiesta di prenotazione.

   Per istruzioni, vedi Capacità di riserva.

2. Consuma le risorse prenotate. All'inizio del periodo di prenotazione scelto, puoi utilizzare la prenotazione per creare VM o cluster.

   Per i diversi metodi di creazione di VM o cluster, vedi Panoramica della creazione di VM e cluster.

Utilizzare le prenotazioni future in modalità calendario

Per eseguire workload distribuiti di breve durata che richiedono risorse allocate in modo denso, puoi richiedere risorse di calcolo per un massimo di 90 giorni. Hai accesso esclusivo alle risorse prenotate per quel periodo di tempo e puoi utilizzarle per creare VM o cluster. Al termine del periodo di prenotazione, Compute Engine esegue le seguenti operazioni:

• Compute Engine elimina la prenotazione.
• In base all'azione di terminazione specificata per le VM, Compute Engine arresta o elimina le VM che utilizzano la prenotazione.

Carichi di lavoro ideali per le prenotazioni future in modalità calendario

Le prenotazioni future in modalità calendario sono ideali per i seguenti workload:

• Pre-addestramento del modello

• Ottimizzazione del modello

• Simulazioni

• Inferenza

Caratteristiche principali delle prenotazioni future in modalità calendario

Le prenotazioni future in modalità calendario hanno le seguenti caratteristiche:

• Puoi prenotare i tipi di macchine A4, A3 Ultra, A3 Mega o A3 High (8 GPU). Queste macchine sono allocate in modo denso per ridurre al minimo la latenza di rete.

• Puoi visualizzare la disponibilità futura delle risorse e poi prenotare fino a 80 VM per un massimo di 90 giorni in futuro. Dopodiché, puoi utilizzare le risorse prenotate per creare VM fino alla fine del periodo di prenotazione.

• Dopo l'inizio del periodo di prenotazione, puoi modificare le prenotazioni create automaticamente nel seguente modo:

  • Attivare o disattivare le notifiche di manutenzione di emergenza dell'hardware
  • Abilita o disabilita l'utilizzo dei job Vertex AI

• Utilizzi il modello di provisioning con prenotazione, che offre i seguenti vantaggi:

  • Hai maggiori probabilità di ottenere GPU.

  • Ottieni uno sconto fino al 53% per vCPU e GPU.

Come utilizzare le prenotazioni future in modalità calendario

Per utilizzare le prenotazioni future in modalità calendario per creare VM o cluster, devi completare i seguenti passaggi:

1. Visualizza la disponibilità delle risorse. Puoi visualizzare la disponibilità futura delle risorse che vuoi prenotare. Quando crei una richiesta di prenotazione, puoi specificare il numero, il tipo e la durata della prenotazione per le risorse che hai confermato come disponibili. Questa azione aumenta le probabilità che Google Cloud approvi la tua richiesta.

   Per istruzioni, vedi Visualizzare la disponibilità futura delle risorse.

2. Riserva capacità. Crei una richiesta di prenotazione per una data e un'ora future. Google Cloud approva la richiesta di prenotazione entro due minuti. Se approvata, Compute Engine riserva la capacità per te. Nella data di consegna scelta, puoi utilizzare le risorse prenotate per creare VM o cluster.

   Per istruzioni, vedi Crea una richiesta di prenotazione per VM GPU o TPU.

3. Consuma le risorse prenotate. All'inizio del periodo di prenotazione scelto, puoi utilizzare la prenotazione per creare VM o cluster.

   Per i diversi metodi di creazione di VM o cluster, consulta quanto segue:

   • Per creare VM A4, A3 Ultra, A3 Mega o A3 High (8 GPU), consulta Panoramica della creazione di VM e cluster.
   • Per creare VM A3 Mega o A3 High (8 GPU) con GPUDirect-TCPX abilitato, consulta Crea una VM A3 con GPUDirect-TCPX abilitato.

Usa avvio flessibile

Per eseguire workload di breve durata che richiedono risorse allocate in modo denso, puoi richiedere risorse di calcolo per un massimo di sette giorni utilizzando l'inizio flessibile. Ogni volta che le risorse sono disponibili, Compute Engine crea il numero di VM richiesto. Puoi arrestare le VM con avvio flessibile autonome, ma non puoi arrestare le VM con avvio flessibile che un gruppo di istanze gestite (MIG) crea tramite richieste di ridimensionamento. Le VM Flex-start esistono finché non le elimini o finché Compute Engine non le elimina al termine della loro durata di esecuzione.

Workload ideali per l'avvio flessibile

L'inizio flessibile è ideale per i workload che possono iniziare in qualsiasi momento, ad esempio:

• Pre-addestramento di modelli di piccole dimensioni

• Ottimizzazione del modello

• Simulazioni

• Inferenza batch

Caratteristiche principali di Avvio flessibile

L'avvio flessibile presenta le seguenti caratteristiche:

• Puoi richiedere qualsiasi tipo di macchina GPU, ad eccezione di A4X Max e A4X. L'allocazione delle risorse varia in base al metodo di creazione:

  • Per le VM con avvio flessibile autonome, le macchine utilizzano il posizionamento standard. Questo posizionamento alloca le macchine in base alla disponibilità, il che potrebbe comportare una grande distanza tra le VM all'interno della stessa zona.
  • Per tutti gli altri metodi di creazione, le macchine vengono allocate in modo denso per ridurre al minimo la latenza di rete.

• Utilizzi il modello di provisioning con avvio flessibile, che offre i seguenti vantaggi:

  • Hai maggiori probabilità di ottenere GPU.

  • Ottieni uno sconto fino al 53% per vCPU, memoria e GPU.

Come utilizzare Avvio flessibile

Per utilizzare Flex-start per creare VM o cluster, seleziona una delle seguenti opzioni:

• Crea una VM autonoma
• Crea MIG con richieste di ridimensionamento
• Creare cluster Slurm
• Crea cluster GKE:
• Crea un cluster con la configurazione predefinita
• Creare un cluster personalizzato

Utilizzare Spot

Per eseguire carichi di lavoro a tolleranza di errore, puoi ottenere immediatamente risorse di calcolo in base alla disponibilità. Ottieni risorse al prezzo più basso possibile. Tuttavia, Compute Engine può prerilasciare le VM in qualsiasi momento per recuperare capacità.

Workload ideali per Spot

Spot è ideale per i workload in cui le interruzioni sono accettabili, ad esempio:

• Elaborazione dei dati in modalità batch

• Computing ad alte prestazioni (HPC)

• Integrazione e il deployment continui (CI/CD)

• Analisi di dati

• Codifica dei contenuti multimediali

• Inferenza online

Caratteristiche principali di Spot

Spot ha le seguenti caratteristiche:

• Puoi creare qualsiasi tipo di macchina GPU, ad eccezione di A4X Max e A4X. L'allocazione densa dipende dalla disponibilità delle risorse. Per garantire un'allocazione più vicina, puoi applicare una policy di posizionamento compatto alle VM.

• Puoi creare immediatamente tutte le VM che vuoi. Le VM vengono eseguite fino a quando non le arresti o le elimini oppure fino a quando Compute Engine non le prerilascia per recuperare capacità.

• Utilizzi il modello di provisioning delle VM spot, che offre i seguenti vantaggi:

  • Hai maggiori probabilità di ottenere GPU.

  • Ottieni uno sconto fino al 91% per molti tipi di macchine, GPU, TPU e dischi SSD locali.

Come utilizzare Spot

Per utilizzare Spot per creare VM o cluster, devi completare i seguenti passaggi:

1. (Facoltativo) Crea una policy di posizionamento compatto. Crea una policy di posizionamento compatto per specificare la vicinanza delle VM tra loro. La distanza minima scelta influisce sul numero e sul tipo di VM a cui puoi applicare il criterio.

2. Crea VM spot. Puoi creare tutte le VM che vuoi, in base alla disponibilità. Le VM vengono eseguite fino a quando non le arresti o le elimini oppure fino a quando Compute Engine non le prerilascia per recuperare capacità.

Per le istruzioni, vedi Panoramica della creazione di VM e cluster.