Pianifica le risorse Cloud TPU

Questa pagina descrive come pianificare l'utilizzo della Tensor Processing Unit (TPU).

Scegli un'opzione di consumo

Le opzioni di consumo si riferiscono ai modi per ottenere e utilizzare le risorse di calcolo. Puoi richiedere la capacità delle VM Cloud TPU in base alle tue esigenze di velocità, durata, costi e tolleranza al preempt. Le opzioni includono:

  • On demand:istanze standard con pagamento a consumo.
  • VM spot: istanze prerilasciabili a costi inferiori. Utilizza la quota preemptible.
  • VM con inizio flessibile:prenota la capacità in base alle esigenze, per un massimo di 7 giorni, senza prenotazioni a lungo termine o gestione complessa delle quote.
  • Prenotazioni:riserva capacità per una durata specifica (fino a 90 giorni o 1 anno o più), garantendo la disponibilità. Utilizza la quota on demand.

La tabella seguente confronta le opzioni di consumo della TPU in base al funzionamento, ai casi d'uso ideali e alle versioni della TPU supportate.

Opzione di consumo Come funziona Ideale per Versioni di TPU supportate
Prenotazioni future per un anno o più

Richiedi le risorse TPU con un anno o più di anticipo. Queste risorse sono riservate al tuo uso esclusivo durante questo periodo.

Le prenotazioni offrono il massimo livello di garanzia per la capacità e un prezzo inferiore rispetto alle risorse on demand.

Le prenotazioni future di TPU includono uno sconto per impegno di utilizzo (CUD). I CUD offrono prezzi scontati quando acquisti un contratto basato sull'impegno di utilizzo. Per saperne di più, vedi Prenotazioni future per un anno o più.

 Le prenotazioni future per un anno o più sono ideali per i job di addestramento e i carichi di lavoro di inferenza di lunga durata. Tutte le versioni di TPU
Prenotazioni future fino a 90 giorni (modalità calendario)

Richiedi risorse TPU per un orario di inizio e una durata specifici, compresi tra 1 e 90 giorni. Queste risorse sono riservate al tuo uso esclusivo durante questo periodo. Per saperne di più, consulta Prenotazioni future per un massimo di 90 giorni (in modalità calendario)

Le prenotazioni offrono il massimo livello di garanzia per la capacità e un prezzo inferiore rispetto alle risorse on demand.

 Le prenotazioni future in modalità calendario sono adatte ai workload di addestramento e sperimentazione che richiedono orari di inizio precisi e hanno una durata definita. TPU7x, TPU v6e e TPU v5p
On demand

Richiedi risorse TPU per l'utilizzo immediato, per tutto il tempo necessario.

On demand offre una flessibilità significativa. Le risorse on demand non vengono interrotte, ma non è garantito che siano disponibili risorse TPU sufficienti per soddisfare la tua richiesta. On demand è l'opzione predefinita quando crei risorse TPU. Per saperne di più sulla creazione e sull'utilizzo delle TPU on demand, consulta Crea VM TPU.

 On demand è una buona soluzione per i job urgenti e i workload che richiedono un tempo di fine flessibile. Tutte le versioni di TPU
Avvio flessibile (anteprima)

Richiedi risorse TPU per un periodo di tempo specifico, fino a sette giorni, senza prenotare la capacità in anticipo.

Le VM TPU con avvio flessibile vengono fornite da un pool dedicato di capacità, quindi la disponibilità di queste risorse è superiore a quella on demand. Per saperne di più, consulta Richiedere VM TPU Flex-start.

Per saperne di più sull'utilizzo delle VM TPU con avvio flessibile con Google Kubernetes Engine (GKE), consulta Informazioni sul provisioning di GPU e TPU con la modalità di provisioning con avvio flessibile.

 L'avvio flessibile è ideale per la sperimentazione, i test su piccola scala, il provisioning dinamico delle TPU per i workload di inferenza, l'ottimizzazione dei modelli e le esecuzioni di workload che richiedono meno di sette giorni. TPU7x, TPU v6e e TPU v5p
Spot

Richiedi risorse TPU che possono essere prerilasciate.

Le VM spot sono disponibili a un prezzo notevolmente inferiore rispetto alle risorse on demand. Le VM spot sono spesso più facili da ottenere rispetto alle risorse on demand, ma possono essere prerilasciate (spente) in qualsiasi momento. Non esiste un limite alla durata di runtime. Per ulteriori informazioni sulle VM spot TPU, consulta Gestire le VM spot TPU.

 Spot è una buona soluzione per la pianificazione di carichi di lavoro a priorità inferiore, come il pre-addestramento dei modelli, il perfezionamento dei modelli e i job di simulazione che tollerano interruzioni della disponibilità. Tutte le versioni di TPU

Scegliere una modalità di capacità TPU

Per impostazione predefinita, la capacità TPU opera su un'infrastruttura gestita da Google. Se hai una prenotazione, puoi scegliere di utilizzare la modalità All Capacity per TPU v6e (Trillium) e TPU7x (Ironwood). La modalità All Capacity ti consente di accedere al 100% della capacità riservata e offre una visibilità completa della topologia. Tuttavia, sei responsabile della gestione della manutenzione hardware e del ripristino in caso di guasto.

Per un confronto dettagliato tra l'infrastruttura predefinita gestita da Google e la modalità All Capacity, consulta Modalità di capacità TPU.

Scegli la versione TPU

Seleziona la versione della TPU, ad esempio v5p, v6e o TPU7x (Ironwood), in base alle esigenze di addestramento o inferenza del modello. Per saperne di più, consulta Versioni TPU.

Richiedere una quota di TPU

Per utilizzare le VM TPU, indipendentemente dall'opzione di consumo, devi disporre di una quota on demand o prerilasciabile per le risorse Cloud TPU. Assicurati di avere una quota sufficiente per l'opzione, la versione della TPU, le dimensioni e la zona che hai scelto. Le quote sono specifiche per ogni versione della TPU e variano per l'utilizzo on demand rispetto a quello preemptive. Alcune versioni di TPU hanno quote predefinite, mentre per altre devi richiedere una quota. Per saperne di più, consulta la pagina Quote di Compute Engine.

Passaggi successivi