Pianificare le risorse Cloud TPU

Questa pagina descrive come pianificare l'utilizzo delle TPU (Tensor Processing Unit).

Scegli un'opzione di consumo

Le opzioni di consumo si riferiscono ai modi per ottenere e utilizzare le risorse di calcolo. Puoi richiedere la capacità delle VM Cloud TPU in base alle tue esigenze di velocità, durata, costo e tolleranza di prerilascio. Le opzioni includono:

  • On demand:istanze standard con pagamento a consumo.
  • VM spot:istanze prerilasciabili a costo inferiore. Utilizza la quota prerilasciabile.
  • VM con avvio flessibile:prenota la capacità in base alle esigenze, per un massimo di 7 giorni, senza prenotazioni a lungo termine o gestione complessa delle quote.
  • Prenotazioni:prenota la capacità per una durata specifica (fino a 90 giorni o 1 anno e oltre), garantendo la disponibilità. Utilizza la quota on demand.

La tabella seguente confronta le opzioni di consumo delle TPU in base al loro funzionamento, ai casi d'uso ideali e alle versioni e zone TPU supportate.

Opzione di consumo Come funziona Ideale per Versioni e zone TPU supportate
Prenotazioni future per un anno o più

Richiedi le risorse TPU con un anno o più di anticipo. Queste risorse sono riservate al tuo uso esclusivo durante questo periodo.

Le prenotazioni offrono il massimo livello di garanzia per la capacità e offrono un prezzo inferiore rispetto alle risorse on demand.

Le prenotazioni future delle TPU includono uno sconto per impegno di utilizzo (CUD) I CUD offrono prezzi scontati quando acquisti un contratto basato sull'impegno di utilizzo. Per saperne di più, vedi Prenotazioni future per un anno o più

 Le prenotazioni future per un anno o più sono ideali per i job di addestramento a lunga esecuzione e i carichi di lavoro di inferenza. Tutte le versioni TPU: vedi Regioni e zone TPU
Prenotazioni future per un massimo di 90 giorni (modalità calendario)

Richiedi le risorse TPU per un'ora di inizio e una durata specifiche, tra 1 e 90 giorni. Queste risorse sono riservate al tuo uso esclusivo durante questo periodo. Per saperne di più, vedi Prenotazioni future per un massimo di 90 giorni (in modalità calendario)

Le prenotazioni offrono il massimo livello di garanzia per la capacità e offrono un prezzo inferiore rispetto alle risorse on demand.

 Le prenotazioni future in modalità calendario sono adatte ai carichi di lavoro di addestramento e sperimentazione che richiedono orari di inizio precisi e hanno una durata definita.

TPU7x (Ironwood) per l'addestramento e il deployment: us-central1-c

v6e (Trillium) per l'addestramento e il deployment: asia-northeast1-b, us-east5-a

v5p per l'addestramento e il deployment: us-east5-a
On demand

Richiedi le risorse TPU per l'utilizzo immediato, per tutto il tempo necessario.

L'opzione on demand offre una flessibilità significativa. Le risorse on demand non vengono prerilasciate, ma non è garantito che siano disponibili risorse TPU sufficienti per soddisfare la tua richiesta. L'opzione on demand è quella predefinita quando crei risorse TPU. Per saperne di più sulla creazione e sull'utilizzo delle TPU on demand, vedi Creare VM TPU.

 L'opzione on demand è adatta per i job urgenti e i carichi di lavoro che richiedono un orario di fine flessibile. Tutte le versioni TPU: vedi Regioni e zone TPU
Avvio flessibile (anteprima)

Richiedi le risorse TPU per un periodo di tempo specifico, fino a sette giorni, senza prenotare la capacità in anticipo.

Le VM TPU con avvio flessibile vengono fornite da un pool di capacità dedicato, pertanto la disponibilità di queste risorse è superiore a quella on demand. Per saperne di più, vedi Richiedere VM TPU con avvio flessibile.

Per saperne di più sull'utilizzo delle VM TPU con avvio flessibile con Google Kubernetes Engine (GKE), vedi Informazioni sul provisioning di GPU e TPU con la modalità di provisioning con avvio flessibile.

 L'opzione di avvio flessibile è ideale per la sperimentazione, i test su piccola scala, provisioning dinamico delle TPU per i carichi di lavoro di inferenza, l'ottimizzazione dei modelli e le esecuzioni dei carichi di lavoro che richiedono meno di sette giorni.

TPU7x (Ironwood): us-central1-c (solo con GKE)

v6e (Trillium): asia-northeast1-b, us-east5-a

v5p: us-east5-a
Spot

Richiedi risorse TPU che possono essere prerilasciate.

Le VM spot sono disponibili a un prezzo notevolmente inferiore rispetto alle risorse on demand. Le VM spot sono spesso più facili da ottenere rispetto alle risorse on demand, ma possono essere prerilasciate (arrestate) in qualsiasi momento. Non esiste un limite alla durata del runtime. Per saperne di più sulle VM spot TPU, vedi Gestire le VM spot TPU.

 L'opzione spot è adatta per la pianificazione di carichi di lavoro a bassa priorità, come il pre-addestramento dei modelli, l'ottimizzazione dei modelli e i job di simulazione che tollerano le interruzioni di disponibilità. Tutte le versioni TPU: vedi Regioni e zone TPU

Scegliere la versione TPU

Seleziona la versione TPU, ad esempio v5p, v6e o TPU7x (Ironwood), in base alle esigenze di addestramento o inferenza del modello. Per saperne di più, vedi Versioni TPU.

Richiedere la quota TPU

Per utilizzare le VM TPU, indipendentemente dall'opzione di consumo, devi disporre della quota on demand o prerilasciabile per le risorse Cloud TPU. Assicurati di avere una quota sufficiente per l'opzione, la versione TPU, le dimensioni e la zona scelte. Le quote sono specifiche per ogni versione TPU e differiscono per l'utilizzo on demand rispetto a quello prerilasciabile. Alcune versioni TPU hanno quote predefinite, mentre per altre devi richiedere la quota. Per saperne di più, vedi Quote di Compute Engine.

Passaggi successivi