Pianificare le risorse Cloud TPU

Questa pagina descrive come pianificare l'utilizzo delle TPU (Tensor Processing Unit).

Scegli un'opzione di consumo

Le opzioni di consumo si riferiscono ai modi per ottenere e utilizzare le risorse di calcolo. Puoi richiedere la capacità delle VM Cloud TPU in base alle tue esigenze di velocità, durata, costo e tolleranza di prerilascio. Le opzioni includono:

  • On demand: istanze standard con pagamento a consumo.
  • VM spot: istanze prerilasciabili a costo inferiore. Utilizza la quota prerilasciabile.
  • VM con avvio flessibile: riserva la capacità in base alle esigenze, per un massimo di 7 giorni, senza prenotazioni a lungo termine o gestione complessa delle quote.
  • Prenotazioni: riserva la capacità per una durata specifica (fino a 90 giorni o più di 1 anno), garantendo la disponibilità. Utilizza la quota on demand.

Per TPU v6e e generazioni successive, puoi anche utilizzare GKE con TPU Cluster Director. Questa funzionalità è disponibile tramite una prenotazione in modalità All Capacity. Fornisce l'accesso completo alla capacità riservata e la visibilità completa del layout hardware, dell'utilizzo e dell'integrità della TPU. Per saperne di più, consulta la panoramica della modalità All Capacity.

La tabella seguente confronta le opzioni di consumo delle TPU in base al loro funzionamento, ai casi d'uso ideali, alle versioni e alle zone delle TPU supportate e ai tipi di quota richiesti.

Opzione di consumo Come funziona Ideale per Versioni e zone delle TPU supportate Tipo di quota per l'API Cloud TPU
Prenotazioni future per un anno o più

Richiedi le risorse TPU con un anno o più di anticipo. Queste risorse sono riservate per il tuo utilizzo esclusivo durante questo periodo.

Le prenotazioni offrono il massimo livello di garanzia per la capacità e offrono un prezzo inferiore rispetto alle risorse on demand.

Le prenotazioni future delle TPU includono uno sconto per impegno di utilizzo (CUD) I CUD forniscono prezzi scontati quando acquisti un contratto basato sull'impegno di utilizzo. Per saperne di più, vedi Prenotazioni future per un anno o più

 Le prenotazioni future per un anno o più sono ideali per i job di addestramento a lunga esecuzione e i workload di inferenza. Tutte le versioni di TPU: vedi Regioni e zone delle TPU Quota on demand
Prenotazioni future per un massimo di 90 giorni (modalità calendario)

Richiedi le risorse TPU per un'ora di inizio e una durata specifiche, tra 1 e 90 giorni. Queste risorse sono riservate per il tuo utilizzo esclusivo durante questo periodo. Per saperne di più, vedi Prenotazioni future per un massimo di 90 giorni (in modalità calendario)

Le prenotazioni offrono il massimo livello di garanzia per la capacità e offrono un prezzo inferiore rispetto alle risorse on demand.

 Le prenotazioni future in modalità calendario sono adatte ai workload di addestramento e sperimentazione che richiedono orari di inizio precisi e hanno una durata definita.

TPU7x (Ironwood) per l'addestramento e il serving: us-central1-c

v6e (Trillium) per l'addestramento e il serving: asia-northeast1-b, us-east5-a

v5p per l'addestramento e il serving: us-east5-a

v5e per l'addestramento: us-west4-a

v5e per il serving: us-central1-a

 Nessuna quota richiesta
On demand

Richiedi le risorse TPU per l'utilizzo immediato, per tutto il tempo necessario.

L'opzione on demand offre una flessibilità significativa. Le risorse on demand non vengono prerilasciate, ma non è garantito che siano disponibili risorse TPU sufficienti per soddisfare la tua richiesta. L'opzione on demand è quella predefinita quando crei risorse TPU. Per saperne di più sulla creazione e sull'utilizzo delle TPU on demand, vedi Creare VM TPU.

 L'opzione on demand è adatta per i job urgenti e i workload che richiedono un 'ora di fine flessibile. Tutte le versioni di TPU: vedi Regioni e zone delle TPU Quota on demand
Avvio flessibile (anteprima)

Richiedi le risorse TPU per un periodo di tempo specifico, fino a sette giorni, senza riservare la capacità in anticipo.

Le VM con avvio flessibile TPU vengono fornite da un pool di capacità dedicato, quindi la disponibilità di queste risorse è superiore a quella on demand. Per saperne di più, vedi Richiedere VM con avvio flessibile TPU.

Per saperne di più sull'utilizzo delle VM con avvio flessibile TPU con Google Kubernetes Engine (GKE), vedi Informazioni sul provisioning di GPU e TPU con la modalità di provisioning con avvio flessibile.

 L'avvio flessibile è ideale per la sperimentazione, i test su piccola scala, provisioning dinamico delle TPU per i workload di inferenza, l'ottimizzazione dei modelli e le esecuzioni di workload che richiedono meno di sette giorni.

TPU7x (Ironwood): us-central1-c (solo con GKE)

v6e (Trillium): asia-northeast1-b, us-east5-a

v5p: us-east5-a

v5e: us-west4-a

 Quota prerilasciabile
Spot

Richiedi le risorse TPU che possono essere prerilasciate.

Le VM spot sono disponibili a un prezzo notevolmente inferiore rispetto alle risorse on demand. Le VM spot sono spesso più facili da ottenere rispetto alle risorse on demand, ma possono essere prerilasciate (arrestate) in qualsiasi momento. Non esiste un limite alla durata del runtime. Per saperne di più sulle VM spot TPU, vedi Gestire le VM spot TPU.

 L'opzione spot è adatta per la pianificazione di workload a priorità inferiore, come il pre-addestramento dei modelli, l'ottimizzazione dei modelli e i job di simulazione che tollerano le interruzioni di disponibilità. Tutte le versioni di TPU: vedi Regioni e zone delle TPU Quota prerilasciabile

Richiedere la quota TPU

Per utilizzare le VM TPU, indipendentemente dall'opzione di consumo, devi disporre della quota on demand o prerilasciabile per i core o i chip Cloud TPU. Assicurati di avere una quota sufficiente per l'opzione, la versione, le dimensioni e la zona TPU scelte. Le quote sono specifiche per ogni versione di TPU e differiscono per l'utilizzo on demand rispetto a quello prerilasciabile. Alcune versioni di TPU hanno quote predefinite, mentre per altre devi richiedere la quota. Per saperne di più, vedi Quote di Cloud TPU.

Se utilizzi TPU con Google Kubernetes Engine (GKE), devi disporre della quota dell'API Compute Engine anziché della quota dell'API TPU standard. Per saperne di più sulle quote TPU in GKE, vedi Assicurarsi di disporre della quota TPU.

Scegliere la versione di TPU

Seleziona la versione di TPU, ad esempio v5e, v5p, v6e o TPU7x (Ironwood), in base alle esigenze di addestramento o inferenza del modello. Per saperne di più, vedi Versioni di TPU.

Passaggi successivi