Pianificare le risorse Cloud TPU

Questa pagina descrive come pianificare l'utilizzo delle Tensor Processing Unit (TPU).

Scegli un'opzione di consumo

Le opzioni di consumo si riferiscono ai modi per ottenere e utilizzare le risorse di calcolo. Puoi richiedere la capacità delle VM Cloud TPU in base alle tue esigenze di velocità, durata, costi e tolleranza al preempt. Le opzioni includono:

  • On demand:istanze standard con pagamento a consumo.
  • VM spot: istanze preemptible a costi inferiori. Utilizza la quota preemptible.
  • VM con inizio flessibile:prenota la capacità in base alle esigenze, fino a 7 giorni, senza prenotazioni a lungo termine o gestione complessa delle quote.
  • Prenotazioni: riserva capacità per una durata specifica (fino a 90 giorni o più di 1 anno), garantendo la disponibilità. Utilizza la quota on demand.

Per le TPU v6e e le generazioni successive, puoi anche utilizzare GKE con TPU Cluster Director. Questa funzionalità è disponibile tramite una prenotazione in modalità All Capacity. Fornisce l'accesso completo alla capacità riservata e la visibilità completa sul layout hardware, sull'utilizzo e sull'integrità della TPU. Per saperne di più, consulta la Panoramica della modalità Tutta la capacità.

La seguente tabella confronta le opzioni di consumo di TPU in base al loro funzionamento, ai casi d'uso ideali, alle versioni e alle zone di TPU supportate e ai tipi di quota richiesti.

Opzione di consumo Come funziona Ideale per Versioni e zone di TPU supportate Tipo di quota per l'API Cloud TPU
Prenotazioni future per un anno o più

Richiedi le risorse TPU con un anno o più di anticipo. Queste risorse sono riservate al tuo uso esclusivo durante questo periodo.

Le prenotazioni offrono il massimo livello di garanzia per la capacità e un prezzo inferiore rispetto alle risorse on demand.

Le prenotazioni future di TPU includono uno sconto per impegno di utilizzo (CUD). I CUD offrono prezzi scontati quando acquisti un contratto per impegno di utilizzo. Per saperne di più, consulta Prenotazioni future per un anno o più.

 Le prenotazioni future per un anno o più sono ideali per i job di addestramento e i workload di inferenza di lunga durata. Tutte le versioni TPU: consulta Regioni e zone TPU Quota on demand
Prenotazioni future fino a 90 giorni (modalità calendario) (anteprima)

Richiedi risorse TPU per un orario di inizio e una durata specifici, compresi tra 1 e 90 giorni. Queste risorse sono riservate al tuo uso esclusivo durante questo periodo. Per saperne di più, vedi Prenotazioni future per un massimo di 90 giorni (in modalità calendario).

Le prenotazioni offrono il massimo livello di garanzia per la capacità e un prezzo inferiore rispetto alle risorse on demand.

 Le prenotazioni future in modalità calendario sono adatte ai workload di addestramento e sperimentazione che richiedono orari di inizio precisi e hanno una durata definita.

TPU7x (Ironwood) (anteprima) per l'addestramento e la pubblicazione: us-central1-c

v6e (Trillium) per l'addestramento e la pubblicazione: asia-northeast1-b, us-east5-a

v5p per l'addestramento e la pubblicazione: us-east5-a

v5e per l'addestramento: us-west4-a

v5e per la pubblicazione: us-central1-a

 Nessuna quota richiesta
On demand

Richiedi risorse TPU per l'uso immediato, per tutto il tempo necessario.

On demand offre una flessibilità significativa. Le risorse on demand non vengono interrotte, ma non è garantito che siano disponibili risorse TPU sufficienti per soddisfare la tua richiesta. On demand è l'opzione predefinita quando crei risorse TPU. Per saperne di più sulla creazione e sull'utilizzo di TPU on demand, consulta Crea VM TPU.

 On demand è una buona soluzione per i job urgenti e i carichi di lavoro che richiedono un orario di fine flessibile. Tutte le versioni TPU: consulta Regioni e zone TPU Quota on demand
Avvio flessibile (anteprima)

Richiedi risorse TPU per un periodo di tempo specifico, fino a sette giorni, senza prenotare la capacità in anticipo.

Le VM TPU Flex-start vengono fornite da un pool dedicato di capacità, quindi la disponibilità di queste risorse è superiore a quella on demand. Per saperne di più, consulta Richiedere VM TPU Flex-start.

Per saperne di più sull'utilizzo delle VM TPU con avvio flessibile con Google Kubernetes Engine (GKE), consulta Informazioni sul provisioning di GPU e TPU con la modalità di provisioning con avvio flessibile.

 L'opzione di avvio flessibile è ideale per la sperimentazione, i test su piccola scala, il provisioning dinamico delle TPU per i carichi di lavoro di inferenza, l'ottimizzazione dei modelli e le esecuzioni di carichi di lavoro che richiedono meno di sette giorni.

TPU7x (Ironwood) (anteprima): us-central1-c (solo con GKE)

v6e (Trillium): asia-northeast1-b, us-east5-a

v5p: us-east5-a

v5e: us-west4-a

 Quota prerilasciabile
Spot

Richiedi risorse TPU che possono essere prerilasciate.

Le VM spot sono disponibili a un prezzo notevolmente inferiore rispetto alle risorse on demand. Le VM spot sono spesso più facili da ottenere rispetto alle risorse on demand, ma possono essere prerilasciate (spente) in qualsiasi momento. Non esiste un limite alla durata di esecuzione. Per ulteriori informazioni sulle VM spot TPU, consulta Gestire le VM spot TPU.

 Spot è una buona soluzione per la pianificazione di carichi di lavoro a priorità inferiore, come il pre-addestramento dei modelli, l'ottimizzazione dei modelli e i job di simulazione che tollerano interruzioni della disponibilità. Tutte le versioni TPU: consulta Regioni e zone TPU Quota prerilasciabile

Richiedi quota TPU

Per utilizzare le VM TPU, indipendentemente dall'opzione di consumo, devi disporre di una quota on demand o prerilasciabile per i core o i chip Cloud TPU. Assicurati di avere una quota sufficiente per l'opzione, la versione TPU, le dimensioni e la zona che hai scelto. Le quote sono specifiche per ogni versione della TPU e variano per l'utilizzo on demand rispetto a quello prerilasciabile. Alcune versioni di TPU hanno quote predefinite, mentre per altre devi richiedere una quota. Per maggiori informazioni, consulta la sezione Quote di Cloud TPU.

Se utilizzi le TPU con Google Kubernetes Engine (GKE), hai bisogno della quota dell'API Compute Engine anziché della quota API TPU standard. Per maggiori informazioni sulle quote TPU in GKE, consulta Assicurati di avere una quota TPU.

Scegli la versione TPU

Seleziona la versione della TPU, ad esempio v5e, v5p, v6e o TPU7x (Ironwood), in base alle esigenze di addestramento o inferenza del modello. Per saperne di più, consulta Versioni TPU.

Passaggi successivi