Modalità di capacità TPU

Le TPU offrono due modalità di capacità: modalità di capacità gestita e modalità di capacità totale. Ogni modalità definisce come vengono gestiti la manutenzione hardware e gli errori host, nonché il livello di visibilità e controllo sulla topologia hardware della TPU.

Panoramica delle modalità di capacità TPU

La seguente tabella riassume le principali differenze tra la modalità Capacità gestita e la modalità Tutta la capacità:

Modalità di capacità gestita Modalità Tutta la capacità
Accesso alla capacità Google gestisce l'allocazione della capacità e il recupero degli host nell'infrastruttura disponibile. Il 100% della capacità riservata è accessibile per i workload. Sei responsabile della gestione della capacità di riserva per il ripristino in caso di errore. Puoi scegliere come target blocchi o sottoblocchi specifici per un posizionamento del workload preciso e consapevole della topologia.
Visibilità della topologia hardware Compute Engine astrae la topologia fisica. Visibilità completa della topologia e dell'utilizzo di cluster, blocchi, blocchi secondari e host.
Recupero degli errori Compute Engine rileva automaticamente gli slice TPU difettosi e li riavvia su hardware integro. Google rileva e ripara automaticamente l'hardware difettoso. Sei responsabile del monitoraggio dell'integrità degli slice TPU e della riprogrammazione degli slice non integri sull'hardware di riserva integro che hai riservato.
Controllo della manutenzione Compute Engine pianifica e gestisce gli eventi di manutenzione. Se vuoi, puoi avviare la manutenzione prima dell'ora pianificata. Puoi controllare in modo granulare la pianificazione e l'avvio della manutenzione a livello di prenotazione, blocco o blocco secondario.
Versioni TPU supportate Tutte le versioni di TPU. TPU v6e (Trillium) e TPU7x (Ironwood)
Opzioni di consumo supportate Tutte le opzioni di consumo. Devi avere una prenotazione futura con una dimensione minima della capacità per un anno o più. Le prenotazioni future in modalità calendario non sono supportate. Contatta il team dedicato al tuo account Google Cloud per i dettagli e per richiedere una prenotazione in modalità All Capacity.

Modalità di capacità gestita

Per impostazione predefinita, la capacità TPU funziona in modalità di capacità gestita. In questa modalità, Compute Engine rileva automaticamente i guasti hardware e sostituisce le istanze TPU interessate per garantire che i carichi di lavoro possano essere riavviati su hardware integro.

La modalità con capacità gestita ha le seguenti caratteristiche:

  • Recupero automatico delle istanze: per le opzioni di consumo on demand, avvio flessibile e di prenotazione, Compute Engine rileva automaticamente i guasti hardware e sostituisce le istanze TPU interessate.
  • Gestione semplificata: non è richiesto alcun intervento manuale per le operazioni di manutenzione o riparazione dell'host.

Modalità Tutta la capacità

La modalità Capacità è progettata per offrirti il controllo diretto e basato sulla prenotazione delle tue risorse TPU. Nella modalità Tutta la capacità, hai accesso al 100% della capacità riservata. Sei responsabile della gestione del recupero dello slice TPU utilizzando una capacità di riserva sufficiente e integra e della pianificazione degli eventi di manutenzione.

Tutte le modalità di capacità hanno le seguenti funzionalità:

  • Allocazione della capacità completa: accedi a tutta la capacità prenotata senza limitazioni, inclusa la capacità di riserva allocata per il recupero in caso di errore o l'utilizzo di picchi di workload.
  • Posizionamento consapevole della topologia: ottieni visibilità completa della topologia di cluster, blocchi, sottoblocchi e host per ottimizzare il posizionamento dei carichi di lavoro.
  • Controllo di manutenzione avanzato: pianifica e attiva gli eventi di manutenzione a livello di prenotazione, blocco o blocco secondario.
  • Segnala e ripara: segnala l'hardware con un rendimento scarso per la riparazione.

Contatta il team dedicato al tuo Google Cloud account per richiedere una prenotazione in modalità All Capacity. Per saperne di più, consulta la panoramica della modalità Tutta la capacità.

Passaggi successivi