Risorse Cloud TPU in Compute Engine

Puoi creare e gestire le TPU utilizzando le risorse Compute Engine. Questa pagina fornisce una panoramica concettuale dell'utilizzo delle TPU con Compute Engine. Mappa i concetti di Cloud TPU alle risorse Compute Engine e delinea la procedura per eseguire la migrazione a Compute Engine.

Concetti principali di Cloud TPU

Per gestire le risorse TPU in Compute Engine, è utile comprendere questi concetti principali relativi alle TPU:

  • VM TPU: una macchina virtuale che si connette direttamente all'hardware TPU. Una singola VM TPU è uguale a una slice a host singolo.
  • Sezione TPU: un gruppo logico di chip TPU interconnessi, a cui si accede tramite una o più VM TPU. Nell'API TPU, una singola sezione TPU è rappresentata da un oggetto REST Node o QueuedResource. Gli slice hanno uno dei seguenti ambiti:
    • Slice a un solo host: uno slice costituito da una sola macchina host. Sezione single-host è un altro modo per fare riferimento a una singola VM TPU.
    • Slice multi-host: una slice costituita da più VM TPU interconnesse tramite un'interconnessione inter-chip (ICI) ad alta velocità.
Non utilizzi i seguenti oggetti API Cloud TPU quando gestisci le risorse TPU in Compute Engine, ma forniscono un contesto utile se hai familiarità con l'API Cloud TPU precedente:

  • Node: un oggetto REST della precedente API Cloud TPU che rappresenta una singola fetta di TPU. In Compute Engine, questo corrisponde a un'istanza VM o a un gruppo di istanze gestite (MIG).
  • QueuedResource: Un oggetto REST della precedente API Cloud TPU che rappresenta una o più sezioni TPU. Le risorse in coda vengono utilizzate per richiedere e gestire la capacità TPU tramite una coda. In Compute Engine, le VM flessibili forniscono funzionalità simili.

Mappa concettuale di TPU e Compute Engine

La tabella seguente descrive come i concetti di TPU vengono mappati alle risorse di Compute Engine:

Concetto di Cloud TPU Risorsa Compute Engine Dettagli risorsa Caso d'uso
VM TPU Istanza VM Una VM di Compute Engine che fornisce l'accesso diretto all'hardware TPU. Attività della singola VM, esecuzione di comandi SSH o debug
Sezione TPU a host singolo o secondario Istanza VM o MIG con una singola VM Una configurazione costituita da una macchina host fisica. Inferenza con scalabilità automatica
Slice TPU multi-host MIG con topologia dell'acceleratore specificata nella policy del workload Un gruppo di VM TPU interconnesse tramite ICI, gestite come una singola unità logica. Addestramento distribuito su larga scala che richiede il provisioning atomico

Eseguire la migrazione dall'API Cloud TPU

L'API Cloud TPU non è più in fase di sviluppo attivo. Sono inclusi Google Cloud CLI per l'API Cloud TPU e le librerie client di Cloud per l'API Cloud TPU. L'API Cloud TPU riceverà solo correzioni di bug e aggiornamenti di sicurezza. Le nuove generazioni di hardware, a partire da TPU7x (Ironwood), sono supportate solo tramite Compute Engine o Google Kubernetes Engine (GKE). Per le funzionalità più recenti e il supporto delle versioni TPU più recenti, esegui la migrazione sostituendo le chiamate API Cloud TPU legacy con le relative equivalenti in Compute Engine o GKE.

A seconda dei requisiti di orchestrazione e workload, scegli uno dei seguenti percorsi:

  • Compute Engine: consigliato agli utenti che richiedono il controllo diretto a livello di VM o immagini personalizzate del sistema operativo. Per iniziare a eseguire il provisioning delle TPU in Compute Engine, consulta Guida rapida: crea una VM TPU.
  • GKE: consigliato per carichi di lavoro containerizzati, scalabilità automatica e orchestrazione su larga scala. Per maggiori informazioni sull'utilizzo delle TPU con GKE, consulta la sezione Informazioni sulle TPU in GKE.

Risorse TPU esistenti

Le risorse TPU create utilizzando l'API Cloud TPU (oggetti REST Node o QueuedResource) non sono compatibili con Compute Engine e GKE. Per iniziare a utilizzare Compute Engine o GKE:

  • Riscrivi tutti gli script che utilizzano l'API Cloud TPU in modo che utilizzino le API Compute Engine o GKE.
  • Elimina le risorse utilizzando l'API Cloud TPU e ricreale utilizzando le API Compute Engine o GKE.

Limitazioni

Le TPU in Compute Engine presentano le seguenti limitazioni:

  • Versioni di TPU: Compute Engine supporta v5p, v6e e TPU7x.
  • Modalità Capacità: la modalità Tutta la capacità per le TPU non è disponibile con Compute Engine.
  • Multislice: la creazione di gruppi di sezioni TPU multi-host interconnesse non è disponibile con Compute Engine. Per utilizzare Multislice, devi utilizzare Google Kubernetes Engine (GKE). Per maggiori informazioni, consulta Esegui il deployment di TPU Multislices in GKE.
  • Raccolte: la pianificazione della raccolta non è disponibile con Compute Engine. Per utilizzare la pianificazione della raccolta, devi utilizzare GKE. Per saperne di più, consulta la sezione Pianificazione della raccolta nella documentazione di GKE.

Passaggi successivi