Risorse Cloud TPU in Compute Engine

Puoi creare e gestire le Tensor Processing Unit (TPU) utilizzando le risorse di Compute Engine. Questa pagina fornisce una panoramica concettuale dell'utilizzo delle TPU con Compute Engine. Mappa i concetti di TPU alle risorse Compute Engine e delinea i flussi di lavoro di alto livello per la creazione di risorse TPU.

Concetti principali di TPU

Per gestire le risorse TPU in Compute Engine, è utile comprendere questi concetti principali relativi alle TPU:

  • VM TPU: una macchina virtuale che si connette direttamente all'hardware TPU.
  • Sezione TPU: un gruppo logico di chip TPU interconnessi, a cui si accede tramite una o più VM TPU. Gli slice hanno uno dei seguenti ambiti:
    • Slice a un solo host: uno slice costituito da una sola macchina host. In generale, questa operazione viene mappata a una VM TPU.
    • Slice multi-host: una slice costituita da più VM TPU interconnesse tramite un'interconnessione inter-chip (ICI) ad alta velocità.

    Mappa concettuale di TPU e Compute Engine

    La tabella seguente descrive come i concetti di TPU vengono mappati alle risorse di Compute Engine:

    Concetto di Cloud TPU Risorsa Compute Engine Dettagli risorsa Caso d'uso
    VM TPU Istanza VM Una VM di Compute Engine che fornisce l'accesso diretto all'hardware TPU. Attività della singola VM, esecuzione di comandi SSH o debug
    Sezione TPU single-host Istanza VM o MIG con una singola VM Una configurazione costituita da una macchina host fisica. Inferenza con scalabilità automatica
    Slice TPU multi-host MIG con topologia dell'acceleratore specificata nella policy del workload Un gruppo di VM TPU interconnesse tramite ICI, gestite come una singola unità logica. Addestramento distribuito su larga scala che richiede il provisioning atomico

    Eseguire la migrazione dall'API Cloud TPU

    L'API Cloud TPU, inclusi Google Cloud CLI e le librerie client di Cloud per Cloud TPU, non è più in fase di sviluppo attivo. L'API Cloud TPU riceverà solo correzioni di bug e aggiornamenti della sicurezza. Le nuove generazioni di hardware, a partire da TPU7x (Ironwood), sono supportate solo tramite Compute Engine o Google Kubernetes Engine (GKE). Per le funzionalità più recenti e il supporto delle versioni più recenti di TPU, esegui la migrazione sostituendo le chiamate API Cloud TPU legacy con i relativi equivalenti in Compute Engine o GKE.

    A seconda dei requisiti di orchestrazione e workload, scegli uno dei seguenti percorsi:

    • Compute Engine: consigliato agli utenti che richiedono il controllo diretto a livello di VM o immagini personalizzate del sistema operativo. Per iniziare a eseguire il provisioning delle TPU in Compute Engine, consulta Guida rapida: crea una VM TPU.
    • GKE: consigliato per carichi di lavoro containerizzati, scalabilità automatica e orchestrazione su larga scala. Per maggiori informazioni sull'utilizzo delle TPU con GKE, consulta la sezione Informazioni sulle TPU in GKE.

    Risorse TPU esistenti

    Le risorse TPU create utilizzando l'API Cloud TPU (oggetti REST Node o QueuedResource) non sono compatibili con Compute Engine e GKE. Per iniziare a utilizzare Compute Engine o GKE:

    • Riscrivi tutti gli script che utilizzano l'API Cloud TPU in modo che utilizzino le API Compute Engine o GKE.
    • Elimina le risorse utilizzando l'API Cloud TPU e ricreale utilizzando le API Compute Engine o GKE.

    Limitazioni

    Le TPU in Compute Engine presentano le seguenti limitazioni:

    • Versioni di TPU: Compute Engine supporta v5p, v6e e TPU7x.
    • Modalità Capacità: la modalità Tutta la capacità per le TPU non è disponibile con Compute Engine.
    • Multislice: la creazione di gruppi di sezioni TPU multi-host interconnesse non è disponibile con Compute Engine. Per utilizzare Multislice, devi utilizzare Google Kubernetes Engine (GKE). Per maggiori informazioni, consulta Esegui il deployment di TPU Multislices in GKE.
    • Raccolte: la pianificazione della raccolta non è disponibile con Compute Engine. Per utilizzare la pianificazione della raccolta, devi utilizzare GKE. Per saperne di più, consulta la sezione Pianificazione della raccolta nella documentazione di GKE.

    Passaggi successivi