Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Crea VM TPU Flex-start con Compute Engine

Le VM TPU con inizio flessibile, basate su Dynamic Workload Scheduler, offrono un modo flessibile ed economicamente vantaggioso per accedere alle risorse TPU per i workload AI fino a 7 giorni senza prenotazioni a lungo termine. Quando richiedi le VM TPU con inizio flessibile, la richiesta rimane in una coda finché non è disponibile capacità. Una volta eseguito il provisioning, le VM TPU vengono eseguite per la durata specificata.

Le VM TPU con inizio flessibile sono adatte per la sperimentazione rapida, i test su piccola scala, il provisioning dinamico delle TPU per i carichi di lavoro di inferenza, l'ottimizzazione dei modelli e le esecuzioni dei carichi di lavoro che richiedono meno di 7 giorni. Per saperne di più su altre opzioni di consumo delle TPU, consulta Opzioni di consumo delle Cloud TPU.

Puoi eliminare le risorse TPU in qualsiasi momento per interrompere la fatturazione. Per ulteriori informazioni sui prezzi delle TPU, consulta la pagina Prezzi di Cloud TPU.

Limitazioni

Le VM TPU Flex-start presentano le seguenti limitazioni:

Puoi richiedere VM TPU con inizio flessibile per una durata massima di 7 giorni.
Puoi richiedere le seguenti versioni e zone di Cloud TPU:
- TPU7x: us-central1-c
- TPU v6e: asia-northeast1-b, us-east5-a, us-south1-ai1b
- TPU v5p: us-east5-a

I MIG con TPU presentano le seguenti limitazioni:

Operazioni del ciclo di vita: non puoi arrestare, avviare, riprendere o sospendere le istanze TPU. Per modificare le configurazioni che richiedono un riavvio o per interrompere l'addebito dei costi, devi eliminare le istanze.
Distribuzione delle zone del MIG a livello di regione: devi impostare la forma di distribuzione target su ANY_SINGLE_ZONE.
Aggiornamenti della configurazione in un MIG:
- Non puoi aggiornare un MIG che forma uno slice TPU multi-host a causa della topologia dell'acceleratore definita.
- Puoi aggiornare un gruppo di istanze gestite che forma slice TPU a host singolo utilizzando i metodi automatici o selettivi. Tuttavia, gli aggiornamenti per lo slice TPU a singolo host non supportano l'azione di riavvio (RESTART). Se è necessario un riavvio e l'azione più invasiva consentita è la sostituzione (REPLACE), lo strumento di aggiornamento sostituirà l'istanza; in caso contrario, il tentativo di aggiornamento non va a buon fine e viene visualizzato un errore.
Per un MIG che forma una sezione TPU multi-host, si applicano anche le seguenti limitazioni:
- Policy di dimensione target: devi impostare la modalità della policy di dimensione target su BULK. Dopo aver impostato questa modalità, non potrai più modificarla.
- Dimensione target: in modalità in blocco, puoi impostare la dimensione target su 0 o sul numero di istanze necessarie per formare la topologia dell'acceleratore.
- Policy del workload: devi specificare una policy del workload in cui è definita la topologia dell'acceleratore. Una volta impostata la policy del workload, non puoi modificarla o rimuoverla dal MIG.
Funzionalità non supportate: i MIG con TPU non supportano le seguenti funzionalità:
- Flessibilità istanza
- Richieste di ridimensionamento per ottenere le risorse tutte insieme
- Configurazione stateful
- Per un MIG che forma una sezione TPU multi-host, non sono supportati anche:

Prima di iniziare

Prima di richiedere VM TPU Flex-start, devi:

Installa Google Cloud CLI
Crea un progetto Google Cloud
Abilita l'API Compute Engine (compute.googleapis.com)
Assicurati di disporre delle autorizzazioni necessarie:
- roles/compute.instanceAdmin.v1
- roles/iam.serviceAccountUser

Per saperne di più, consulta Configurare un progetto Google Cloud per le TPU.

Assicurati di disporre di una quota prerilasciabile sufficiente per utilizzare le VM TPU Flex-start. Se il tuo workload richiede più core di quelli attualmente allocati, puoi richiedere un aumento della quota. Per i dettagli, consulta Quote di Cloud TPU.

Crea VM TPU con avvio flessibile con i MIG

Per utilizzare le VM TPU Flex-start, crea un gruppo di istanze gestite (MIG) con una configurazione specifica del modello di istanza.

Per istruzioni generali sulla creazione di VM con avvio flessibile, consulta Crea VM con avvio flessibile.

Crea VM TPU con avvio flessibile con una sezione multi-host

Crea un template di istanza

Crea un modello di istanza specificando il modello di provisioning FLEX_START e la durata di esecuzione scelta.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE