Creare un'istanza VM Cloud TPU utilizzando Compute Engine
Questo documento mostra come creare una singola VM TPU con il comando gcloud compute instances create di Compute Engine. Puoi anche creare un'istanza VM TPU
specificando un template di istanza. Per saperne di più, vedi Crea una VM da un template di istanza.
Prerequisiti
Completa i seguenti prerequisiti:
Crea un Google Cloud progetto per le TPU come descritto in Configurare un Google Cloud progetto per le TPU.
Determina i requisiti della TPU come descritto in Pianificare le risorse Cloud TPU.
Creare un'istanza VM TPU
I parametri che utilizzi per creare un'istanza VM TPU dipendono dall'opzione di consumo che stai utilizzando: on demand, Spot, vincolata alla prenotazione o avvio flessibile. Per saperne di più, consulta Pianificare le risorse TPU .
Creare un'istanza VM TPU on demand
Per creare un'istanza VM TPU on demand, utilizza il
gcloud compute instances create comando:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--maintenance-policy=TERMINATE
Sostituisci i seguenti segnaposto:
- TPU_NAME: un nome per la VM TPU.
- MACHINE_TYPE: il tipo di macchina
per la VM TPU (ad esempio
ct6e-standard-8t). - IMAGE_FAMILY: la famiglia di immagini del sistema operativo
per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il
--imageflag. Per saperne di più sulle immagini del sistema operativo, vedi Immagini del sistema operativo. - IMAGE_PROJECT: il progetto che contiene l'immagine del sistema operativo.
Per le immagini TPU, questo è
ubuntu-os-accelerator-images. - ZONE: la zona
per la VM TPU (ad esempio
us-central1-b).
Creare un'istanza VM spot TPU
Per creare un'istanza VM spot TPU, utilizza il
gcloud compute instances create comando
con il --provisioning-model=SPOT flag:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=SPOT \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
Sostituisci i seguenti segnaposto:
- TPU_NAME: un nome per la VM TPU.
- MACHINE_TYPE: il tipo di macchina
per la VM TPU (ad esempio
ct6e-standard-8t). - IMAGE_FAMILY: la famiglia di immagini del sistema operativo
per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il
--imageflag. Per saperne di più sulle immagini del sistema operativo, vedi Immagini del sistema operativo. - IMAGE_PROJECT: il progetto che contiene l'immagine del sistema operativo.
Per le immagini TPU, questo è
ubuntu-os-accelerator-images. - ZONE: la zona
per la VM TPU (ad esempio
us-central1-b).
Creare un'istanza VM TPU utilizzando una prenotazione
Per creare un'istanza VM TPU utilizzando l'opzione di consumo vincolata alla prenotazione,
utilizza il
gcloud compute instances create comando
con i flag --reservation-affinity=specific e --reservation:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=reservation-bound \
--reservation-affinity=specific \
--reservation=RESERVATION_NAME \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
Sostituisci i seguenti segnaposto:
- TPU_NAME: un nome per la VM TPU.
- MACHINE_TYPE: il tipo di macchina
per la VM TPU (ad esempio
ct6e-standard-8t). - IMAGE_FAMILY: la famiglia di immagini del sistema operativo
per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il
--imageflag. Per saperne di più sulle immagini del sistema operativo, vedi Immagini del sistema operativo. - IMAGE_PROJECT: il progetto che contiene l'immagine del sistema operativo.
Per le immagini TPU, questo è
ubuntu-os-accelerator-images. - ZONE: la zona
per la VM TPU (ad esempio
us-central1-b). - RESERVATION_NAME: il nome della prenotazione.
Creare una VM TPU con avvio flessibile
Per creare un'istanza VM TPU con avvio flessibile, utilizza il
gcloud compute instances create comando
con il --provisioning-model=FLEX_START flag:
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=FLEX_START \
--max-run-duration=MAX_RUN_DURATION \
--request-valid-for-duration=VALID_DURATION \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
Sostituisci i seguenti segnaposto:
- TPU_NAME: un nome per la VM TPU.
- MACHINE_TYPE: il tipo di macchina
per la VM TPU (ad esempio
ct6e-standard-8t). - IMAGE_FAMILY: la famiglia di immagini del sistema operativo
per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il
--imageflag. Per saperne di più sulle immagini del sistema operativo, vedi Immagini del sistema operativo. - IMAGE_PROJECT: il progetto che contiene l'immagine del sistema operativo.
Per le immagini TPU, questo è
ubuntu-os-accelerator-images. - ZONE: la zona
per la VM TPU (ad esempio
us-central1-b). - MAX_RUN_DURATION: la durata massima di esecuzione per la VM TPU (ad esempio
6h). - VALID_DURATION: la durata massima per cui la richiesta è valida.
Per saperne di più sulla creazione di istanze Compute Engine, consulta Crea e avvia un'istanza Compute Engine.
Passaggi successivi
- Scopri come creare un MIG con slice Cloud TPU a host singolo.
- Scopri come creare un MIG con una slice Cloud TPU multi-host.
- Scopri come gestire le VM TPU.
- Scopri di più sulle TPU in GKE.
- Scopri come eseguire un carico di lavoro di ML sulle TPU, ad esempio, pubblicare Qwen2-72B-Instruct con vLLM sulle TPU.