Creare un'istanza VM Cloud TPU utilizzando Compute Engine
Questo documento mostra come creare una singola VM TPU con il comando gcloud compute instances create di Compute Engine. Puoi anche creare un'istanza VM TPU
specificando un template di istanza. Per saperne di più, vedi Crea una VM da un template di istanza.
Prerequisiti
Soddisfa i seguenti prerequisiti:
Crea un Google Cloud progetto per le TPU come descritto in Configurare un Google Cloud progetto per le TPU.
Determina i requisiti delle TPU come descritto in Pianificare le risorse Cloud TPU.
Crea un'istanza VM TPU
I parametri che utilizzi per creare un'istanza VM TPU dipendono dall'opzione di consumo che utilizzi: on demand, Spot, vincolata alla prenotazione o avvio flessibile. Per saperne di più, consulta Pianificare le risorse TPU .
Crea un'istanza VM TPU on demand
Per creare un'istanza VM TPU on demand, utilizza il
gcloud compute instances create comando:
gcloud
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--maintenance-policy=TERMINATE
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "TPU_NAME",
"machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"scheduling": {
"onHostMaintenance": "TERMINATE"
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"
Sostituisci i seguenti segnaposto:
- PROJECT_ID: l'ID del tuo Google Cloud progetto.
- TPU_NAME: un nome per la tua VM TPU.
- MACHINE_TYPE: il tipo di macchina
per la VM TPU (ad esempio
ct6e-standard-8t). - IMAGE_FAMILY: la famiglia di immagini del sistema operativo
per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il
--imageflag. Per saperne di più sulle immagini del sistema operativo, vedi Immagini del sistema operativo. - IMAGE_PROJECT: il progetto che contiene l'immagine del sistema operativo.
Per le immagini TPU, questo è
ubuntu-os-accelerator-images. - ZONE: la zona
per la VM TPU (ad esempio
us-central1-b).
Crea un'istanza VM TPU Spot
Per creare un'istanza VM spot TPU, utilizza il
gcloud compute instances create comando
con il --provisioning-model=SPOT flag:
gcloud
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=SPOT \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "TPU_NAME",
"machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"scheduling": {
"onHostMaintenance": "TERMINATE",
"provisioningModel": "SPOT",
"instanceTerminationAction": "DELETE"
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"
Sostituisci i seguenti segnaposto:
- PROJECT_ID: l'ID del tuo Google Cloud progetto.
- TPU_NAME: un nome per la tua VM TPU.
- MACHINE_TYPE: il tipo di macchina
per la VM TPU (ad esempio
ct6e-standard-8t). - IMAGE_FAMILY: la famiglia di immagini del sistema operativo
per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il
--imageflag. Per saperne di più sulle immagini del sistema operativo, vedi Immagini del sistema operativo. - IMAGE_PROJECT: il progetto che contiene l'immagine del sistema operativo.
Per le immagini TPU, questo è
ubuntu-os-accelerator-images. - ZONE: la zona
per la VM TPU (ad esempio
us-central1-b).
Crea un'istanza VM TPU utilizzando una prenotazione
Per creare un'istanza VM TPU utilizzando l'opzione di consumo vincolata alla prenotazione,
utilizza il
gcloud compute instances create comando
con i flag --reservation-affinity=specific e --reservation:
gcloud
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=reservation-bound \
--reservation-affinity=specific \
--reservation=RESERVATION_NAME \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "TPU_NAME",
"machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"scheduling": {
"onHostMaintenance": "TERMINATE",
"provisioningModel": "RESERVATION_BOUND",
"instanceTerminationAction": "DELETE"
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
],
"reservationAffinity": {
"consumeReservationType": "SPECIFIC_RESERVATION",
"key": "compute.googleapis.com/reservation-name",
"values": [
"RESERVATION_NAME"
]
}
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"
Sostituisci i seguenti segnaposto:
- PROJECT_ID: l'ID del tuo Google Cloud progetto.
- TPU_NAME: un nome per la tua VM TPU.
- MACHINE_TYPE: il tipo di macchina
per la VM TPU (ad esempio
ct6e-standard-8t). - IMAGE_FAMILY: la famiglia di immagini del sistema operativo
per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il
--imageflag. Per saperne di più sulle immagini del sistema operativo, vedi Immagini del sistema operativo. - IMAGE_PROJECT: il progetto che contiene l'immagine del sistema operativo.
Per le immagini TPU, questo è
ubuntu-os-accelerator-images. - ZONE: la zona
per la VM TPU (ad esempio
us-central1-b). - RESERVATION_NAME: il nome della prenotazione.
Crea una VM TPU con avvio flessibile
Per creare un'istanza VM TPU con avvio flessibile, utilizza il
gcloud compute instances create comando
con il --provisioning-model=FLEX_START flag:
gcloud
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=FLEX_START \
--max-run-duration=MAX_RUN_DURATION \
--request-valid-for-duration=VALID_DURATION \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "TPU_NAME",
"machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"params": {
"requestValidForDuration": {
"seconds": VALID_DURATION
}
},
"scheduling": {
"onHostMaintenance": "TERMINATE",
"provisioningModel": "FLEX_START",
"instanceTerminationAction": "DELETE",
"maxRunDuration": {
"seconds": MAX_RUN_DURATION
}
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"
Sostituisci i seguenti segnaposto:
- PROJECT_ID: l'ID del tuo Google Cloud progetto.
- TPU_NAME: un nome per la tua VM TPU.
- MACHINE_TYPE: il tipo di macchina
per la VM TPU (ad esempio
ct6e-standard-8t). - IMAGE_FAMILY: la famiglia di immagini del sistema operativo
per la VM TPU. Se vuoi installare una versione specifica del sistema operativo, utilizza il
--imageflag. Per saperne di più sulle immagini del sistema operativo, vedi Immagini del sistema operativo. - IMAGE_PROJECT: il progetto che contiene l'immagine del sistema operativo.
Per le immagini TPU, questo è
ubuntu-os-accelerator-images. - ZONE: la zona
per la VM TPU (ad esempio
us-central1-b). - MAX_RUN_DURATION: la durata massima di esecuzione per la VM TPU (ad esempio
6h). Per REST, specifica questo valore come numero di secondi (ad esempio21600per 6 ore). - VALID_DURATION: la durata massima per cui la
richiesta è valida. Per REST, specifica questo valore come numero di secondi (ad esempio
3600per 1 ora). la richiesta è valida.
Per saperne di più sulla creazione di istanze Compute Engine, consulta Crea e avvia un'istanza Compute Engine.
Passaggi successivi
- Scopri come creare un MIG con slice Cloud TPU a host singolo.
- Scopri come creare un MIG con una slice Cloud TPU multi-host.
- Scopri come gestire le VM TPU.
- Scopri di più sulle TPU in GKE.
- Scopri come eseguire un carico di lavoro di ML sulle TPU, ad esempio, come pubblicare Qwen2-72B-Instruct con vLLM sulle TPU.