Cloud TPU-VM-Instanz mit der Compute Engine erstellen
In diesem Dokument wird beschrieben, wie Sie mit dem Compute Engine-Befehl gcloud compute instances create eine einzelne TPU-VM erstellen. Sie können auch eine TPU-VM-Instanz erstellen,
indem Sie eine Instanzvorlage angeben. Weitere
Informationen finden Sie unter VM aus einer Instanzvorlage erstellen.
Vorbereitung
Erfüllen Sie die folgenden Voraussetzungen:
Erstellen Sie ein Google Cloud Projekt für Ihre TPUs, wie unter Projekt für TPUs einrichten beschrieben. Google Cloud
Bestimmen Sie Ihre TPU-Anforderungen, wie unter Cloud TPU-Ressourcen planen beschrieben.
TPU-VM-Instanz erstellen
Die Parameter, die Sie zum Erstellen einer TPU-VM-Instanz verwenden, hängen von der Verbrauchsoption ab, die Sie verwenden: On-Demand, Spot, reservierungsgebunden oder Flex-Start. Weitere Informationen finden Sie unter TPU-Ressourcen planen .
On-Demand-TPU-VM-Instanz erstellen
Verwenden Sie den
gcloud compute instances create Befehl, um eine On-Demand -TPU-VM-Instanz zu erstellen:
gcloud
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--maintenance-policy=TERMINATE
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "TPU_NAME",
"machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"scheduling": {
"onHostMaintenance": "TERMINATE"
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"
Ersetzen Sie die folgenden Platzhalter:
- PROJECT_ID: Die ID Ihres Google Cloud Projekts.
- TPU_NAME: Ein Name für Ihre TPU-VM.
- MACHINE_TYPE: Der Maschinentyp
für die TPU-VM (z. B.
ct6e-standard-8t). - IMAGE_FAMILY: Die Betriebssystem-Image-Familie
für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das
--imageFlag. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images. - IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält.
Bei TPU-Images ist dies
ubuntu-os-accelerator-images. - ZONE: Die Zone
für die TPU-VM (z. B.
us-central1-b).
TPU-Spot-VM-Instanz erstellen
Verwenden Sie den
gcloud compute instances create Befehl
mit dem --provisioning-model=SPOT Flag, um eine TPU-Spot-VM-Instanz zu erstellen:
gcloud
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=SPOT \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "TPU_NAME",
"machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"scheduling": {
"onHostMaintenance": "TERMINATE",
"provisioningModel": "SPOT",
"instanceTerminationAction": "DELETE"
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"
Ersetzen Sie die folgenden Platzhalter:
- PROJECT_ID: Die ID Ihres Google Cloud Projekts.
- TPU_NAME: Ein Name für Ihre TPU-VM.
- MACHINE_TYPE: Der Maschinentyp
für die TPU-VM (z. B.
ct6e-standard-8t). - IMAGE_FAMILY: Die Betriebssystem-Image-Familie
für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das
--imageFlag. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images. - IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält.
Bei TPU-Images ist dies
ubuntu-os-accelerator-images. - ZONE: Die Zone
für die TPU-VM (z. B.
us-central1-b).
TPU-VM-Instanz mit einer Reservierung erstellen
Verwenden Sie den gcloud compute instances create Befehl
mit den --reservation-affinity=specific und --reservation Flags, um eine TPU-VM-Instanz mit der reservierungsgebunden Verbrauchsoption zu erstellen:
gcloud
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=reservation-bound \
--reservation-affinity=specific \
--reservation=RESERVATION_NAME \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "TPU_NAME",
"machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"scheduling": {
"onHostMaintenance": "TERMINATE",
"provisioningModel": "RESERVATION_BOUND",
"instanceTerminationAction": "DELETE"
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
],
"reservationAffinity": {
"consumeReservationType": "SPECIFIC_RESERVATION",
"key": "compute.googleapis.com/reservation-name",
"values": [
"RESERVATION_NAME"
]
}
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"
Ersetzen Sie die folgenden Platzhalter:
- PROJECT_ID: Die ID Ihres Google Cloud Projekts.
- TPU_NAME: Ein Name für Ihre TPU-VM.
- MACHINE_TYPE: Der Maschinentyp
für die TPU-VM (z. B.
ct6e-standard-8t). - IMAGE_FAMILY: Die Betriebssystem-Image-Familie
für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das
--imageFlag. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images. - IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält.
Bei TPU-Images ist dies
ubuntu-os-accelerator-images. - ZONE: Die Zone
für die TPU-VM (z. B.
us-central1-b). - RESERVATION_NAME: Der Name Ihrer Reservierung.
TPU-VM mit Flex-Start erstellen
Verwenden Sie den
gcloud compute instances create Befehl
mit dem --provisioning-model=FLEX_START Flag, um eine TPU Flex-Start VM-Instanz zu erstellen:
gcloud
gcloud compute instances create TPU_NAME \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--zone=ZONE \
--provisioning-model=FLEX_START \
--max-run-duration=MAX_RUN_DURATION \
--request-valid-for-duration=VALID_DURATION \
--instance-termination-action=DELETE \
--maintenance-policy=TERMINATE
REST
curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-d '{
"name": "TPU_NAME",
"machineType": "zones/ZONE/machineTypes/MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
}
}
],
"params": {
"requestValidForDuration": {
"seconds": VALID_DURATION
}
},
"scheduling": {
"onHostMaintenance": "TERMINATE",
"provisioningModel": "FLEX_START",
"instanceTerminationAction": "DELETE",
"maxRunDuration": {
"seconds": MAX_RUN_DURATION
}
},
"networkInterfaces": [
{
"network": "global/networks/default"
}
]
}' \
"https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances"
Ersetzen Sie die folgenden Platzhalter:
- PROJECT_ID: Die ID Ihres Google Cloud Projekts.
- TPU_NAME: Ein Name für Ihre TPU-VM.
- MACHINE_TYPE: Der Maschinentyp
für die TPU-VM (z. B.
ct6e-standard-8t). - IMAGE_FAMILY: Die Betriebssystem-Image-Familie
für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das
--imageFlag. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images. - IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält.
Bei TPU-Images ist dies
ubuntu-os-accelerator-images. - ZONE: Die Zone
für die TPU-VM (z. B.
us-central1-b). - MAX_RUN_DURATION: Die maximale Laufzeit für die TPU-VM (z. B.
6h). Geben Sie diesen Wert für REST als Anzahl von Sekunden an (z. B.21600für 6 Stunden). - VALID_DURATION: Die maximale Dauer, für die die
Anfrage gültig ist. Geben Sie diesen Wert für REST als Anzahl von Sekunden an (z. B.
3600für 1 Stunde). Anfrage gültig ist.
Weitere Informationen zum Erstellen von Compute Engine-Instanzen finden Sie unter Compute Engine-Instanz erstellen und starten.
Nächste Schritte
- Informationen zum Erstellen einer MIG mit Cloud TPU-Slices mit einem Host.
- Informationen zum Erstellen einer MIG mit einem Cloud TPU-Slice mit mehreren Hosts.
- Informationen zum Verwalten von TPU-VMs.
- Informationen zu TPUs in GKE.
- Informationen zum Ausführen einer ML-Arbeitslast auf TPUs, z. B. Qwen2-72B-Instruct mit vLLM auf TPUs bereitstellen.