MIG mit Cloud TPU-Slices mit einem Host erstellen

In diesem Dokument wird beschrieben, wie Sie eine verwaltete Instanzgruppe (MIG) mit mehreren unabhängigen TPU-Slices mit einem einzelnen Host erstellen.

Vorbereitung

Erfüllen Sie die folgenden Voraussetzungen:

1. Erstellen Sie ein Projekt für Ihre TPUs, wie in Projekt für TPUs einrichten beschrieben.
2. Ermitteln Sie Ihre TPU-Anforderungen, wie unter Ressourcen planen beschrieben.

MIG mit mehreren TPU-Slices mit einem Host erstellen

So erstellen Sie mehrere unabhängige TPU-VMs in einer MIG:

1. Erstellen Sie eine Instanzvorlage.
2. Erstellen Sie die MIG.

Instanzvorlage erstellen

Die Konfigurationen von Instanzvorlagen variieren je nach verwendeter Nutzungsoption: On-Demand, Spot, Reservierungen oder Flex-Start. Weitere Informationen zu den Nutzungsoptionen finden Sie unter TPU-Ressourcen planen.

Instanzvorlage für eine On-Demand-TPU-VM erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage erstellt, die die Verbrauchsoption On-Demand verwendet:

Wichtig :Wenn Sie den Maschinentyp ct6e-standard-8t verwenden, müssen Sie die Threads pro Kern auf 1 festlegen. Fügen Sie dazu das --threads-per-core=1-Flag in den folgenden Befehl ein. Weitere Informationen zu Threads pro Kern finden Sie unter Anzahl der Threads pro Kern festlegen.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

• INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
• MACHINE_TYPE: Der Maschinentyp für die TPU-VM (z. B. ct6e-standard-8t).
• IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
• IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Instanzvorlage für eine TPU-Spot-VM erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage erstellt, die die Verbrauchsoption Spot verwendet:

Wichtig :Wenn Sie den Maschinentyp ct6e-standard-8t verwenden, müssen Sie die Threads pro Kern auf 1 festlegen. Fügen Sie dazu das --threads-per-core=1-Flag in den folgenden Befehl ein. Weitere Informationen zu Threads pro Kern finden Sie unter Anzahl der Threads pro Kern festlegen.

 gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=STOP \
    --provisioning-model=SPOT \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

• INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
• MACHINE_TYPE: Der Maschinentyp für die TPU-VM (z. B. ct6e-standard-8t).
• IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
• IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Instanzvorlage für eine TPU-VM mit Reservierung erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage erstellt, die die Verbrauchsoption reservation-bound verwendet:

Wichtig :Wenn Sie den Maschinentyp ct6e-standard-8t verwenden, müssen Sie die Threads pro Kern auf 1 festlegen. Fügen Sie dazu das --threads-per-core=1-Flag in den folgenden Befehl ein. Weitere Informationen zu Threads pro Kern finden Sie unter Anzahl der Threads pro Kern festlegen.

 gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --reservation-affinity=specific \
    --provisioning-model=reservation-bound \
    --reservation=RESERVATION_NAME \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

• INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
• MACHINE_TYPE: Der Maschinentyp für die TPU-VM (z. B. ct6e-standard-8t).
• RESERVATION_NAME: Der Name einer bestimmten Reservierung, die Sie nutzen möchten.
• IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
• IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Instanzvorlage für eine TPU Flex-Start-VM erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage erstellt, die die Verbrauchsoption Flex-start verwendet:

Wichtig :Wenn Sie den Maschinentyp ct6e-standard-8t verwenden, müssen Sie die Threads pro Kern auf 1 festlegen. Fügen Sie dazu das --threads-per-core=1-Flag in den folgenden Befehl ein. Weitere Informationen zu Threads pro Kern finden Sie unter Anzahl der Threads pro Kern festlegen.

 gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --provisioning-model=FLEX_START \
    --max-run-duration=DURATION \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

• INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
• MACHINE_TYPE: Der Maschinentyp für die TPU-VM (z. B. ct6e-standard-8t).
• DURATION: Die maximale Laufzeit für die TPU-VM (z. B. 1h).
• IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
• IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Eine MIG erstellen.

Erstellen Sie eine zonale oder regionale MIG mit dem Befehl gcloud compute instance-groups managed create:

• Verwenden Sie den folgenden Befehl, um eine zonale MIG mit einem TPU-Slice mit einem einzelnen Host zu erstellen:

  gcloud compute instance-groups managed create MIG_NAME \
      --size=MIG_SIZE \
      --template=INSTANCE_TEMPLATE_URL \
      --zone=ZONE
  

• Verwenden Sie den folgenden Befehl, um eine regionale MIG mit einem TPU-Slice mit einem einzelnen Host zu erstellen:

  gcloud compute instance-groups managed create MIG_NAME \
      --size=MIG_SIZE \
      --template=INSTANCE_TEMPLATE_URL \
      --region=REGION \
      --target-distribution-shape=ANY_SINGLE_ZONE \
      --instance-redistribution-type=none
  

Ersetzen Sie die folgenden Platzhalter:

• MIG_NAME: Name der MIG.
• MIG_SIZE: Die Anzahl der VMs in der MIG.
• INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
  • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
  • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
• ZONE: Die Zone, in der die MIG bereitgestellt werden soll.
• REGION: Die Region, in der Ihre MIG bereitgestellt werden soll.

VMs mit benutzerdefinierten Namen in einer MIG erstellen

Sie können VMs in einer MIG erstellen, indem Sie für jede VM benutzerdefinierte Namen angeben. Dies ist nützlich für das Debugging und um sicherzustellen, dass Instanzen in einer bestimmten Reihenfolge erstellt werden.

gcloud

Erstellen Sie eine VM mit einem benutzerdefinierten Namen mit dem Befehl create-instance und geben Sie das Flag --instance an. Wenn Sie mehrere VMs erstellen möchten, wiederholen Sie den Befehl für jede VM. Andernfalls verwenden Sie die REST API-Methode, um mehrere VMs in einer einzelnen Anfrage anzugeben.

• Verwenden Sie für eine zonale MIG den folgenden Befehl:

  gcloud compute instance-groups managed create-instance MIG_NAME \
      --zone=ZONE \
      --instance=INSTANCE_NAME
  

• Verwenden Sie für eine regionale MIG den folgenden Befehl:

  gcloud compute instance-groups managed create-instance MIG_NAME \
      --region=REGION \
      --instance=INSTANCE_NAME
  

Ersetzen Sie die folgenden Platzhalter:

• MIG_NAME: Name der MIG.
• ZONE: Die Zone der MIG.
• REGION: Die Region der MIG.
• INSTANCE_NAME: Der Name der VM, die der angegebenen MIG hinzugefügt werden soll.

REST

Sie können VMs mit benutzerdefinierten Namen mit einer der folgenden REST API-Methoden erstellen:

• Verwenden Sie für eine zonale MIG die instanceGroupManagers.createInstances.

   POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/createInstances
   {
     "instances": [
       {
         "name": "INSTANCE_NAME_1"
       },
       {
         "name": "INSTANCE_NAME_2"
       },
       ...
     ]
   }
   

• Verwenden Sie für eine regionale MIG die regionInstanceGroupManagers.createInstances.

   POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/createInstances
   {
     "instances": [
       {
         "name": "INSTANCE_NAME_1"
       },
       {
         "name": "INSTANCE_NAME_2"
       },
       ...
     ]
   }
   

Ersetzen Sie die folgenden Platzhalter:

• PROJECT_ID: Die ID des Projekts, in dem die MIG vorhanden ist.
• ZONE: Die Zone der MIG.
• REGION: Die Region der MIG.
• INSTANCE_NAME_1,2,..: Die Namen der VMs, die der angegebenen MIG hinzugefügt werden sollen.

Nächste Schritte

• TPU-VMs und MIGs
• MIG mit einem Cloud TPU-Slice mit mehreren Hosts erstellen
• TPU-VMs verwalten
• TPUs in GKE
• Informationen zum Ausführen einer ML-Arbeitslast auf TPUs finden Sie beispielsweise unter Qwen2-72B-Instruct mit vLLM auf TPUs bereitstellen.