MIG mit TPU-Slices mit einem Host erstellen

In diesem Dokument wird beschrieben, wie Sie eine verwaltete Instanzgruppe (MIG) erstellen, die TPU-Slices mit einem einzelnen Host bildet. Ein TPU-Slice mit einem einzelnen Host wird einer TPU-VM-Instanz zugeordnet.

Sie können einen TPU-Slice mit einem Host auch als eigenständige TPU-Instanz erstellen. Weitere Informationen finden Sie unter TPU-VM-Instanz erstellen.

Hinweis

• Lesen Sie die Einschränkungen für das Erstellen von MIGs mit TPU-Instanzen.
• Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben. Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud Dienste und APIs überprüft. Zur Ausführung von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich so bei Compute Engine authentifizieren:

  1. Installieren Sie die Google Cloud CLI. Initialisieren Sie die Google Cloud CLI nach der Installation mit dem folgenden Befehl:

     gcloud init

     Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.

     Hinweis: Wenn Sie die gcloud CLI zuvor installiert haben, prüfen Sie, ob Sie die aktuelle Version haben, indem Sie gcloud components update ausführen.
  2. Legen Sie eine Standardregion und -zone fest.

Vorbereitung

Bevor Sie einen TPU-Slice mit nur einem Host erstellen, müssen Sie Folgendes tun:

1. TPU-Version auswählen: Wählen Sie die TPU-Version aus, die für Ihre Arbeitslast geeignet ist. Eine Liste der TPU-Versionen nach Arbeitslasttyp finden Sie unter Empfohlene TPU-Versionen nach Arbeitslasttyp.

2. TPU-Verfügbarkeit an Ihrem bevorzugten Standort prüfen: TPUs sind in bestimmten Google Cloud Regionen verfügbar. Wenn Sie eine TPU-Version verwenden möchten, muss sie in Ihrer bevorzugten Region verfügbar sein. Eine Liste der TPU-Standorte finden Sie unter TPU-Verfügbarkeit.

3. Prüfen Sie, ob Ihr Projekt über ein ausreichendes TPU-Kontingent verfügt: Wenn Sie einen TPU-Slice mit einem einzelnen Host mit On-Demand- oder Spot-VMs erstellen, muss in der Region, die Sie verwenden möchten, ein ausreichendes TPU-Kontingent verfügbar sein. Für das Erstellen eines TPU-Slice mit einem Host, der eine TPU-Reservierung nutzt, ist kein TPU-Kontingent erforderlich, da das Kontingent beim Erstellen der Reservierung verwendet wurde. Eine Liste der TPU-Kontingentnamen finden Sie unter TPU-Kontingent. Eine Anleitung zum Aufrufen des Kontingents finden Sie unter Kontingente ansehen und verwalten.

4. TPU-Nutzungsoption auswählen: Wählen Sie eine Nutzungsoption aus, die am besten zu Ihrer Arbeitslast, ihrer Dauer und Ihren Kostenanforderungen passt. Eine Liste der Verfügbarkeit von Nutzungsoptionen nach TPU-Versionen finden Sie unter Cloud TPU-Nutzungsoptionen.

5. Topologie auswählen: Wählen Sie eine Topologie aus, die für die ausgewählte TPU-Version unterstützt wird. Eine Liste der für die einzelnen TPU-Versionen verfügbaren Topologien finden Sie unter TPU-Topologie.

MIG mit mehreren TPU-Slices mit einem Host erstellen

So erstellen Sie mehrere unabhängige TPU-VMs in einer MIG:

1. Erstellen Sie eine Instanzvorlage.
2. Erstellen Sie die MIG.

Instanzvorlage erstellen

Die Konfigurationen von Instanzvorlagen variieren je nach verwendeter Verbrauchsoption: On-Demand, Spot, Reservierungen oder Flex-Start. Weitere Informationen zu Verbrauchsoptionen finden Sie unter VM-Bereitstellungsmodelle.

Instanzvorlage für eine On-Demand-TPU-VM erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage erstellt, die die Verbrauchsoption On-Demand verwendet:

Wichtig :Wenn Sie den Maschinentyp ct6e-standard-8t verwenden, müssen Sie die Threads pro Kern auf 1 festlegen. Fügen Sie dazu das --threads-per-core=1-Flag in den folgenden Befehl ein. Weitere Informationen zu Threads pro Kern finden Sie unter Anzahl der Threads pro Kern festlegen.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

• INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
• MACHINE_TYPE: Der Maschinentyp für die TPU-VM (z. B. ct6e-standard-8t).
• IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
• IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Instanzvorlage für eine TPU-Spot-VM erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage erstellt, die die Verbrauchsoption Spot verwendet:

Wichtig :Wenn Sie den Maschinentyp ct6e-standard-8t verwenden, müssen Sie die Threads pro Kern auf 1 festlegen. Fügen Sie dazu das --threads-per-core=1-Flag in den folgenden Befehl ein. Weitere Informationen zu Threads pro Kern finden Sie unter Anzahl der Threads pro Kern festlegen.

 gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=STOP \
    --provisioning-model=SPOT \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

• INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
• MACHINE_TYPE: Der Maschinentyp für die TPU-VM (z. B. ct6e-standard-8t).
• IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
• IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Instanzvorlage für eine TPU-VM mit Reservierung erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage erstellt, die die Verbrauchsoption reservation-bound verwendet:

Wichtig :Wenn Sie den Maschinentyp ct6e-standard-8t verwenden, müssen Sie die Threads pro Kern auf 1 festlegen. Fügen Sie dazu das --threads-per-core=1-Flag in den folgenden Befehl ein. Weitere Informationen zu Threads pro Kern finden Sie unter Anzahl der Threads pro Kern festlegen.

 gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --reservation-affinity=specific \
    --provisioning-model=reservation-bound \
    --reservation=RESERVATION_NAME \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

• INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
• MACHINE_TYPE: Der Maschinentyp für die TPU-VM (z. B. ct6e-standard-8t).
• RESERVATION_NAME: Der Name einer bestimmten Reservierung, die Sie nutzen möchten.
• IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
• IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Instanzvorlage für eine TPU Flex-Start-VM erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage erstellt, die die Verbrauchsoption Flex-start verwendet:

Wichtig :Wenn Sie den Maschinentyp ct6e-standard-8t verwenden, müssen Sie die Threads pro Kern auf 1 festlegen. Fügen Sie dazu das --threads-per-core=1-Flag in den folgenden Befehl ein. Weitere Informationen zu Threads pro Kern finden Sie unter Anzahl der Threads pro Kern festlegen.

 gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --provisioning-model=FLEX_START \
    --max-run-duration=DURATION \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

• INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
• MACHINE_TYPE: Der Maschinentyp für die TPU-VM (z. B. ct6e-standard-8t).
• DURATION: Die maximale Laufzeit für die TPU-VM (z. B. 1h).
• IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
• IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Eine MIG erstellen.

Erstellen Sie eine zonale oder regionale MIG mit dem Befehl gcloud compute instance-groups managed create:

• Verwenden Sie den folgenden Befehl, um eine zonale MIG mit einem TPU-Slice mit einem einzelnen Host zu erstellen:

  gcloud compute instance-groups managed create MIG_NAME \
      --size=MIG_SIZE \
      --template=INSTANCE_TEMPLATE_URL \
      --zone=ZONE
  

• Verwenden Sie den folgenden Befehl, um eine regionale MIG mit einem TPU-Slice mit einem einzelnen Host zu erstellen:

  gcloud compute instance-groups managed create MIG_NAME \
      --size=MIG_SIZE \
      --template=INSTANCE_TEMPLATE_URL \
      --region=REGION \
      --target-distribution-shape=ANY_SINGLE_ZONE \
      --instance-redistribution-type=none
  

Ersetzen Sie die folgenden Platzhalter:

• MIG_NAME: Name der MIG.
• MIG_SIZE: Die Anzahl der VMs in der MIG.
• INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
  • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
  • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
• ZONE: Die Zone, in der die MIG bereitgestellt werden soll.
• REGION: Die Region, in der Ihre MIG bereitgestellt werden soll.

VMs mit benutzerdefinierten Namen in einer MIG erstellen

Sie können VMs in einer MIG erstellen, indem Sie für jede VM einen benutzerdefinierten Namen angeben. Dies ist nützlich für das Debugging und um sicherzustellen, dass Instanzen in einer bestimmten Reihenfolge erstellt werden.

gcloud

Erstellen Sie eine VM mit einem benutzerdefinierten Namen mit dem Befehl create-instance und geben Sie das Flag --instance an. Wenn Sie mehrere VMs erstellen möchten, wiederholen Sie den Befehl für jede VM. Andernfalls verwenden Sie die REST API-Methode, um mehrere VMs in einer einzelnen Anfrage anzugeben.

• Verwenden Sie für eine zonale MIG den folgenden Befehl:

  gcloud compute instance-groups managed create-instance MIG_NAME \
      --zone=ZONE \
      --instance=INSTANCE_NAME
  

• Verwenden Sie für eine regionale MIG den folgenden Befehl:

  gcloud compute instance-groups managed create-instance MIG_NAME \
      --region=REGION \
      --instance=INSTANCE_NAME
  

Ersetzen Sie die folgenden Platzhalter:

• MIG_NAME: Name der MIG.
• ZONE: Die Zone der MIG.
• REGION: Die Region der MIG.
• INSTANCE_NAME: Der Name der VM, die der angegebenen MIG hinzugefügt werden soll.

REST

Sie können VMs mit benutzerdefinierten Namen mit einer der folgenden REST API-Methoden erstellen:

• Verwenden Sie für eine zonale MIG die instanceGroupManagers.createInstances.

   POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/createInstances
   {
     "instances": [
       {
         "name": "INSTANCE_NAME_1"
       },
       {
         "name": "INSTANCE_NAME_2"
       },
       ...
     ]
   }
   

• Verwenden Sie für eine regionale MIG die regionInstanceGroupManagers.createInstances.

   POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/createInstances
   {
     "instances": [
       {
         "name": "INSTANCE_NAME_1"
       },
       {
         "name": "INSTANCE_NAME_2"
       },
       ...
     ]
   }
   

Ersetzen Sie die folgenden Platzhalter:

• PROJECT_ID: Die ID des Projekts, in dem die MIG vorhanden ist.
• ZONE: Die Zone der MIG.
• REGION: Die Region der MIG.
• INSTANCE_NAME_1,2,..: Die Namen der VMs, die der angegebenen MIG hinzugefügt werden sollen.

Nächste Schritte

• Slice mit mehreren Hosts erstellen
• Verbindung zu einer TPU-Instanz herstellen
• Attribute einer MIG aufrufen
• Status eines TPU-Slice ansehen
• TPUs überwachen
• MIG löschen