MIG mit einem Cloud TPU-Slice mit mehreren Hosts erstellen

In diesem Dokument wird beschrieben, wie Sie eine verwaltete Instanzgruppe (MIG) mit einem TPU-Slice mit mehreren Hosts erstellen.

Vorbereitung

Erfüllen Sie die folgenden Voraussetzungen:

  1. Erstellen Sie ein Projekt für Ihre TPUs, wie in Projekt für TPUs einrichten beschrieben.
  2. Ermitteln Sie Ihre TPU-Anforderungen, wie unter Ressourcen planen beschrieben.

MIG mit TPU-Slices mit mehreren Hosts erstellen

  1. Erstellen Sie eine Instanzvorlage.
  2. Erstellen Sie eine Arbeitslastrichtlinie.
  3. Erstellen Sie die MIG.

Instanzvorlage erstellen

Der Befehl zum Erstellen einer Instanzvorlage hängt von der verwendeten Verbrauchsoption ab: On-Demand, Spot, reservierungsgebunden oder Flex-Start. Weitere Informationen zu den Nutzungsoptionen finden Sie unter TPU-Ressourcen planen.

Instanzvorlage für eine On-Demand-TPU-VM erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage mit der Option für die On-Demand-Nutzung erstellt:

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

  • INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
  • MACHINE_TYPE: Der Maschinentyp für die TPU-VM, z. B. ct6e-standard-8t.
  • IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
  • IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Instanzvorlage für eine TPU-Spot-VM erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage mit der Option für die Spot-Nutzung erstellt:

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --instance-termination-action=STOP \
  --provisioning-model=SPOT \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

  • INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
  • MACHINE_TYPE: Der Maschinentyp für die TPU-VM, z. B. ct6e-standard-8t.
  • IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
  • IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Instanzvorlage für eine TPU-VM mit Reservierung erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage mit der Option „Reservierungsgebundener Verbrauch“ erstellt:

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
  --machine-type=MACHINE_TYPE \
  --maintenance-policy=TERMINATE \
  --instance-termination-action=DELETE \
  --reservation-affinity=specific \
  --provisioning-model=reservation-bound \
  --reservation=RESERVATION_NAME \
  --image-family=IMAGE_FAMILY \
  --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

  • INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
  • MACHINE_TYPE: Der Maschinentyp für die TPU-VM, z. B. ct6e-standard-8t.
  • RESERVATION_NAME: Der Name der spezifischen Reservierung, die genutzt werden soll.
  • IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
  • IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Instanzvorlage für eine TPU Flex-Start-VM erstellen

Mit dem folgenden Befehl wird eine Instanzvorlage mit der Verbrauchsoption „flex-start“ erstellt:

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --maintenance-policy=TERMINATE \
    --instance-termination-action=DELETE \
    --provisioning-model=FLEX_START \
    --max-run-duration=DURATION \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT

Ersetzen Sie die folgenden Platzhalter:

  • INSTANCE_TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
  • MACHINE_TYPE: Der Maschinentyp für die TPU-VM, z. B. ct6e-standard-8t.
  • DURATION: Die maximale Dauer, für die die TPU-VM ausgeführt werden kann.
  • IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM. Wenn Sie eine bestimmte Betriebssystemversion installieren möchten, verwenden Sie das Flag --image. Weitere Informationen zu Betriebssystem-Images finden Sie unter Betriebssystem-Images.
  • IMAGE_PROJECT: Das Projekt, das das Betriebssystem-Image enthält. Bei TPU-Images ist dies ubuntu-os-accelerator-images.

Arbeitslastrichtlinie erstellen

Sie müssen eine Arbeitslastrichtlinie mit dem Parameter accelerator-topology erstellen, z. B. 4x4, 8x8 oder 4x4x4. Mit der Beschleunigertopologie wird die MIG so konfiguriert, dass die Instanzen als ein einzelner, miteinander verbundener Slice behandelt werden.

Mit dem folgenden Befehl wird eine Arbeitslastrichtlinie erstellt:

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
  --type=high-throughput \
  --accelerator-topology=TOPOLOGY \
  --region=REGION

Ersetzen Sie die folgenden Platzhalter:

  • WORKLOAD_POLICY_NAME: Der Name Ihrer Arbeitslastrichtlinie.
  • TOPOLOGY: Die Topologie der TPU-VMs, z. B. 4x4x8. Weitere Informationen zur Topologie für die einzelnen TPU-Versionen finden Sie unter Systemarchitektur.
  • REGION: Die Region für Ihre Arbeitslastrichtlinie.

Eine MIG erstellen.

Erstellen Sie eine zonale oder regionale MIG mit dem Befehl gcloud compute instance-groups managed create:

  • Verwenden Sie den folgenden Befehl, um eine zonale MIG mit einem Multi-Host-TPU-Slice zu erstellen:

     gcloud compute instance-groups managed create MIG_NAME \
    --size=MIG_SIZE \
    --target-size-policy-mode=bulk \
    --template=INSTANCE_TEMPLATE_URL \
    --zone=ZONE \
    --default-action-on-vm-failure=do-nothing \
    --workload-policy=WORKLOAD_POLICY_URL

  • Verwenden Sie den folgenden Befehl, um eine regionale MIG mit einem Multi-Host-TPU-Slice zu erstellen:

     gcloud compute instance-groups managed create MIG_NAME \
    --size=MIG_SIZE \
    --target-size-policy-mode=bulk \
    --template=INSTANCE_TEMPLATE_URL \
    --region=REGION \
    --default-action-on-vm-failure=do-nothing \
    --workload-policy=WORKLOAD_POLICY_URL \
    --target-distribution-shape=any-single-zone \
    --instance-redistribution-type=none

Ersetzen Sie die folgenden Platzhalter:

  • MIG_NAME: Name der MIG.
  • MIG_SIZE: Die Anzahl der VMs in der MIG.
  • INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
    • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
  • ZONE: Die Zone für Ihre MIG.
  • REGION: Die Region für Ihre MIG.
  • WORKLOAD_POLICY_URL: Die URL der Arbeitslastrichtlinie, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Beispiel: projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME.

VMs mit benutzerdefinierten Namen in einer MIG erstellen

Sie können VMs in einer MIG erstellen, indem Sie für jede VM benutzerdefinierte Namen angeben. Dies ist nützlich für das Debugging und um sicherzustellen, dass Instanzen in einer bestimmten Reihenfolge erstellt werden.

Für MIGs, die einen TPU-Slice mit mehreren Hosts enthalten, wird der Bulk-Modus der Richtlinie für die Zielgröße verwendet. Beim Erstellen von VMs mit benutzerdefinierten Namen in einer solchen MIG gilt Folgendes:

  • Sie müssen zuerst bestätigen, dass die MIG keine VMs enthält. Wenn die MIG VMs enthält, müssen Sie entweder die Größe der MIG auf die Zielgröße 0 ändern oder eine andere MIG mit der Zielgröße 0 erstellen.

  • Sie können die REST API nur zum Erstellen von VMs mit benutzerdefinierten Namen verwenden.

Sie können VMs mit benutzerdefinierten Namen mit einer der folgenden REST API-Methoden erstellen:

  • Verwenden Sie für eine zonale MIG die instanceGroupManagers.createInstances.

     POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/createInstances
 {
   "instances": [
     {
       "name": "INSTANCE_NAME_1"
     },
     {
       "name": "INSTANCE_NAME_2"
     },
     ...
   ]
 }

  • Verwenden Sie für eine regionale MIG die regionInstanceGroupManagers.createInstances.

     POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/createInstances
 {
   "instances": [
     {
       "name": "INSTANCE_NAME_1"
     },
     {
       "name": "INSTANCE_NAME_2"
     },
     ...
   ]
 }

Ersetzen Sie die folgenden Platzhalter:

  • PROJECT_ID: Die ID des Projekts, in dem die MIG vorhanden ist.
  • ZONE: Die Zone der MIG.
  • REGION: Die Region der MIG.
  • INSTANCE_NAME_1,2,..: Die Namen der VMs, die der angegebenen MIG hinzugefügt werden sollen.

Nächste Schritte