TPU Flex-Start-VMs mit Compute Engine erstellen

TPU-Flex-Start-VMs, die auf dem Dynamic Workload Scheduler basieren, bieten eine flexible und kostengünstige Möglichkeit, bis zu 7 Tage lang auf TPU-Ressourcen für KI-Arbeitslasten zuzugreifen, ohne dass langfristige Reservierungen erforderlich sind. Wenn Sie TPU Flex-Start-VMs anfordern, verbleibt Ihre Anfrage in einer Warteschlange, bis Kapazität verfügbar ist. Nach der Bereitstellung werden die TPU-VMs für die von Ihnen angegebene Dauer ausgeführt.

TPU-Flex-Start-VMs eignen sich gut für schnelle Experimente, kleinere Tests, die dynamische Bereitstellung von TPUs für Inferenz-Workloads, Modellabstimmung und Workloads, die weniger als 7 Tage dauern. Weitere Informationen zu anderen Optionen der TPU-Nutzung finden Sie unter Cloud TPU-Nutzungsoptionen.

Sie können Ihre TPU-Ressourcen jederzeit löschen, um die Abrechnung zu beenden. Weitere Informationen zu TPU-Preisen finden Sie unter Cloud TPU-Preise.

Beschränkungen

Für TPU Flex-Start-VMs gelten die folgenden Beschränkungen:

  • Sie können TPU Flex-Start-VMs für eine Dauer von bis zu 7 Tagen anfordern.
  • Sie können die folgenden Cloud TPU-Versionen und ‑Zonen anfordern:

Für MIGs mit TPUs gelten die folgenden Einschränkungen:

  • Lebenszyklusvorgänge: Sie können TPU-Instanzen nicht beenden, starten, fortsetzen oder anhalten. Wenn Sie Konfigurationen ändern möchten, die einen Neustart erfordern, oder wenn Sie keine Gebühren mehr zahlen möchten, müssen Sie die Instanzen löschen.

  • Zonenverteilung regionaler MIGs: Sie müssen die Zielverteilungsform auf ANY_SINGLE_ZONE festlegen.

  • Konfigurationsaktualisierungen in einer MIG:

    • Sie können eine MIG, die aufgrund der definierten Beschleunigertopologie einen TPU-Slice mit mehreren Hosts bildet, nicht aktualisieren.
    • Sie können eine MIG, die TPU-Slices mit einem einzelnen Host bildet, mit den automatischen oder selektiven Methoden aktualisieren. Die Updates für TPU-Slices mit einem einzelnen Host unterstützen jedoch nicht die Aktion zum Neustarten (RESTART). Wenn ein Neustart erforderlich ist und die umfassendste zulässige Aktion „replace“ (REPLACE) ist, ersetzt der Updater die Instanz. Andernfalls schlägt der Aktualisierungsversuch mit einem Fehler fehl.

  • Für eine MIG, die einen TPU-Slice mit mehreren Hosts bildet, gelten außerdem die folgenden Einschränkungen:

    • Richtlinie für Zielgröße: Sie müssen den Modus der Richtlinie für die Zielgröße auf BULK festlegen. Nachdem Sie diesen Modus festgelegt haben, können Sie ihn nicht mehr ändern.

    • Zielgröße: Im Bulk-Modus können Sie die Zielgröße entweder auf 0 oder auf die Anzahl der Instanzen festlegen, die für die Beschleunigertopologie erforderlich sind.

    • Arbeitslastrichtlinie: Sie müssen eine Arbeitslastrichtlinie angeben, in der die Beschleunigertopologie definiert ist. Nachdem Sie die Arbeitslastrichtlinie festgelegt haben, können Sie sie nicht mehr ändern oder aus der MIG entfernen.

  • Nicht unterstützte Funktionen: MIGs mit TPUs unterstützen die folgenden Funktionen nicht:

Hinweis

Bevor Sie TPU Flex-Start-VMs anfordern, müssen Sie:

  • die Google Cloud CLI installieren
  • ein Projekt in Google Cloud erstellen
  • Compute Engine API aktivieren (compute.googleapis.com)
  • Prüfen Sie, ob Sie die erforderlichen Berechtigungen haben:
    • roles/compute.instanceAdmin.v1
    • roles/iam.serviceAccountUser

Weitere Informationen finden Sie unter Google Cloud -Projekt für TPUs einrichten.

Prüfen Sie, ob Sie für die Verwendung von TPU Flex-Start-VMs genug auf Abruf verfügbares Kontingent haben. Wenn für Ihre Arbeitslast mehr Kerne erforderlich sind als in Ihrer aktuellen Zuweisung, können Sie eine Kontingenterhöhung beantragen. Weitere Informationen finden Sie unter Cloud TPU-Kontingente.

TPU Flex-Start-VMs mit MIGs erstellen

Wenn Sie TPU-Flex-Start-VMs verwenden möchten, erstellen Sie eine verwaltete Instanzgruppe (MIG) mit einer bestimmten Instanzvorlagenkonfiguration.

Allgemeine Anleitungen zum Erstellen von Flex-Start-VMs finden Sie unter Flex-Start-VMs erstellen.

TPU Flex-Start-VMs mit einem Slice mit mehreren Hosts erstellen

Instanzvorlage erstellen

Erstellen Sie eine Instanzvorlage, in der das FLEX_START-Bereitstellungsmodell und die von Ihnen ausgewählte Laufzeit angegeben sind.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE

Ersetzen Sie die folgenden Platzhalter:

  • TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
  • MACHINE_TYPE: Der Maschinentyp für die TPU-VM (z. B. ct6e-standard-8t).
  • IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM, z. B. ubuntu-accelerator-2204-amd64-with-tpu-v6e
  • IMAGE_PROJECT: Das Betriebssystem-Image-Projekt für die TPU-VM, z. B. ubuntu-os-accelerator-images
  • DURATION: Die maximale Ausführungsdauer (z. B. 7d für 7 Tage).
  • REGION: Die Region, in der die Instanzvorlage erstellt werden soll.

Arbeitslastrichtlinie erstellen

Mit dem folgenden Befehl wird eine Arbeitslastrichtlinie erstellt. Bei Slices mit nur einem Host ist das optional.

gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
  --type=high-throughput \
  --accelerator-topology=TOPOLOGY

Ersetzen Sie die folgenden Platzhalter:

  • WORKLOAD_POLICY_NAME: Der Name Ihrer Arbeitslastrichtlinie.
  • TOPOLOGY: Die Topologie der TPU-VMs, z. B. 4x4x8.

MIG erstellen

Erstellen Sie die MIG mit der Vorlage.

gcloud compute instance-groups managed create MIG_NAME \
    --zone=ZONE \
    --template=TEMPLATE_NAME \
    --size=SIZE \
    --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME \
    --target-size-policy-mode=bulk

Ersetzen Sie die folgenden Platzhalter:

  • MIG_NAME: Name der MIG.
  • ZONE: Die Zone Ihrer MIG.
  • TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
  • SIZE: Die Anzahl der zu erstellenden Instanzen.
  • PROJECT_ID: Die ID Ihres Google Cloud -Projekts.
  • WORKLOAD_POLICY_REGION: Die Region, in der die Arbeitslastrichtlinie definiert ist.
  • WORKLOAD_POLICY_NAME: Der Name Ihrer Arbeitslastrichtlinie.

TPU Flex-Start-VMs mit Single-Host-Slices erstellen

Instanzvorlage erstellen

Erstellen Sie eine Instanzvorlage, in der das FLEX_START-Bereitstellungsmodell und die von Ihnen ausgewählte Laufzeit angegeben sind.

gcloud compute instance-templates create TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --provisioning-model=FLEX_START \
    --instance-termination-action=DELETE \
    --max-run-duration=DURATION \
    --region=REGION \
    --maintenance-policy=TERMINATE

Ersetzen Sie die folgenden Platzhalter:

  • TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
  • MACHINE_TYPE: Der Maschinentyp für die TPU-VM (z. B. ct6e-standard-8t).
  • IMAGE_FAMILY: Die Betriebssystem-Image-Familie für die TPU-VM, z. B. ubuntu-accelerator-2204-amd64-with-tpu-v6e
  • IMAGE_PROJECT: Das Betriebssystem-Image-Projekt für die TPU-VM, z. B. ubuntu-os-accelerator-images
  • DURATION: Die maximale Ausführungsdauer (z. B. 7d für 7 Tage).
  • REGION: Die Region, in der die Instanzvorlage erstellt werden soll.

Arbeitslastrichtlinie erstellen

Mit dem folgenden Befehl wird eine Arbeitslastrichtlinie erstellt. Bei Slices mit nur einem Host ist das optional.

gcloud compute resource-policies create workload WORKLOAD_POLICY_NAME \
  --type=high-throughput

Ersetzen Sie die folgenden Platzhalter:

  • WORKLOAD_POLICY_NAME: Ein Name für Ihre Arbeitslastrichtlinie.

MIG erstellen

Erstellen Sie die MIG mit der Vorlage.

gcloud compute instance-groups managed create MIG_NAME \
    --zone=ZONE \
    --template=TEMPLATE_NAME \
    --size=SIZE \
    --workload-policy=projects/PROJECT_ID/regions/WORKLOAD_POLICY_REGION/resourcePolicies/WORKLOAD_POLICY_NAME

Ersetzen Sie die folgenden Platzhalter:

  • MIG_NAME: Name der MIG.
  • ZONE: Die Zone Ihrer MIG.
  • TEMPLATE_NAME: Der Name Ihrer Instanzvorlage.
  • SIZE: Die Anzahl der zu erstellenden Instanzen.
  • PROJECT_ID: Die ID Ihres Google Cloud -Projekts.
  • WORKLOAD_POLICY_REGION: Die Region, in der die Richtlinie für Arbeitslasten definiert ist.
  • WORKLOAD_POLICY_NAME: Der Name Ihrer Arbeitslastrichtlinie.