Cloud TPU-Ressourcen in Compute Engine

Sie können TPUs mit Compute Engine-Ressourcen erstellen und verwalten. Auf dieser Seite finden Sie eine konzeptionelle Übersicht über die Verwendung von TPUs mit Compute Engine. Darin werden Cloud TPU-Konzepte Compute Engine-Ressourcen zugeordnet und der Migrationsprozess zu Compute Engine beschrieben.

Wichtige Cloud TPU-Konzepte

Wenn Sie TPU-Ressourcen in Compute Engine verwalten möchten, ist es hilfreich, die folgenden grundlegenden TPU-Konzepte zu kennen:

  • TPU-VM: Eine virtuelle Maschine, die direkt mit der TPU-Hardware verbunden ist. Eine einzelne TPU-VM entspricht einem Slice mit einem einzelnen Host.
  • TPU-Slice: Eine logische Gruppe miteinander verbundener TPU-Chips, auf die über eine oder mehrere TPU-VMs zugegriffen wird. In der TPU API wird ein einzelner TPU-Slice entweder durch ein Node- oder ein QueuedResource-REST-Objekt dargestellt. Slices haben einen der folgenden Bereiche:
    • Slice mit einzelnem Host: Ein Slice, der aus einem Hostcomputer besteht. Slice mit einem einzelnen Host ist eine andere Bezeichnung für eine einzelne TPU-VM.
    • Slice mit mehreren Hosts: Ein Slice, der aus mehreren TPU-VMs besteht, die über eine Hochgeschwindigkeitsverbindung zwischen den Chips (ICI) miteinander verbunden sind.
Die folgenden Cloud TPU API-Objekte werden nicht verwendet, wenn Sie TPU-Ressourcen in Compute Engine verwalten. Sie bieten jedoch hilfreichen Kontext, wenn Sie mit der alten Cloud TPU API vertraut sind:

  • Node: Ein REST-Objekt aus der alten Cloud TPU API, das einen einzelnen TPU-Slice darstellt. In Compute Engine entspricht dies einer VM-Instanz oder einer verwalteten Instanzgruppe (Managed Instance Group, MIG).
  • QueuedResource: Ein REST-Objekt aus der alten Cloud TPU API, das einen oder mehrere TPU-Slices darstellt. Mit in die Warteschlange gestellten Ressourcen können Sie TPU-Kapazität über eine Warteschlange anfordern und verwalten. In Compute Engine bieten Flex-Start-VMs ähnliche Funktionen.

Konzeptübersicht zu TPUs und Compute Engine

In der folgenden Tabelle wird beschrieben, wie TPU-Konzepte Compute Engine-Ressourcen zugeordnet werden:

Cloud TPU-Konzept Compute Engine-Ressource Ressourcendetails Anwendungsfall
TPU-VM VM-Instanz Eine Compute Engine-VM, die direkten Zugriff auf TPU-Hardware bietet. Einzelne VM-Aufgaben, Ausführung von SSH-Befehlen oder Debugging
TPU-Slice mit einem Host oder Subhost VM-Instanz oder MIG mit einer einzelnen VM Eine Konfiguration, die aus einem physischen Hostcomputer besteht. Inferenz mit Autoscaling
TPU-Slice mit mehreren Hosts Verwaltete Instanzgruppe mit in der Arbeitslastrichtlinie angegebener Beschleunigertopologie Eine Gruppe von TPU-VMs, die über ICI verbunden sind und als eine einzige logische Einheit verwaltet werden. Umfangreiches, verteiltes Training, das eine atomare Bereitstellung erfordert

Von der Cloud TPU API migrieren

Die Cloud TPU API befindet sich nicht mehr in der aktiven Entwicklungsphase. Dazu gehören die Google Cloud CLI für die Cloud TPU API und die Cloud-Clientbibliotheken für die Cloud TPU API. Die Cloud TPU API erhält nur Fehlerkorrekturen und Sicherheitsupdates. Neue Hardwaregenerationen, beginnend mit TPU7x (Ironwood), werden nur über Compute Engine oder Google Kubernetes Engine (GKE) unterstützt. Wenn Sie die neuesten Funktionen und Unterstützung für die neuesten TPU-Versionen nutzen möchten, migrieren Sie, indem Sie Ihre alten Cloud TPU API-Aufrufe durch die entsprechenden Aufrufe in Compute Engine oder GKE ersetzen.

Wählen Sie je nach Orchestrierungs- und Arbeitslastanforderungen einen der folgenden Pfade aus:

  • Compute Engine: Empfohlen für Nutzer, die eine direkte Steuerung auf VM-Ebene oder benutzerdefinierte Betriebssystem-Images benötigen. Informationen zum Bereitstellen von TPUs in Compute Engine finden Sie unter Schnellstart: TPU-VM erstellen.
  • GKE: Empfohlen für containerisierte Arbeitslasten, automatisierte Skalierung und Orchestrierung im großen Maßstab. Weitere Informationen zur Verwendung von TPUs mit GKE finden Sie unter TPUs in GKE.

Vorhandene TPU-Ressourcen

TPU-Ressourcen, die mit der Cloud TPU API (Node- oder QueuedResource-REST-Objekte) erstellt wurden, sind nicht mit Compute Engine und GKE kompatibel. So beginnen Sie mit der Verwendung von Compute Engine oder GKE:

  • Schreiben Sie alle Skripts, die die Cloud TPU API verwenden, so um, dass sie die Compute Engine- oder GKE-APIs verwenden.
  • Löschen Sie Ressourcen mit der Cloud TPU API und erstellen Sie sie mit den Compute Engine- oder GKE-APIs neu.

Beschränkungen

Für TPUs in Compute Engine gelten die folgenden Einschränkungen:

  • TPU-Versionen: Compute Engine unterstützt v5p, v6e und TPU7x.
  • Kapazitätsmodus: Der Modus „Alle Kapazitäten“ für TPUs ist mit Compute Engine nicht verfügbar.
  • Multisegment: Das Erstellen von Gruppen von verbundenen TPU-Slices mit mehreren Hosts ist mit Compute Engine nicht möglich. Wenn Sie Multislice verwenden möchten, müssen Sie Google Kubernetes Engine (GKE) nutzen. Weitere Informationen finden Sie unter TPU-Multiplikationen in GKE bereitstellen.
  • Sammlungen: Die Planung von Sammlungen ist mit Compute Engine nicht möglich. Wenn Sie die Planungsoption für Sammlungen nutzen möchten, müssen Sie GKE verwenden. Weitere Informationen finden Sie in der GKE-Dokumentation unter Sammlungsplanung.

Nächste Schritte