TPU-Ressourcen in Compute Engine

Sie können TPUs mit Compute Engine-Ressourcen erstellen und verwalten. Auf dieser Seite finden Sie eine konzeptionelle Übersicht über die Verwendung von TPUs mit Compute Engine. Darin werden TPU-Konzepte Compute Engine-Ressourcen zugeordnet und der Migrationsprozess zu Compute Engine beschrieben.

TPU- und Compute Engine-Konzepte

Wenn Sie TPU-Ressourcen in Compute Engine verwalten möchten, ist es hilfreich, die folgenden primären TPU- und Compute Engine-Konzepte zu kennen:

  • TPU-VM: Eine virtuelle Maschine, die direkt mit der TPU-Hardware verbunden ist. Eine einzelne TPU-VM entspricht einem Slice mit einem einzelnen Host.
  • TPU-Slice: Eine logische Gruppe miteinander verbundener TPU-Chips, auf die über eine oder mehrere TPU-VMs zugegriffen wird. Slices haben einen der folgenden Bereiche:
    • Slice mit einzelnem Host: Ein Slice, der aus einem Hostcomputer besteht. Slice mit einem einzelnen Host ist eine andere Bezeichnung für eine einzelne TPU-VM.
    • Slice mit mehreren Hosts: Ein Slice, der aus mehreren TPU-VMs besteht, die über eine Hochgeschwindigkeitsverbindung zwischen den Chips (ICI) miteinander verbunden sind.

Zum Erstellen und Verwalten von TPU-Ressourcen in Compute Engine verwenden Sie die folgenden Compute Engine-Ressourcen:

  • VM-Instanz: Eine Compute Engine-VM. Ein TPU-Slice mit einem einzelnen Host wird als einzelne VM-Instanz erstellt. In der alten Cloud TPU API wird ein einzelner TPU-Slice durch ein Node-REST-Objekt dargestellt.
  • Verwaltete Instanzgruppe (Managed Instance Group, MIG): Eine Sammlung von VM-Instanzen, die als eine Einheit verwaltet werden. TPU-Slices mit mehreren Hosts werden als MIG mit einer in einer Arbeitslastrichtlinie angegebenen Beschleunigertopologie erstellt. In der alten Cloud TPU API werden ein oder mehrere Slices durch QueuedResource- oder Node-REST-Objekte dargestellt.

Konzeptübersicht zu TPUs und Compute Engine

In der folgenden Tabelle wird beschrieben, wie TPU-Konzepte Compute Engine-Ressourcen zugeordnet werden:

TPU-Konzept Compute Engine-Ressource Ressourcendetails Anwendungsfall
TPU-VM VM-Instanz Eine Compute Engine-VM, die direkten Zugriff auf TPU-Hardware bietet. Einzelne VM-Aufgaben, Ausführung von SSH-Befehlen oder Debugging
TPU-Slice mit einzelnem Host oder Unterhost VM-Instanz oder MIG mit einer einzelnen VM Eine Konfiguration, die aus einem physischen Hostcomputer besteht. Inferenz mit Autoscaling
TPU-Slice mit mehreren Hosts Verwaltete Instanzgruppe mit in der Arbeitslastrichtlinie angegebener Beschleunigertopologie Eine Gruppe von TPU-VMs, die über ICI verbunden sind und als eine einzige logische Einheit verwaltet werden. Umfangreiches, verteiltes Training, das eine atomare Bereitstellung erfordert

Von der Cloud TPU API migrieren

Die Cloud TPU API befindet sich nicht mehr in der aktiven Entwicklungsphase. Dazu gehören die Google Cloud CLI für die Cloud TPU API und die Cloud-Clientbibliotheken für die Cloud TPU API. Die Cloud TPU API erhält nur Fehlerkorrekturen und Sicherheitsupdates. Neue Hardwaregenerationen, beginnend mit TPU7x (Ironwood), werden nur über Compute Engine oder Google Kubernetes Engine (GKE) unterstützt. Wenn Sie die neuesten Funktionen und Unterstützung für die neuesten TPU-Versionen nutzen möchten, migrieren Sie, indem Sie Ihre alten Cloud TPU API-Aufrufe durch die entsprechenden Aufrufe in Compute Engine oder GKE ersetzen.

Wählen Sie je nach Orchestrierungs- und Arbeitslastanforderungen einen der folgenden Pfade aus:

  • Compute Engine: Empfohlen für Nutzer, die eine direkte Steuerung auf VM-Ebene oder benutzerdefinierte Betriebssystem-Images benötigen. Informationen zu den ersten Schritten beim Bereitstellen von TPUs in Compute Engine finden Sie unter Kurzanleitung: TPU-VM erstellen.
  • GKE: Empfohlen für containerisierte Arbeitslasten, automatisierte Skalierung und Orchestrierung im großen Maßstab. Weitere Informationen zur Verwendung von TPUs mit GKE finden Sie unter TPUs in GKE.

Vorhandene TPU-Ressourcen

TPU-Ressourcen, die mit der Cloud TPU API (Node- oder QueuedResource-REST-Objekte) erstellt wurden, sind nicht mit Compute Engine und GKE kompatibel. So beginnen Sie mit der Verwendung von Compute Engine oder GKE:

  • Schreiben Sie alle Skripts, die die Cloud TPU API verwenden, so um, dass sie die Compute Engine- oder GKE-APIs verwenden.
  • Löschen Sie Ressourcen mit der Cloud TPU API und erstellen Sie sie mit den Compute Engine- oder GKE-APIs neu.

Beschränkungen

Für TPUs in Compute Engine gelten die folgenden Einschränkungen:

  • TPU-Versionen: Compute Engine unterstützt v5p, v6e und TPU7x.
  • Kapazitätsmodus: Der Modus „Alle Kapazitäten“ für TPUs ist mit Compute Engine nicht verfügbar.
  • Multisegment: Das Erstellen von Gruppen von verbundenen TPU-Slices mit mehreren Hosts ist mit Compute Engine nicht möglich. Wenn Sie Multislice verwenden möchten, müssen Sie Google Kubernetes Engine (GKE) nutzen. Weitere Informationen finden Sie unter TPU-Multiplikationen in GKE bereitstellen.
  • Sammlungen: Die Planung von Sammlungen ist mit Compute Engine nicht möglich. Wenn Sie die Planungsoption für Sammlungen nutzen möchten, müssen Sie GKE verwenden. Weitere Informationen finden Sie in der GKE-Dokumentation unter Sammlungsplanung.

Nächste Schritte