Cloud TPU-Ressourcen in Compute Engine

Sie können Tensor Processing Units (TPUs) mit Compute Engine-Ressourcen erstellen und verwalten. Auf dieser Seite finden Sie eine konzeptionelle Übersicht über die Verwendung von TPUs mit Compute Engine. Dabei werden TPU-Konzepte Compute Engine-Ressourcen zugeordnet und die allgemeinen Arbeitsabläufe zum Erstellen von TPU-Ressourcen beschrieben.

Wichtige TPU-Konzepte

Um TPU-Ressourcen in Compute Engine zu verwalten, ist es hilfreich, die folgenden wichtigen TPU-Konzepte zu kennen:

  • TPU-VM: Eine virtuelle Maschine, die direkt mit der TPU-Hardware verbunden ist.
  • TPU-Slice: Eine logische Gruppe miteinander verbundener TPU-Chips, auf die über eine oder mehrere TPU-VMs zugegriffen wird. Slices haben einen der folgenden Bereiche:
    • Slice mit einem Host: Ein Slice, der aus einem Hostcomputer besteht. Im Allgemeinen entspricht dies einer TPU-VM.
    • Slice mit mehreren Hosts: Ein Slice, der aus mehreren TPU-VMs besteht, die über eine Inter-Chip-Interconnect-Verbindung (ICI) mit hoher Geschwindigkeit miteinander verbunden sind.

    Konzeptzuordnung von TPU und Compute Engine

    In der folgenden Tabelle wird beschrieben, wie TPU-Konzepte Compute Engine-Ressourcen zugeordnet werden:

    Cloud TPU-Konzept Compute Engine-Ressource Ressourcendetails Anwendungsfall
    TPU-VM VM-Instanz Eine Compute Engine-VM, die direkten Zugriff auf die TPU-Hardware bietet. Einzelne VM-Aufgaben, Ausführung von SSH-Befehlen oder Debugging
    TPU-Slice mit einem Host VM-Instanz oder verwaltete Instanzgruppe mit einer einzelnen VM Eine Konfiguration, die aus einem physischen Hostcomputer besteht. Inferenz mit Autoscaling
    TPU-Slice mit mehreren Hosts Verwaltete Instanzgruppe mit in der Arbeitslastrichtlinie angegebener Beschleunigertopologie Eine Gruppe von TPU-VMs, die über ICI miteinander verbunden sind und als eine logische Einheit verwaltet werden. Umfangreiches, verteiltes Training, das eine atomare Bereitstellung erfordert

    Von der Cloud TPU API migrieren

    Die Cloud TPU API, einschließlich der Google Cloud CLI und der Cloud-Clientbibliotheken für Cloud TPU, wird nicht mehr aktiv weiterentwickelt. Die Cloud TPU API erhält nur noch Fehlerkorrekturen und Sicherheitsupdates. Neue Hardwaregenerationen, beginnend mit TPU7x (Ironwood), werden nur über Compute Engine oder Google Kubernetes Engine (GKE) unterstützt. Wenn Sie die neuesten Funktionen und Unterstützung für die neuesten TPU-Versionen nutzen möchten, migrieren Sie, indem Sie Ihre Legacy-Cloud TPU API-Aufrufe durch die entsprechenden Aufrufe in Compute Engine oder GKE ersetzen.

    Wählen Sie je nach Orchestrierungs- und Arbeitslastanforderungen einen der folgenden Pfade aus:

    • Compute Engine: Empfohlen für Nutzer, die eine direkte Steuerung auf VM-Ebene oder benutzerdefinierte Betriebssystem-Images benötigen. Informationen zu den ersten Schritten mit der Bereitstellung von TPUs in Compute Engine finden Sie unter Schnellstart: TPU-VM erstellen.
    • GKE: Empfohlen für containerisierte Arbeitslasten, automatisiertes Autoscaling und Orchestrierung im großen Maßstab. Weitere Informationen zur Verwendung von TPUs mit GKE finden Sie unter TPUs in GKE.

    Vorhandene TPU-Ressourcen

    TPU-Ressourcen, die mit der Cloud TPU API erstellt wurden (Node- oder QueuedResource-REST-Objekte), sind mit Compute Engine und GKE nicht kompatibel. So verwenden Sie Compute Engine oder GKE:

    • Schreiben Sie alle Skripts, die die Cloud TPU API verwenden, so um, dass sie die Compute Engine API oder die GKE API verwenden.
    • Löschen Sie Ressourcen mit der Cloud TPU API und erstellen Sie sie mit der Compute Engine API oder der GKE API neu.

    Beschränkungen

    Für TPUs in Compute Engine gelten die folgenden Einschränkungen:

    • TPU-Versionen: Compute Engine unterstützt v5p, v6e und TPU7x.
    • Kapazitätsmodus: Der Modus Alle Kapazitäten für TPUs ist mit Compute Engine nicht verfügbar.
    • Multi-Slice: Das Erstellen von Gruppen miteinander verbundener TPU-Slices mit mehreren Hosts ist mit Compute Engine nicht möglich. Wenn Sie Multi-Slice verwenden möchten, müssen Sie Google Kubernetes Engine (GKE) verwenden. Weitere Informationen finden Sie unter TPU-Multi-Slices in GKE bereitstellen.
    • Sammlungen: Die Sammlungsplanung ist mit Compute Engine nicht verfügbar. Wenn Sie die Sammlungsplanung verwenden möchten, müssen Sie GKE verwenden. Weitere Informationen finden Sie unter Sammlungsplanung in der GKE-Dokumentation.

    Nächste Schritte