TPU-Instanzen in MIGs

Verwaltete Instanzgruppen (MIGs) automatisieren die Erstellung, Konfiguration und Lebenszyklusverwaltung einer Sammlung von VMs. MIGs bieten Vorteile wie Hochverfügbarkeit durch automatische Reparatur und regionale Bereitstellungen (in mehreren Zonen), automatisches Skalieren zur Bewältigung variabler Lasten und vereinfachte Rolling Updates für Anwendungen. Weitere Informationen finden Sie unter Verwaltete Instanzgruppen.

Sie können MIGs verwenden, um TPU-VMs für die TPU-Versionen v5p, v6e und TPU7x zu erstellen und zu verwalten. Sie können MIGs mit einer einzelnen TPU-VM, unabhängigen TPU-VMs (auch als Slices mit einem einzelnen Host bezeichnet) und MIGs mit verbundenen TPU-VMs (auch als Slices mit mehreren Hosts bezeichnet) erstellen.

Jedes Slice in einer MIG mit einem einzelnen Host hat höchstens eine TPU-VM. Die TPU-VMs innerhalb der MIG sind nicht über Inter-Chip-Interconnect-Verbindungen (ICI) verbunden.

Ein Slice mit mehreren Hosts enthält mehrere TPU-VMs, die über ICI-Links miteinander verbunden sind.

MIGs mit TPU-Slices mit einzelnem Host

Das Erstellen einer verwalteten Instanzgruppe (MIG) mit mehreren unabhängigen TPU-Instanzen ist für Arbeitslasten von Vorteil, die mehrere einzelne TPU-VMs erfordern, aber nicht über ICI-Links für verteilte Arbeitslasten miteinander verbunden sein müssen. Beispiel:

  • Inferenzbereitstellung: Jede VM in der MIG kann Inferenzanfragen unabhängig verarbeiten. Mit einer MIG können Sie die Anzahl der Bereitstellungsinstanzen je nach Bedarf skalieren und als Gruppe verwalten.
  • Parallele unabhängige Aufgaben: Eine MIG bietet eine Möglichkeit, viele kleine, unabhängige Trainingsjobs oder andere Berechnungen zu verwalten, die parallel auf einzelnen TPU-VMs ausgeführt werden können.
  • Verwaltung: MIGs bieten die folgenden Funktionen:
    • Bereitstellung: Definieren Sie eine Instanzvorlage einmal und verwenden Sie die MIG, um mehrere identische TPU-VMs zu erstellen.
    • Skalierbarkeit: Passen Sie die Anzahl der TPU-VMs an, indem Sie die Größe der MIG ändern.
    • Rolling Updates: Aktualisieren Sie die Software oder den Maschinentyp auf allen VMs auf kontrollierte Weise.
  • Kosteneffizienz: Für Aufgaben, die nicht die volle Leistung oder Interkonnektivität eines großen TPU-Slice erfordern, kann die Verwendung mehrerer kleinerer, unabhängiger TPU-Slices kostengünstiger sein.

Weitere Informationen finden Sie unter MIG mit TPU-Slices mit einem Host erstellen.

MIGs mit einem Slice mit mehreren Hosts

Im Gegensatz zu Gruppen unabhängiger TPU-Slices verwaltet eine für ein Multi-Host-Slice konfigurierte MIG eine Reihe von TPU-VMs, die über ICI-Links eng gekoppelt sind. Dadurch wird ein einzelner logischer TPU-Slice erstellt.

Vorteile und Leistung

MIGs für TPU-Slices mit mehreren Hosts bieten die Skalierbarkeit und Leistung, die für intensive Arbeitslasten des maschinellen Lernens erforderlich sind.

  • Verteiltes Training: Für das Training von Modellen für maschinelles Lernen ist oft mehr TPU-Leistung erforderlich, als eine einzelne TPU-VM bieten kann. Bei größeren TPU-Slices wird die Berechnung auf viele TPU-Chips und VMs verteilt, wobei die ICI-Verbindungen eine schnelle Kommunikation zwischen ihnen ermöglichen. Dies ist für die Trainingsleistung entscheidend.
  • Hohe Interconnect-Bandbreite: Das ICI-Netzwerk bietet eine höhere Bandbreite und eine geringere Latenz zwischen TPU-Chips im Slice als das Standard-Rechenzentrumsnetzwerk (Data Center Network, DCN). Dies ist für die synchronen Vorgänge, die beim Training großer Modelle üblich sind, unerlässlich.

Atomare Lebenszyklusvorgänge

Um die Integrität der verbundenen Topologie zu gewährleisten, verwaltet die MIG den gesamten Slice während seines gesamten Lebenszyklus als eine einzige, unteilbare Einheit.

  • Erstellung: Alle VMs im Slice werden zusammen bereitgestellt. Wenn für die gesamte angeforderte Topologie nicht genügend fehlerfreie, verbundene Kapazität verfügbar ist, wird der Slice nicht erstellt.
  • Löschen: Die MIG löscht den gesamten Slice als Einheit.
  • Größenänderung: Die Größenänderung ist auf die Skalierung von 0 auf die volle Slice-Größe oder von der vollen Slice-Größe zurück auf 0 beschränkt. Sie können die Größe eines Multi-VM-Slice nicht teilweise ändern.

Konfigurationsanforderungen

Zum Konfigurieren einer Multi-Host-MIG müssen Sie sowohl die physische Verbindungstopologie als auch die einzelnen Instanzattribute definieren.

  • Arbeitslastrichtlinie: Sie müssen eine Arbeitslastrichtlinie mit dem Parameter accelerator-topology angeben (z. B. 4x4, 8x8 oder 4x4x4). Dadurch wird die MIG so konfiguriert, dass die Instanzen als einzelner, verbundener Slice behandelt werden. Informationen zur Topologie finden Sie unter Systemarchitektur.
  • Instanzvorlage: Definiert Attribute wie Maschinentyp, Speicherabbild und andere Einstellungen für jede VM im Slice.

Slice-Verfügbarkeit und Fehlerbehebung

Wenn Sie MIGs verwenden, um ein TPU-Slice mit mehreren Hosts zu erstellen, hängt das Verhalten bei der Fehlerbehebung vom verwendeten Bereitstellungsmodell und Reservierungsmodus ab:

  • Wenn eine verwaltete Instanzgruppe On-Demand, Flex-Start oder Reservierungen verwendet (mit Ausnahme von Reservierungen im Modus „Gesamte Kapazität“). In diesem Szenario verwaltet Compute Engine den Slice-Wiederherstellungsprozess automatisch. Wenn ein Host- oder ICI-Fehler auftritt, wechselt der Slice in den Status REACTIVATING. Alle VMs im Slice wechseln in den Status REPAIRING, allerdings nicht unbedingt alle gleichzeitig. Compute Engine stellt den Slice dann automatisch wieder her, indem die VMs gemeinsam auf fehlerfreier Kapazität neu gestartet werden.

  • Wenn eine MIG das Spot-Bereitstellungsmodell verwendet. In diesem Szenario sind Sie für die Verwaltung des Slice-Wiederherstellungsprozesses verantwortlich. Wenn Spot-VMs vorzeitig beendet werden, beendet Compute Engine alle Instanzen im Slice. Der Slice wechselt in den Status FAILED und die VMs in den Status TERMINATED. Um den Fehlerzustand zu beheben, müssen Sie das Slice manuell neu erstellen.

  • Wenn eine MIG Reservierungen im Modus „Gesamte Kapazität“ verwendet. In diesem Szenario sind Sie für die Verwaltung des Slice-Wiederherstellungsprozesses verantwortlich. Wenn ein Fehler auftritt, wechselt der Slice in den Status FAILED und Sie müssen den Slice manuell neu erstellen.

    Das Verhalten im Modus „Gesamte Kapazität“ hängt außerdem von Folgendem ab:

    • Hostfehler oder gemeldete fehlerhafte VM. Die betroffene VM wechselt in den Status REPAIRING. Sobald die zugrunde liegende Hardware repariert ist, wechselt die VM wieder in den Status RUNNING.
    • Anstehende Notfallwartung. Wenn Sie ein Wartungsereignis manuell starten, wechseln die VMs vom Status RUNNING in den Status REPAIRING. Nach Abschluss der Wartung kehrt die VM in den Status RUNNING zurück.
    • ICI-Fehler. Die VMs bleiben im Status RUNNING, aber der Slice-Status wechselt zu FAILED.

Wenn Sie einen Slice nach dem vorzeitigen Beenden von Spot-VMs oder einem Fehler im Modus „Gesamte Kapazität“ neu erstellen möchten, haben Sie folgende Möglichkeiten:

  • Löschen Sie die MIG und erstellen Sie sie neu.
  • Passen Sie die Größe der MIG auf 0 an und erhöhen Sie sie dann auf die erforderliche Größe.

Wiederherstellung nach einer Instanzunterbrechung

Wenn Sie eine TPU-Instanz löschen oder beenden oder eine Instanz innerhalb des Betriebssystems beenden, wechselt der Slice in den Status FAILED. In diesem Szenario bleibt das Slice im Status FAILED, bis Sie es neu erstellen. Wenn Sie das Slice neu erstellen möchten, müssen Sie die MIG entweder löschen und neu erstellen oder die Größe der MIG auf 0 ändern und dann erhöhen.

Weitere Informationen zu den Slice-Status finden Sie unter Status eines TPU-Slice ansehen.

Beschränkungen

In den folgenden Abschnitten werden die Einschränkungen beim Erstellen einer MIG mit TPU-VMs erläutert.

Einschränkungen für Instanzvorlagen

Für Instanzvorlagen, in denen ein TPU-Maschinentyp angegeben ist, gelten die folgenden Einschränkungen:

  • Wenn Sie das reservierungsgebundene Bereitstellungsmodell verwenden, müssen Sie die Beendigungsaktion der Instanz auf „Löschen“ festlegen.

  • TPUs können nur spezifisch ausgewählte Reservierungen nutzen.

  • Sie können keine Platzierungsrichtlinie angeben.

  • In den folgenden Fällen dürfen Sie den automatischen Neustart nicht deaktivieren:

    • Multi-Host-Slices mit Standard-, Flex-Start- oder reservierungsgebundenen Bereitstellungsmodellen (einschließlich des Modus „Gesamte Kapazität“).

    • Einzelner Host mit reservierungsgebundenem Bereitstellungsmodell im Modus „Gesamte Kapazität“.

  • Sie dürfen den automatischen Neustart nicht aktivieren, wenn Sie das Spot-Bereitstellungsmodell verwenden.

Einschränkungen für MIGs

Für MIGs mit TPUs gelten die folgenden Einschränkungen:

  • Lebenszyklusvorgänge: Sie können TPU-Instanzen nicht beenden, starten, fortsetzen oder sperren. Wenn Sie Konfigurationen ändern möchten, die einen Neustart erfordern, oder wenn Sie keine Kosten mehr verursachen möchten, müssen Sie die Instanzen löschen.

  • Zonenverteilung der regionalen MIG: Sie müssen die Zielverteilungsform auf ANY_SINGLE_ZONE festlegen.

  • Konfigurationsaktualisierungen in einer MIG:

    • Aufgrund der definierten Beschleunigertopologie können Sie eine verwaltete Instanzgruppe, die ein TPU-Slice mit mehreren Hosts bildet, nicht aktualisieren.
    • Sie können eine MIG, die TPU-Slices mit einem einzelnen Host bildet, mit den automatischen oder selektiven Methoden aktualisieren. Die Updates für TPU-Slices mit einem einzelnen Host unterstützen jedoch nicht die Aktion „Neustart“ (RESTART). Wenn ein Neustart erforderlich ist und die umfassendste zulässige Aktion „Ersetzen“ (REPLACE) ist, ersetzt der Updater die Instanz. Andernfalls schlägt der Aktualisierungsversuch mit einem Fehler fehl.

  • Für eine MIG, die einen TPU-Slice mit mehreren Hosts bildet, gelten außerdem die folgenden Einschränkungen:

    • Richtlinie für Zielgröße: Sie müssen den Modus der Richtlinie für die Zielgröße auf BULK festlegen. Nachdem Sie diesen Modus festgelegt haben, können Sie ihn nicht mehr ändern.

    • Zielgröße: Im Bulk-Modus können Sie die Zielgröße entweder auf 0 oder auf die Anzahl der Instanzen festlegen, die für die Beschleunigertopologie erforderlich sind.

    • Arbeitslastrichtlinie: Sie müssen eine Arbeitslastrichtlinie angeben, in der die Beschleunigertopologie definiert ist. Nachdem Sie die Arbeitslastrichtlinie festgelegt haben, können Sie sie nicht mehr ändern oder aus der MIG entfernen.

    • Von der MIG initiierte Reparaturen: Sie müssen von der MIG initiierte Reparaturen deaktivieren, indem Sie das Feld defaultActionOnFailure auf DO_NOTHING setzen. In dieser Konfiguration führt die MIG keine Aktionen für eine fehlgeschlagene Instanz aus. Compute Engine stellt die fehlerhafte Instanz automatisch wieder her, indem alle Instanzen im selben Slice auf fehlerfreier Kapazität neu gestartet werden.

  • Nicht unterstützte Funktionen: MIGs mit TPUs unterstützen die folgenden Funktionen nicht:

Nächste Schritte