TPU-Instanzen in MIGs

Verwaltete Instanzgruppen (Managed Instance Groups, MIGs) automatisieren die Erstellung, Konfiguration und Lebenszyklusverwaltung einer Sammlung von VMs. MIGs bieten Vorteile wie Hochverfügbarkeit durch automatische Reparatur und regionale (multizonale) Bereitstellungen, automatisches Skalieren zur Verarbeitung variabler Lasten und vereinfachte Rolling Updates für Anwendungen. Weitere Informationen finden Sie unter Verwaltete Instanzgruppen.

Sie können MIGs verwenden, um TPU-VMs für die TPU-Versionen v5p, v6e und TPU7x zu erstellen und zu verwalten. Sie können MIGs mit einer einzelnen TPU-VM, unabhängige TPU-VMs (auch als Slices mit einem Host bezeichnet) und MIGs mit verbundenen TPU-VMs (auch als Slices mit mehreren Hosts bezeichnet) erstellen.

Jedes Slice in einer MIG mit einem einzelnen Host hat höchstens eine TPU-VM. Die TPU-VMs innerhalb der MIG sind nicht über Inter-Chip-Interconnect-Verbindungen (ICI) verbunden.

Ein Slice mit mehreren Hosts enthält mehrere TPU-VMs, die über ICI-Verbindungen miteinander verbunden sind.

MIGs mit einer einzelnen TPU-VM-Instanz

Sie können eine einzelne TPU-VM mit einer MIG erstellen und verwalten, indem Sie die Zielgröße der MIG auf „1“ festlegen. Dieser Ansatz ist nützlich, wenn Sie Funktionen der verwalteten Instanzgruppe wie die automatische Reparatur für eine einzelne Instanz verwenden möchten. Weitere Informationen finden Sie unter MIG mit TPU-Slices mit einem Host erstellen.

MIGs mit TPU-Slices mit einem einzelnen Host

Das Erstellen einer verwalteten Instanzgruppe (MIG) mit mehreren unabhängigen TPU-Instanzen ist für Arbeitslasten von Vorteil, die mehrere einzelne TPU-VMs erfordern, aber nicht über ICI-Links für verteilte Arbeitslasten verbunden werden müssen. Beispiel:

  • Inference-Bereitstellung: Jede VM in der MIG kann Inference-Anfragen unabhängig verarbeiten. Mit einer MIG können Sie die Anzahl der Serving-Instanzen basierend auf der Nachfrage skalieren und sie als Gruppe verwalten.
  • Parallele unabhängige Aufgaben: Eine MIG bietet eine Möglichkeit, viele kleine, unabhängige Trainingsjobs oder andere Berechnungen zu verwalten, die parallel auf einzelnen TPU-VMs ausgeführt werden können.
  • Verwaltung: MIGs bieten die folgenden Funktionen:
    • Bereitstellung: Sie definieren eine Instanzvorlage einmal und verwenden die MIG, um mehrere identische TPU-VMs zu erstellen.
    • Skalierbarkeit: Sie können die Anzahl der TPU-VMs anpassen, indem Sie die MIG in der Größe ändern.
    • Rolling Updates: Aktualisieren Sie die Software oder den Maschinentyp auf allen VMs auf kontrollierte Weise.
  • Kosteneffizienz: Für Aufgaben, die nicht die volle Leistung oder Interkonnektivität eines großen TPU-Slice erfordern, kann die Verwendung mehrerer kleinerer, unabhängiger TPU-Slices kostengünstiger sein.

Weitere Informationen finden Sie unter MIG mit TPU-Slices mit einem Host erstellen.

MIGs mit einem Slice mit mehreren Hosts

Im Gegensatz zu Gruppen unabhängiger TPU-Slices verwaltet eine MIG, die für einen Slice mit mehreren Hosts konfiguriert ist, eine Reihe von TPU-VMs, die über ICI-Verbindungen eng miteinander verbunden sind. Dadurch wird ein einzelner logischer TPU-Slice erstellt.

Vorteile und Leistung

MIGs für TPU-Slices mit mehreren Hosts bieten die Skalierbarkeit und Leistung, die für intensive ML-Arbeitslasten erforderlich sind.

  • Verteiltes Training: Für das Training von Modellen für maschinelles Lernen ist oft mehr TPU-Leistung erforderlich, als eine einzelne TPU-VM bereitstellen kann. Bei größeren TPU-Slices wird die Berechnung auf viele TPU-Chips und VMs verteilt. Die ICI-Verbindungen ermöglichen eine schnelle Kommunikation zwischen ihnen. Das ist entscheidend für die Trainingsleistung.
  • Hohe Bandbreite der Verbindungen: Das ICI-Netzwerk bietet eine höhere Bandbreite und eine geringere Latenz zwischen TPU-Chips im Slice als das Standard-Rechenzentrumsnetzwerk (Data Center Network, DCN). Dies ist für die synchronen Vorgänge, die beim Training großer Modelle üblich sind, unerlässlich.

Atomare Lebenszyklusvorgänge

Um die Integrität der verbundenen Topologie zu gewährleisten, verwaltet die MIG den gesamten Slice während seines gesamten Lebenszyklus als einzelne, unteilbare Einheit.

  • Erstellung: Alle VMs im Slice werden zusammen bereitgestellt. Wenn nicht genügend fehlerfreie, miteinander verbundene Kapazität für die gesamte angeforderte Topologie verfügbar ist, wird der Slice nicht erstellt.
  • Löschen: Die MIG löscht den gesamten Slice als Einheit.
  • Größe ändern: Die Größe kann nur von 0 auf die volle Segmentgröße oder von der vollen Segmentgröße auf 0 skaliert werden. Sie können die Größe eines Multi-VM-Slices nicht teilweise ändern.

Konfigurationsanforderungen

Für die Konfiguration einer MIG mit mehreren Hosts müssen sowohl die physische Verbindungstopologie als auch die Eigenschaften der einzelnen Instanzen definiert werden.

  • Arbeitslastrichtlinie: Sie müssen eine Arbeitslastrichtlinie mit dem Parameter accelerator-topology angeben (z. B. 4x4, 8x8 oder 4x4x4). Dadurch wird die MIG so konfiguriert, dass die Instanzen als einzelner, verbundener Slice behandelt werden. Informationen zur Topologie finden Sie unter TPU-Topologie.
  • Instanzvorlage: Definiert Attribute wie Maschinentyp, Laufwerk-Image und andere Einstellungen für jede VM im Slice.

Verfügbarkeit von Slices und Fehlerbehebung

Wenn Sie MIGs zum Erstellen eines TPU-Slice mit mehreren Hosts verwenden, hängt das Verhalten bei der Fehlerbehebung vom verwendeten Bereitstellungsmodell und Reservierungsmodus ab:

  • Wenn eine verwaltete Instanzgruppe On-Demand-, Flex-Start- oder Reservierungsinstanzen (außer Reservierungen im Modus „Alle Kapazitäten“) verwendet. In diesem Szenario verwaltet Compute Engine den Prozess zur Wiederherstellung von Slices automatisch. Wenn ein Host- oder ICI-Fehler auftritt, wechselt der Slice in den Status REACTIVATING. Alle VMs im Slice gehen in den Status REPAIRING über, aber nicht unbedingt alle gleichzeitig. Compute Engine stellt die Slice dann automatisch wieder her, indem die VMs gemeinsam auf fehlerfreier Kapazität neu gestartet werden.

  • Wenn eine MIG das Spot-Bereitstellungsmodell verwendet. In diesem Szenario sind Sie für die Verwaltung des Slice-Wiederherstellungsprozesses verantwortlich. Wenn Spot-VMs vorzeitig beendet werden, beendet Compute Engine alle Instanzen im Slice. Der Slice wechselt in den Status FAILED und die VMs in den Status TERMINATED. Um den Fehler zu beheben, müssen Sie das Slice manuell neu erstellen.

  • Wenn eine MIG Reservierungen im Modus „Alle Kapazitäten“ verwendet In diesem Szenario sind Sie für die Verwaltung des Slice-Wiederherstellungsprozesses verantwortlich. Wenn ein Fehler auftritt, wechselt der Slice in den Status FAILED und Sie müssen ihn manuell neu erstellen.

    Das Verhalten im Modus „Alle Kapazitäten“ hängt außerdem von Folgendem ab:

    • Hostfehler oder gemeldete fehlerhafte VM Die betroffene VM wechselt in den Status REPAIRING. Sobald die zugrunde liegende Hardware repariert ist, wechselt die VM wieder in den Status RUNNING.
    • Anstehende Notfallwartung Wenn Sie ein Wartungsereignis manuell starten, wechseln die VMs vom Status RUNNING in den Status REPAIRING. Nach Abschluss der Wartung wechselt die VM wieder in den Status RUNNING.
    • ICI-Fehler. Die VMs bleiben im Status RUNNING, aber der Slice wechselt in den Status FAILED.

Wenn Sie einen Slice nach dem vorzeitigen Beenden von Spot-VMs oder einem Fehler im Modus „All Capacity“ neu erstellen möchten, haben Sie folgende Möglichkeiten:

  • Löschen Sie die MIG und erstellen Sie sie neu.
  • Passen Sie die Größe der MIG auf 0 an und erhöhen Sie sie dann auf die erforderliche Größe.

Wiederherstellung nach einem Instanzunterbrechung

Wenn Sie eine TPU-Instanz löschen oder beenden oder eine Instanz über das Betriebssystem beenden, wechselt der Slice in den Status FAILED. In diesem Fall verbleibt der Slice im Status FAILED, bis Sie ihn neu erstellen. Um den Slice neu zu erstellen, müssen Sie entweder die MIG löschen und neu erstellen oder die Größe der MIG auf 0 ändern und dann vergrößern.

Weitere Informationen zu den Slice-Status finden Sie unter Status eines TPU-Slice ansehen.

Beschränkungen

In den folgenden Abschnitten werden die Einschränkungen beim Erstellen einer MIG mit TPU-VMs beschrieben.

Einschränkungen für Instanzvorlagen

Für Instanzvorlagen, in denen ein TPU-Maschinentyp angegeben ist, gelten die folgenden Einschränkungen:

  • Wenn Sie das reservierungsgebundene Bereitstellungsmodell verwenden, müssen Sie die Beendigungsaktion der Instanz auf „Löschen“ festlegen.

  • TPUs können nur spezifisch ausgewählte Reservierungen nutzen.

  • Sie können keine Platzierungsrichtlinie angeben.

  • In den folgenden Fällen dürfen Sie den automatischen Neustart nicht deaktivieren:

    • Multi-Host-Slices mit den Bereitstellungsmodellen „Standard“, „Flex-Start“ oder „Reservierungsgebunden“ (einschließlich des Modus „Alle Kapazitäten“).

    • Einzelner Host mit reservierungsgebundenem Bereitstellungsmodell im Modus „Alle Kapazitäten“.

  • Sie dürfen den automatischen Neustart nicht aktivieren, wenn Sie das Spot-Bereitstellungsmodell verwenden.

Einschränkungen für MIGs

Für MIGs mit TPUs gelten die folgenden Einschränkungen:

  • Lebenszyklusvorgänge: Sie können TPU-Instanzen nicht beenden, starten, fortsetzen oder anhalten. Wenn Sie Konfigurationen ändern möchten, für die ein Neustart erforderlich ist, oder wenn Sie keine Gebühren mehr zahlen möchten, müssen Sie die Instanzen löschen.

  • Zonenverteilung regionaler MIGs: Sie müssen die Zielverteilungsform auf ANY_SINGLE_ZONE festlegen.

  • Konfigurationsaktualisierungen in einer MIG:

    • Sie können eine verwaltete Instanzgruppe, die aufgrund der definierten Beschleunigertopologie einen TPU-Slice mit mehreren Hosts bildet, nicht aktualisieren.
    • Sie können eine MIG, die TPU-Slices mit einem einzelnen Host bildet, mit den automatischen oder selektiven Methoden aktualisieren. Die Updates für TPU-Slices mit einem einzelnen Host unterstützen jedoch die Aktion zum Neustarten (RESTART) nicht. Wenn ein Neustart erforderlich ist und die umfassendste zulässige Aktion „Ersetzen“ (REPLACE) ist, wird die Instanz durch das Updater-Tool ersetzt. Andernfalls schlägt der Aktualisierungsversuch mit einem Fehler fehl.

  • Für eine MIG, die einen TPU-Slice mit mehreren Hosts bildet, gelten außerdem die folgenden Einschränkungen:

    • Richtlinie für die Zielgröße: Sie müssen den Modus der Richtlinie für die Zielgröße auf BULK festlegen. Nachdem Sie diesen Modus festgelegt haben, können Sie ihn nicht mehr ändern.

    • Zielgröße: Im Bulk-Modus können Sie die Zielgröße entweder auf 0 oder auf die Anzahl der Instanzen festlegen, die für die Beschleunigertopologie erforderlich sind.

    • Arbeitslastrichtlinie: Sie müssen eine Arbeitslastrichtlinie angeben, in der die Beschleunigertopologie definiert ist. Nachdem Sie die Arbeitslastrichtlinie festgelegt haben, können Sie sie nicht mehr ändern oder aus der MIG entfernen.

    • Von MIG initiierte Reparaturen: Sie müssen von MIG initiierte Reparaturen deaktivieren, indem Sie das Feld defaultActionOnFailure auf DO_NOTHING setzen. In dieser Konfiguration führt die MIG keine Aktionen für eine fehlgeschlagene Instanz aus. Compute Engine stellt die fehlerhafte Instanz automatisch wieder her, indem alle Instanzen im selben Slice auf einer fehlerfreien Kapazität neu gestartet werden.

  • Nicht unterstützte Funktionen: MIGs mit TPUs unterstützen die folgenden Funktionen nicht:

Nächste Schritte