Richtlinie für kompakte Platzierung und Arbeitslastrichtlinie – Übersicht

In diesem Dokument finden Sie eine Übersicht und einen Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien. Mit beiden Richtlinien können Sie die Platzierung von Compute Engine-Instanzen konfigurieren, um die Netzwerklatenz zu minimieren.

Standardmäßig verwalten Sie den Speicherort Ihrer Compute-Instanzen nur durch Angabe der Zonen. Wenn Sie zukünftige Reservierungen oder Anfragen zum Ändern der Größe von verwalteten Instanzgruppen (MIG) verwenden, um A4X-, A4-, A3 Ultra-, A3 Mega- und A3 High-Maschinen (8 GPUs) zu erhalten, werden die Compute-Instanzen, die Sie erhalten, dicht nebeneinander platziert. Möglicherweise möchten Sie jedoch bestimmte Compute-Instanzen näher beieinander platzieren, um die Leistung zwischen den Instanzen zu optimieren. Dazu können Sie Richtlinien für kompakte Platzierung auf Compute-Instanzen oder Arbeitslastrichtlinien auf MIGs anwenden.

Richtlinien für kompakte Platzierung für Compute-Instanzen

Wenn Sie Richtlinien für kompakte Platzierung auf eigenständige Compute-Instanzen oder auf Compute-Instanzen anwenden, die per Bulk-Verfahren erstellt wurden, versucht die Compute Engine, die Compute-Instanzen so nah wie möglich beieinander zu platzieren. Wenn Ihre Anwendung eine minimale Netzwerklatenz erfordert, geben Sie beim Erstellen einer Richtlinie für kompakte Platzierung das maxDistance Feld (Vorabversion) an, wenn Sie eine Richtlinie für kompakte Platzierung erstellen.

Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter Richtlinien für kompakte Platzierung.

Arbeitslastrichtlinien für MIGs

Wenn Sie Arbeitslastrichtlinien auf MIGs anwenden, können Sie die Platzierung und die zugrunde liegende Infrastruktur für die Compute-Instanzen in Ihren MIGs angeben. Durch die Verwendung von Arbeitslastrichtlinien mit A4X Max, A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs) können Sie die Netzwerklatenz zwischen Ihren Compute-Instanzen minimieren und die Leistung optimieren.

Je nach den Maschinentypen, die von den Compute-Instanzen in Ihrer MIG verwendet werden, sind Arbeitslastrichtlinien in den folgenden Situationen erforderlich oder optional:

  • Zum Bereitstellen von Unterblöcken von A4X Max- oder A4X-Instanzen sind Arbeitslastrichtlinien erforderlich.

  • Für die Verwendung von A4-, A3 Ultra-, A3 Mega- oder A3 High-Instanzen (8 GPUs) sind Arbeitslastrichtlinien optional.

Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter Arbeitslastrichtlinien in MIGs.

Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien

In der folgenden Tabelle sind die Unterschiede zwischen Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien zusammengefasst:

Richtlinie für kompakte Platzierung Arbeitslastrichtlinie
Verwendung der Richtlinie
  • Eigenständige Instanzen
  • Instanzen, die mit der Bulk API bereitgestellt wurden
 Verwaltete Instanzgruppen (MIGs)
Unterstützte Maschinentypen A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2 und G2
  • Für Flex-Start: A4 und A3 Ultra
  • Für Spot-Instanzen oder Reservierungen: A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs)
Gruppierungssemantik

Die Compute Engine platziert die Instanzen, die dieselbe Richtlinie für kompakte Platzierung verwenden, näher beieinander.

Wir empfehlen, für jede Arbeitslast eine andere Platzierungsrichtlinie zu verwenden. Wenn Sie eine Platzierungsrichtlinie für Instanzen wiederverwenden, auf denen unterschiedliche Arbeitslasten ausgeführt werden, werden alle diese Instanzen zusammen platziert. Diese gemeinsame Platzierung kann es erschweren, Instanzen zu erstellen, die nah beieinander liegen, wenn Sie eine bestimmte Arbeitslast skalieren.

Die Compute Engine platziert die Instanzen in einer MIG, die eine Arbeitslastrichtlinie verwendet, näher beieinander.

Wenn Sie eine Arbeitslastrichtlinie für mehrere MIGs wiederverwenden, auf denen unterschiedliche Arbeitslasten ausgeführt werden, werden die Instanzen in den einzelnen MIGs zusammen platziert. Die Wiederverwendung ist ideal für große Trainingsmodelle, bei denen jede Gruppe von Instanzen voneinander isoliert werden muss.
Konfiguration der gemeinsamen Platzierung von Compute-Instanzen

Setzen Sie das groupPlacementPolicy.collocation Feld auf COLLOCATED, um die gemeinsame Platzierung von Compute-Instanzen nach dem Best-Effort-Prinzip zu konfigurieren.

Setzen Sie das Feld workloadPolicy.type auf HIGH_THROUGHPUT, um die gemeinsame Platzierung von Compute-Instanzen nach dem Best-Effort-Prinzip zu konfigurieren.
Zusätzliche Konfigurationen
  • Geben Sie das maxDistance Feld an, um eine strikte Platzierung von Compute-Instanzen zu erzwingen.
  • Geben Sie für GPU-Familien, die Partitionierung unterstützen, z. B. A4X, das gpuTopology Feld an.
  • Geben Sie das maxTopologyDistance Feld an, um eine strikte Platzierung von Compute-Instanzen zu erzwingen.
  • Geben Sie für GPU-Familien, die Partitionierung unterstützen, z. B. A4X, das acceleratorTopology Feld an.

Vergleich der Werte für den maximalen Abstand

Ein niedrigerer Wert für den maximalen Abstand sorgt für eine engere Platzierung von Compute-Instanzen, erhöht aber auch die Wahrscheinlichkeit, dass einige Compute-Instanzen nicht erstellt werden.

In der folgenden Tabelle sind die Maschinenserien und die Anzahl der Compute-Instanzen aufgeführt, die von den einzelnen Werten für den maximalen Abstand unterstützt werden:

maxDistance in einer Richtlinie für kompakte Platzierung maxTopologyDistance in einer Arbeitslastrichtlinie Beschreibung Unterstützte Maschinenserien Maximale Anzahl von Compute-Instanzen
Nicht angegeben (nicht empfohlen) Nicht angegeben (nicht empfohlen) Die Compute Engine versucht, die Compute Instanzen so nah wie möglich beieinander zu platzieren, ohne dass es einen maximalen Abstand zwischen den Compute-Instanzen gibt. A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) 1500
3 CLUSTER Die Compute Engine erstellt Compute-Instanzen in benachbarten Blöcken. A4 1.500
2 BLOCK Die Compute Engine erstellt Compute-Instanzen im selben Block. A4 und A3 Ultra
  • Für A4-Instanzen: 150
  • Für A3 Ultra-, A3 Mega- und A3 High-Instanzen (8 GPUs): 256
1 SUBBLOCK Die Compute Engine erstellt Compute-Instanzen im selben Unterblock. A4 und A3 Ultra 22

Nächste Schritte