In diesem Dokument finden Sie eine Übersicht und einen Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien. Mit beiden Richtlinien können Sie die Platzierung von Compute Engine-Instanzen konfigurieren, um die Netzwerklatenz zu minimieren.
Standardmäßig verwalten Sie den Standort Ihrer Compute-Instanzen, indem Sie nur die Zonen angeben. Mit den folgenden Optionen können Sie Compute-Instanzen erstellen, die näher beieinander liegen. Weitere Informationen finden Sie auch unter Colocation von KI-Infrastrukturressourcen.
Die folgenden Ressourcen sind bereits dicht beieinander platziert:
- Ressourcen, die dieselbe vorausschauende Reservierung für Kapazitätsblöcke verwenden.
- Ressourcen, die dieselbe zukünftige Reservierung im Kalendermodus verwenden.
- Ressourcen, die Sie zusammen über eine Anfrage zur Größenänderung einer verwalteten Instanzgruppe (Managed Instance Group, MIG) erstellen.
Ressourcen, die Sie zusammen erstellen, wenn Sie die Verbrauchsoption „Flex-Start“ angeben, können je nach Verfügbarkeit nach dem Best-Effort-Prinzip dicht beieinander platziert werden. Wenn Sie stattdessen dicht beieinander platzierte Ressourcen benötigen, wenden Sie entweder eine Richtlinie für kompakte Platzierung mit einer maximalen Entfernung oder eine Arbeitslastrichtlinie mit einer maximalen Entfernung an.
Andernfalls wenden Sie eine Richtlinie für kompakte Platzierung oder eine Arbeitslastrichtlinie an, um Ressourcen nah beieinander zu platzieren.
- Wenn Sie dicht beieinander platzierte Ressourcen benötigen, geben Sie in der Richtlinie eine maximale Entfernung an.
- Wenn Sie dicht beieinander platzierte Ressourcen basierend auf der Verfügbarkeit nach dem Best-Effort-Prinzip wünschen, geben Sie in der Richtlinie keine maximale Entfernung an.
Weitere Informationen dazu, wann Sie eine Richtlinie für kompakte Platzierung und wann eine Arbeitslastrichtlinie verwenden sollten, finden Sie in diesem Dokument unter Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien.
Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien
In der folgenden Tabelle sind die Unterschiede zwischen Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien zusammengefasst:
| Richtlinie für kompakte Platzierung | Arbeitslastrichtlinie | |
|---|---|---|
| Verwendung der Richtlinie |
|
MIGs mit Cluster-GPUs |
| Unterstützte Maschinentypen | A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2, G4 und G2 |
|
| Gruppierungssemantik | Compute Engine platziert die Instanzen, die dieselbe Richtlinie für kompakte Platzierung verwenden, näher beieinander. Wir empfehlen, für jede Arbeitslast eine andere Platzierungsrichtlinie zu verwenden. Wenn Sie eine Platzierungsrichtlinie für Instanzen wiederverwenden, auf denen unterschiedliche Arbeitslasten ausgeführt werden, werden alle diese Instanzen zusammen platziert. Diese Colocation kann es erschweren, Instanzen zu erstellen, die nah beieinander liegen, wenn Sie eine bestimmte Arbeitslast horizontal skalieren. |
Compute Engine platziert die Instanzen in einer MIG, die eine Arbeitslastrichtlinie verwendet, näher beieinander. Wenn Sie eine Arbeitslastrichtlinie für mehrere MIGs wiederverwenden, auf denen unterschiedliche Arbeitslasten ausgeführt werden, werden die Instanzen in den einzelnen MIGs zusammen platziert. Die Wiederverwendung ist ideal für große Trainingsmodelle, bei denen jede Gruppe von Instanzen von den anderen isoliert werden muss. |
| Konfiguration der Colocation von Compute-Instanzen | Für die Colocation von Compute-Instanzen nach dem Best-Effort-Prinzip legen Sie das
|
Für die Colocation von Compute-Instanzen nach dem Best-Effort-Prinzip legen Sie das
|
| Zusätzliche Konfigurationen |
|
|
Weitere Informationen finden Sie in den folgenden Abschnitten:
Richtlinien für kompakte Platzierung
Wenn Sie Richtlinien für kompakte Platzierung auf eigenständige Compute-Instanzen oder auf Compute-Instanzen anwenden, die in großen Mengen erstellt wurden, versucht Compute Engine nach dem Best-Effort-Prinzip, die Compute-Instanzen so nah wie möglich beieinander zu platzieren. Wenn Ihre
Anwendung eine minimale Netzwerklatenz erfordert, geben Sie beim Erstellen einer Richtlinie für kompakte Platzierung das maxDistance
Feld (Vorabversion) an,
wenn Sie eine Richtlinie für kompakte Platzierung erstellen.
Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter Richtlinien für kompakte Platzierung.
Vergleich der Werte für die maximale Entfernung für Richtlinien für kompakte Platzierung
Ein niedrigerer Wert für die maximale Entfernung sorgt für eine engere Platzierung der Compute-Instanzen, erhöht aber auch die Wahrscheinlichkeit, dass einige Compute-Instanzen nicht erstellt werden.
In der folgenden Tabelle sind die Maschinenserien und die Anzahl der Compute-Instanzen aufgeführt, die von den einzelnen Werten für die maximale Entfernung unterstützt werden:
maxDistance in einer Richtlinie für kompakte Platzierung |
maxTopologyDistance in einer Arbeitslastrichtlinie |
Beschreibung | Unterstützte Maschinenserien | Maximale Anzahl von Compute-Instanzen |
|---|---|---|---|---|
| Nicht angegeben (nicht empfohlen) | Nicht angegeben (nicht empfohlen) | Compute Engine versucht nach dem Best-Effort-Prinzip, die Compute Instanzen so nah wie möglich beieinander zu platzieren, ohne jedoch eine maximale Entfernung zwischen den Compute-Instanzen festzulegen. | A4X Max, A4X, A4, A3 Ultra, A3 Mega1, A3 High1, A3 Edge1, A2, G4 und G2 | 1500 |
3 |
CLUSTER |
Compute Engine erstellt Compute-Instanzen in benachbarten Blöcken. | A4, A3 Mega1, A3 High1, A3 Edge1, A2, G4 und G2 | 1.500 |
2 |
BLOCK |
Compute Engine erstellt Compute-Instanzen im selben Block. | A4, A3 Ultra, A3 Mega1, A3 High1, A3 Edge1, A2, G4 und G2 |
|
1 |
SUBBLOCK |
Compute Engine erstellt Compute-Instanzen im selben Unterblock. | A3 Edge1, A2, G4 und G2 | 22 |
1 Wenn Sie eine Richtlinie für kompakte Platzierung auf eine A3 Mega-, A3 High- oder A3 Edge-Instanz anwenden möchten, die vor dem 1. Oktober 2025 erstellt wurde, wenden Sie sich an Ihr Account-Management-Team oder das Vertriebsteam.
Arbeitslastrichtlinien
Mit Arbeitslastrichtlinien können Sie die Platzierung und die zugrunde liegende Infrastruktur für die Compute-Instanzen in einer MIG angeben. Wenn Sie Arbeitslastrichtlinien mit A4X Max-, A4X-, A4-, A3 Ultra-, A3 Mega- und A3 High-Instanzen (8 GPUs) verwenden, können Sie die Netzwerklatenz zwischen Compute-Instanzen minimieren und die Leistung optimieren.
Je nach den Maschinentypen, die von den Compute-Instanzen in Ihrer MIG verwendet werden, sind Arbeitslastrichtlinien in den folgenden Situationen erforderlich oder optional:
Zum Bereitstellen von Unterblöcken von A4X Max- oder A4X-Instanzen sind Arbeitslastrichtlinien erforderlich.
Für die Verwendung von A4-, A3 Ultra-, A3 Mega- oder A3 High-Instanzen (8 GPUs) sind Arbeitslastrichtlinien optional.
Arbeitslastrichtlinien werden für die Maschinenserien A3 Edge, A2, G4, G2 und N1 nicht unterstützt. Für MIGs, die diese Maschinenserien verwenden, können Sie Richtlinien für kompakte Platzierung für die VM-Colocation verwenden.
Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter Arbeitslastrichtlinien in MIGs.