In diesem Dokument finden Sie eine Übersicht und einen Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien. Mit beiden Richtlinien können Sie die Platzierung von VM-Instanzen (virtuelle Maschinen) so konfigurieren, dass die Netzwerklatenz minimiert wird. Verwenden Sie Richtlinien für kompakte Platzierung für Instanzen, die einzeln oder im Bulk erstellt werden, und Richtlinien für Arbeitslasten für verwaltete Instanzgruppen (MIGs).
Standardmäßig verwalten Sie den Speicherort Ihrer VMs nur durch Angabe der Zonen. Wenn Sie zukünftige Reservierungen oder Flex-Start mit Anfragen zur Größenanpassung von verwalteten Instanzgruppen verwenden, um A4X-, A4-, A3 Ultra-, A3 Mega- und A3 High-Maschinen (8 GPUs) zu erhalten, werden die VM-Ressourcen, die Sie erhalten, standardmäßig dicht nebeneinander platziert. Möglicherweise möchten Sie jedoch bestimmte VMs näher beieinander platzieren, um die Leistung zwischen VMs in jeder Anwendung zu optimieren. Wenn Sie VMs näher beieinander platzieren möchten, können Sie Richtlinien für kompakte Platzierung auf VMs oder Richtlinien für Workloads mit hohem Durchsatz auf verwaltete Instanzgruppen anwenden.
Richtlinie für kompakte Platzierung für VMs
Wenn Sie Richtlinien für kompakte Platzierungen auf Ihre VMs anwenden, versucht Compute Engine, VMs so nah wie möglich beieinander zu erstellen. Wenn Ihre Anwendung latenzempfindlich ist und Sie möchten, dass die VMs so nah wie möglich beieinander platziert werden (maximale Kompaktheit), geben Sie beim Erstellen einer Richtlinie für kompakte Platzierung das Feld maxDistance (Vorabversion) an.
Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter Richtlinien für kompakte Platzierung.
Arbeitslastrichtlinie für MIGs
Mit einer Arbeitslastrichtlinie können Sie den Typ der Arbeitslast angeben, die Sie in Ihrer Infrastruktur ausführen möchten. Sie können auch die physischen Eigenschaften der zugrunde liegenden Infrastruktur angeben, z. B. die VM-Platzierung, um den angegebenen Typ optimal zu erfüllen.
Sie nehmen die folgenden Konfigurationseinstellungen für eine Arbeitslastrichtlinie vor:
Arbeitslasttyp (
type): Bei Arbeitslasten mit hohem Durchsatz (high-throughput) versucht Compute Engine nach besten Kräften, VMs so nah wie möglich zueinander zu platzieren. Die VM-Platzierung hängt vom Maschinentyp und der Verfügbarkeit der Zone der VMs ab.Zusätzliche Anforderung für die Verwendung von strikter Colocation oder Beschleunigertopologie von VMs. Sie können eine der folgenden Optionen angeben:
Strikte Colocation von VMs (
maxTopologyDistance): für eine granulare Netzwerkleistung mit geringer Latenz. Eine strikte Colocation bedeutet, dass Sie zusätzlich zum Best-Effort-Ansatz, Ihre VMs so nah wie möglich zueinander zu platzieren, den maximalen Abstand zwischen den VMs angeben können. Wenn die strenge Anforderung an die gemeinsame Platzierung aufgrund von Kapazitätsbeschränkungen nicht erfüllt wird, werden die VMs in der MIG nicht erstellt.Beschleunigertopologie von VMs (
acceleratorTopology): Um eine hohe Leistung für verteilte Arbeitslasten zu erzielen, die auf mehreren VMs ausgeführt werden, die eine spezielle Netzwerkkonfiguration zwischen Beschleunigern verwenden, z. B. A4X-VMs, die NVLink-Domains für GPUs verwenden.
Vergleich von Richtlinie für kompakte Platzierung und Arbeitslastrichtlinie
In der folgenden Tabelle sind die Unterschiede zwischen kompakten Platzierungsrichtlinien und Arbeitslastrichtlinien zusammengefasst:
| Richtlinie für kompakte Platzierungen | Arbeitslastrichtlinie | |
|---|---|---|
| Mit diesen Ressourcen verwenden |
|
Verwaltete Instanzgruppen (MIGs) |
| Unterstützte Maschinentypen | Alle GPU-Familien | A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs) |
| Semantik der Gruppierung | Compute Engine platziert Instanzen, die dieselbe Richtlinie für kompakte Platzierung verwenden, näher beieinander. Wir empfehlen, für jede Arbeitslast eine andere Platzierungsrichtlinie zu verwenden. Wenn Sie eine Platzierungsrichtlinie für Instanzen wiederverwenden, auf denen unterschiedliche Arbeitslasten ausgeführt werden, werden alle diese Instanzen zusammen platziert. Diese Colocation kann es erschweren, Instanzen zu erstellen, die nah beieinander liegen, wenn Sie eine bestimmte Arbeitslast skalieren. |
Compute Engine platziert die Instanzen in einer MIG, die eine Arbeitslastrichtlinie verwendet, näher beieinander. Wenn Sie eine Arbeitslastrichtlinie für mehrere MIGs wiederverwenden, in denen unterschiedliche Arbeitslasten ausgeführt werden, werden die Instanzen in den einzelnen MIGs zusammen platziert. Die Wiederverwendung ist ideal für große Trainingsmodelle, bei denen jede Gruppe von Instanzen voneinander isoliert werden muss. |
| Konfiguration der VM-Colocation | Für die bestmögliche VM-Colocation legen Sie das Feld |
Legen Sie das Feld |
| Zusätzliche Konfigurationen |
|
|
Vergleich der maximalen Entfernungswerte
Ein niedrigerer Wert für den maximalen Abstand sorgt für eine engere VM-Platzierung, erhöht aber auch die Wahrscheinlichkeit, dass einige VMs nicht erstellt werden.
In der folgenden Tabelle sind die Maschinenserien und die Anzahl der VMs aufgeführt, die von jedem maximalen Abstandswert unterstützt werden:
maxDistance in einer Richtlinie für kompakte Platzierung |
maxTopologyDistance in einer Arbeitslastrichtlinie |
Beschreibung | Unterstützte Maschinenserien | Maximale Anzahl von VMs |
|---|---|---|---|---|
| Nicht angegeben (nicht empfohlen) | Nicht angegeben (nicht empfohlen) | Compute Engine versucht, die VMs so nah wie möglich beieinander zu platzieren, ohne dass es eine maximale Entfernung zwischen den VMs gibt. | A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) | 1500 |
3 |
cluster |
Compute Engine erstellt VMs in angrenzenden Blöcken. | A4 | 1.500 |
2 |
block |
Compute Engine erstellt VMs im selben Block. | A4 und A3 Ultra |
|