In diesem Dokument werden die Anforderungen und Einschränkungen erläutert, die beim Verwenden von Arbeitslastrichtlinien mit verwalteten Instanzgruppen (MIGs) gelten. Standardmäßig verwalten Sie den Speicherort Ihrer Compute Engine-Instanzen nur durch Angabe der Zonen. Mit Arbeitslastrichtlinien können Sie die physische Platzierung und Topologie Ihrer Compute-Instanzen innerhalb einer Zone definieren. So können Sie beispielsweise die Netzwerklatenz zwischen Ihren Compute-Instanzen minimieren, indem Sie sie näher beieinander platzieren.
Sie können Arbeitslastrichtlinien nur auf MIGs anwenden, für die Instanzen vom Typ A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) oder H4D verwendet werden. Wenn Sie A4X Max- oder A4X-Instanzen verwenden, ist eine Arbeitslastrichtlinie erforderlich, es sei denn, Sie erstellen eine einzelne Compute-Instanz zu Testzwecken. Für die anderen unterstützten Maschinenserien sind Arbeitslastrichtlinien optional.
Wenn Sie die Platzierung von Compute-Instanzen steuern möchten, die andere Maschinenserien verwenden, verwenden Sie Platzierungsrichtlinien.
Arbeitslastrichtlinien
In den folgenden Abschnitten werden Anwendungsfälle für Arbeitslastrichtlinien und die Eigenschaften beschrieben, die Sie beim Erstellen von Arbeitslastrichtlinien angeben.
Platzierung und Topologie von Compute-Instanzen verwalten
Nachdem Sie eine Arbeitslastrichtlinie erstellt und auf eine MIG angewendet haben, können Sie damit Folgendes erreichen:
Compute-Instanzen in der Nähe voneinander erstellen: Wenn Kapazität verfügbar ist, erstellt Compute Engine Compute-Instanzen in der Nähe voneinander. Andernfalls erstellt Compute Engine nur einige oder keine der angeforderten Compute-Instanzen.
Einblick in die Topologie Ihrer Compute-Instanzen erhalten: Nachdem Sie eine Arbeitslastrichtlinie mit dem Typ „Hoher Durchsatz“ (
HIGH_THROUGHPUT) auf eine MIG angewendet haben und die MIG Compute-Instanzen erstellt hat, können Sie die Position der Compute-Instanzen im Verhältnis zueinander sehen. Diese Informationen helfen Ihnen, die Netzwerklatenz zu minimieren und Fehler zu beheben. Weitere Informationen finden Sie unter Compute Engine-Instanztopologie ansehen.
Sie können dieselbe Arbeitslastrichtlinie auf mehrere MIGs anwenden. In diesem Fall wendet Compute Engine die Platzierungsregeln unabhängig auf jede MIG an.
Im folgenden Abschnitt werden die Attribute beschrieben, die Sie beim Erstellen von Arbeitslastrichtlinien angeben müssen.
Eigenschaften von Arbeitslastrichtlinien konfigurieren
Wenn Sie eine Arbeitslastrichtlinie erstellen, müssen Sie die folgenden Attribute angeben:
Arbeitslasttyp (
type): In diesem Feld wird das übergeordnete Ziel Ihres Clusters definiert. Sie können nurHIGH_THROUGHPUTangeben. Dadurch wird Compute Engine angewiesen, Recheninstanzen so nah wie möglich zueinander zu platzieren, um die Kommunikation zu beschleunigen.Je nach der Maschinenserie, die von den Compute-Instanzen in Ihrer MIG verwendet wird, können Sie optional eine der folgenden Eigenschaften angeben:
Beschleunigertopologie (
acceleratorTopology): Mit dieser Eigenschaft können Sie eine hohe Leistung für verteilte Arbeitslasten erzielen, die auf mehreren A4X Max- oder A4X-Instanzen ausgeführt werden, die eine spezielle Netzwerkkonfiguration zwischen Beschleunigern verwenden. Weitere Informationen finden Sie unter Attribut „Beschleunigertopologie“.Maximale Topologiedistanz (
maxTopologyDistance): Diese Eigenschaft definiert die strengste physische Grenze für die Erstellung Ihrer A4-, A3-Ultra-, A3-Mega-, A3-High- (8 GPUs) oder H4D-Instanzen, z. B. derselbe Block oder Unterblock. Wenn Compute Engine dieses strenge Limit aufgrund von Fehlern bei der Ressourcenverfügbarkeit nicht einhalten kann, werden nur einige oder keine der angeforderten Compute-Instanzen erstellt. Weitere Informationen finden Sie unter Attribut „Maximaler Topologieabstand“.
Eigenschaft der Beschleunigertopologie
Um eine nicht blockierende Netzwerkleistung im großen Maßstab zu erzielen, werden A4X Max- und A4X-Instanzen in Compute Engine in einer physischen Hierarchie von Blöcken und Unterblöcken organisiert.
Wenn Sie eine MIG mit A4X Max- oder A4X-Instanzen erstellen möchten, müssen Sie eine Arbeitslastrichtlinie auf die MIG anwenden, in der die Eigenschaft für die Beschleunigertopologie (acceleratorTopology) angegeben ist. Dieses Attribut definiert die physische Netzwerkkonfiguration für einen Slice von Compute-Instanzen. Ein Slice fungiert als einzelner, massiver Beschleuniger, der für Ihre verteilten KI- oder ML-Arbeitslasten einen maximalen Durchsatz bietet.
In der folgenden Tabelle sind die unterstützten Werte für die Beschleunigertopologie für Arbeitslastrichtlinien und die unterstützten Maschinenserien aufgeführt:
| Wert der Beschleunigertopologie | Beschreibung | Unterstützte Maschinenserien | Maximale Anzahl von Compute-Instanzen |
|---|---|---|---|
1x72 |
In Compute Engine werden Recheninstanzen in dicht zugewiesenen Unterblöcken von 18 Recheninstanzen mit insgesamt 72 GPUs organisiert. Da für jeden Unterblock eine eigene verwaltete Instanzgruppe erforderlich ist, können Sie maximal 18 Compute-Instanzen pro verwalteter Instanzgruppe erstellen. Ein vollständiger Block besteht aus 25 MIGs mit insgesamt 450 Compute-Instanzen. | A4X Max und A4X | 18 |
Weitere Informationen zu A4X Max- und A4X-Instanzen finden Sie unter A4X Max- und A4X-Maschinenserie.
Eigenschaft „Maximaler Topologieabstand“
Wenn Sie eine Arbeitslastrichtlinie für eine MIG erstellen und anwenden, versucht Compute Engine, die Compute-Instanzen so nah wie möglich beieinander zu erstellen. Wenn Sie in einer Zone maximale Kompaktheit benötigen, empfehlen wir, die Eigenschaft „Maximaler Topologieabstand“ (maxTopologyDistance) anzugeben. Mit einem maximalen Wert für die Topologiedistanz wird angegeben, dass A4-, A3 Ultra-, A3 Mega-, A3 High- (8 GPUs) oder H4D-Instanzen im selben Cluster, Block oder Unterblock erstellt werden sollen.
In der folgenden Tabelle sind die maximalen Werte für den Topologieabstand und die unterstützten Maschinenserien aufgeführt:
| Maximaler Topologieabstandswert | Beschreibung | Unterstützte Maschinenserien | Maximale Anzahl von Compute-Instanzen |
|---|---|---|---|
| Nicht angegeben (nicht empfohlen) | Compute Engine versucht, die Compute-Instanzen so nah wie möglich beieinander zu platzieren, ohne dass es eine maximale Entfernung zwischen den Compute-Instanzen in einer Zone gibt. | A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) und H4D | 1.500 |
CLUSTER |
Compute Engine erstellt Compute-Instanzen in angrenzenden Blöcken innerhalb eines Clusters. | A4 und H4D | 1.500 |
BLOCK |
Compute Engine erstellt Compute-Instanzen im selben Block. | A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) oder H4D |
|
SUBBLOCK |
Compute Engine erstellt Compute-Instanzen im selben Unterblock, um die Netzwerklatenz so weit wie möglich zu minimieren. | A4, A3 Ultra und H4D | 22 |
Preise
Für das Erstellen, Löschen oder Anwenden von Arbeitslastrichtlinien auf eine MIG fallen keine zusätzlichen Kosten an.
Beschränkungen
Für Arbeitslastrichtlinien in MIGs gelten die folgenden Einschränkungen:
Sie können eine Arbeitslastrichtlinie nur auf eine vorhandene verwaltete Instanzgruppe anwenden oder die Arbeitslastrichtlinie ändern, wenn keine Compute-Instanzen in der verwalteten Instanzgruppe vorhanden sind.
Sie können Arbeitslastrichtlinien nur auf MIGs mit Compute-Instanzen anwenden, die die folgenden Kombinationen aus Maschinentypen und Bereitstellungsmodellen verwenden:
Maschinenserie Bereitstellungsmodell A4, A3 Ultra und H4D Flex-Start A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) und H4D Spot A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) und H4D Reservierungsgebunden Sie können Arbeitslastrichtlinien nur auf regionale MIGs anwenden, wenn die MIGs die folgenden Zielverteilungsformen verwenden:
Für MIGs mit einer Zielgröße:
ANYoderANY_SINGLE_ZONEFür Anfragen zur Größenanpassung von MIGs:
ANY_SINGLE_ZONE
Sie können eine Arbeitslastrichtlinie nach dem Erstellen nicht mehr aktualisieren.
Sie können keine zweite Instanzvorlage konfigurieren, wenn Ihre MIG eine Arbeitslastrichtlinie verwendet.
Sie können Arbeitslastrichtlinien nicht zusammen mit Platzierungsrichtlinien verwenden.