Arbeitslastrichtlinien in MIGs

In diesem Dokument werden die Anforderungen und Einschränkungen erläutert, die bei der Verwendung von Arbeitslastrichtlinien mit verwalteten Instanzgruppen (Managed Instance Groups, MIGs) gelten. Standardmäßig verwalten Sie den Speicherort Ihrer Compute Engine-Instanzen nur durch Angabe der Zonen. Mit Arbeitslastrichtlinien können Sie die physische Platzierung und Topologie Ihrer Compute-Instanzen innerhalb einer Zone definieren. So können Sie beispielsweise die Netzwerklatenz zwischen Ihren Compute-Instanzen minimieren, indem Sie sie näher beieinander platzieren.

Sie können Arbeitslastrichtlinien nur auf MIGs anwenden, die A4X Max-, A4X-, A4-, A3 Ultra-, A3 Mega-, A3 High-Instanzen (8 GPUs), H4D- oder TPU-Instanzen (TPU7x, v6e oder v5p) verwenden. Wenn Sie A4X Max- oder A4X-Instanzen verwenden oder eine MIG mit einem TPU-Slice mit mehreren Hosts erstellen, ist eine Arbeitslastrichtlinie erforderlich, es sei denn, Sie erstellen eine einzelne Compute-Instanz zu Testzwecken. Für die anderen unterstützten Maschinenserien sind Arbeitslastrichtlinien optional.

Verwenden Sie Platzierungsrichtlinien, um die Platzierung von Compute-Instanzen zu steuern, die andere Maschinenserien verwenden.

Arbeitslastrichtlinien

In den folgenden Abschnitten werden Anwendungsfälle für Arbeitslastrichtlinien und die Attribute beschrieben, die Sie beim Erstellen von Arbeitslastrichtlinien angeben.

Platzierung und Topologie von Compute-Instanzen verwalten

Nachdem Sie eine Arbeitslastrichtlinie erstellt und auf eine MIG angewendet haben, können Sie mit Arbeitslastrichtlinien Folgendes erreichen:

  • Compute-Instanzen nahe beieinander erstellen: Wenn Kapazität verfügbar ist, erstellt Compute Engine Compute-Instanzen nahe beieinander. Andernfalls erstellt Compute Engine nur einige oder keine der angeforderten Compute-Instanzen.

  • Einblick in die Topologie Ihrer Compute-Instanzen erhalten: Nachdem Sie eine Arbeitslastrichtlinie mit dem Typ „Hoher Durchsatz“ (HIGH_THROUGHPUT) auf eine MIG angewendet haben, und die MIG Compute-Instanzen erstellt, können Sie die Position der Compute-Instanzen zueinander sehen. Diese Informationen helfen Ihnen, die Netzwerklatenz zu minimieren und Fehler zu beheben. Weitere Informationen finden Sie unter Compute Engine-Instanztopologie ansehen.

Sie können dieselbe Arbeitslastrichtlinie auf mehrere MIGs anwenden. In diesem Fall wendet Compute Engine die Platzierungsregeln unabhängig auf jede MIG an.

Im folgenden Abschnitt werden die Attribute beschrieben, die Sie beim Erstellen von Arbeitslastrichtlinien angeben müssen.

Attribute von Arbeitslastrichtlinien konfigurieren

Wenn Sie eine Arbeitslastrichtlinie erstellen, müssen Sie die folgenden Attribute angeben:

  • Arbeitslasttyp (type): In diesem Feld wird das allgemeine Ziel Ihres Clusters definiert. Sie können nur HIGH_THROUGHPUT angeben. Dadurch wird Compute Engine angewiesen, Compute-Instanzen so nah wie möglich beieinander zu platzieren, um die Kommunikation zu beschleunigen.

  • Je nach Maschinenserie, die von den Compute-Instanzen in Ihrer MIG verwendet wird, können Sie optional eines der folgenden Attribute angeben:

    • Beschleunigertopologie (acceleratorTopology): Mit diesem Attribut können Sie eine hohe Leistung für verteilte Arbeitslasten erzielen, die auf mehreren A4X Max- oder A4X-Instanzen oder TPU-Slices mit mehreren Hosts ausgeführt werden und eine spezielle Inter-Accelerator-Netzwerkkonfiguration verwenden. Weitere Informationen finden Sie unter Attribut „Beschleunigertopologie“.

    • Maximaler Topologieabstand (maxTopologyDistance): Mit diesem Attribut wird die strengste physische Grenze für das Erstellen Ihrer A4-, A3 Ultra-, A3 Mega-, A3 High-Instanzen (8 GPUs) oder H4D-Instanzen definiert, z. B. derselbe Block oder Unterblock. Wenn Compute Engine diese strenge Grenze aufgrund von Fehlern bei der Ressourcenverfügbarkeit nicht einhalten kann, werden nur einige oder keine der angeforderten Compute-Instanzen erstellt. Weitere Informationen finden Sie unter Attribut „Maximaler Topologieabstand“.

Attribut „Beschleunigertopologie“

Um eine nicht blockierende Netzwerkleistung im großen Maßstab zu erzielen, organisiert Compute Engine A4X Max- und A4X-Instanzen in einer physischen Hierarchie von Blöcken und Unterblöcken.

Wenn Sie eine MIG mit A4X Max- oder A4X-Instanzen oder TPU-Slices mit mehreren Hosts erstellen möchten, müssen Sie eine Arbeitslastrichtlinie auf die MIG anwenden, in der das Attribut „Beschleunigertopologie“ (acceleratorTopology) angegeben ist. Dieses Attribut definiert die physische Netzwerkkonfiguration für ein Slice von Compute-Instanzen. Ein Slice fungiert als einzelner, massiver Beschleuniger, der einen maximalen Durchsatz für Ihre verteilten KI- oder ML-Arbeitslasten bietet.

In der folgenden Tabelle sind die Werte für die Beschleunigertopologie für A4X Max und A4X aufgeführt. Weitere Informationen zu Topologiewerten für TPU-Slices mit mehreren Hosts finden Sie unter TPU-Topologie.

Wert für Beschleunigertopologie Beschreibung Unterstützte Maschinenserien Maximale Anzahl von Compute-Instanzen
1x72 Compute Engine organisiert Compute-Instanzen in dicht zugewiesenen Unterblöcken mit 18 Compute-Instanzen, insgesamt 72 GPUs. Da für jeden Unterblock eine eigene MIG erforderlich ist, können Sie maximal 18 Compute-Instanzen pro MIG erstellen. Ein vollständiger Block besteht aus 25 MIGs mit insgesamt 450 Compute-Instanzen. A4X Max und A4X 18

Weitere Informationen zu A4X Max- und A4X-Instanzen finden Sie unter A4X Max- und A4X-Maschinenserie.

Attribut „Maximaler Topologieabstand“

Wenn Sie eine Arbeitslastrichtlinie erstellen und auf eine MIG anwenden, versucht Compute Engine nach besten Kräften, Ihre Compute-Instanzen nahe beieinander zu erstellen. Wenn Sie eine maximale Kompaktheit in einer Zone benötigen, empfehlen wir, das Attribut „Maximaler Topologieabstand“ (maxTopologyDistance) anzugeben. Mit einem Wert für den maximalen Topologieabstand wird angegeben, dass A4-, A3 Ultra-, A3 Mega-, A3 High-Instanzen (8 GPUs) oder H4D-Instanzen im selben Cluster, Block oder Unterblock erstellt werden sollen.

In der folgenden Tabelle sind die Werte für den maximalen Topologieabstand und die unterstützten Maschinenserien aufgeführt:

Wert für maximalen Topologieabstand Beschreibung Unterstützte Maschinenserien Maximale Anzahl von Compute-Instanzen
Nicht angegeben (nicht empfohlen) Compute Engine versucht nach besten Kräften, die Compute Instanzen so nah wie möglich beieinander zu platzieren, aber es gibt keine Garantie für den maximalen Abstand zwischen Compute-Instanzen in einer Zone. A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) und H4D 1.500
CLUSTER Compute Engine erstellt Compute-Instanzen in benachbarten Blöcken innerhalb eines Clusters. A4 und H4D 1.500
BLOCK Compute Engine erstellt Compute-Instanzen im selben Block. A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) oder H4D
  • Für A4 oder H4D: 150
  • Für A3 Ultra, A3 Mega oder A3 High (8 GPUs): 256
SUBBLOCK Compute Engine erstellt Compute-Instanzen im selben Unterblock und minimiert so weit wie möglich die Netzwerklatenz. A4, A3 Ultra und H4D 22

Preise

Für das Erstellen, Löschen oder Anwenden von Arbeitslastrichtlinien auf eine MIG fallen keine zusätzlichen Kosten an.

Unterstützte Maschinenserien

Sie können Arbeitslastrichtlinien nur auf MIGs mit Compute-Instanzen anwenden, die die folgenden Kombinationen aus Maschinenserien und Bereitstellungsmodellen verwenden:

Maschinenserie Flex-Start Spot Reservierungsgebunden Standard
A4X Max Nein Nein Ja Nein
A4X Nein Nein Ja Nein
A4 Ja Ja Ja Nein
A3 Ultra Ja Ja Ja Nein
A3 Mega Nein Ja Ja Nein
A3 High (8 GPUs) Nein Ja Ja Nein
H4D Ja Ja Ja Nein
TPU7x Ja Ja Ja Ja
TPU v6e Ja Ja Ja Ja
TPU v5p Ja Ja Ja Ja

Beschränkungen

Für Arbeitslastrichtlinien in MIGs gelten die folgenden Einschränkungen:

  • Sie können eine Arbeitslastrichtlinie nur auf eine vorhandene MIG anwenden oder die Arbeitslastrichtlinie ändern, wenn sich keine Compute-Instanzen in der MIG befinden.

  • Sie können Arbeitslastrichtlinien nur auf regionale MIGs anwenden, wenn die MIGs die folgenden Zielverteilungsformen verwenden:

    • Für MIGs mit einer Zielgröße: ANY oder ANY_SINGLE_ZONE

    • Für Anfragen zur Größenanpassung von MIGs: ANY_SINGLE_ZONE

  • Sie können eine Arbeitslastrichtlinie nach dem Erstellen nicht mehr aktualisieren.

  • Sie können keine zweite Instanzvorlage konfigurieren, wenn Ihre MIG eine Arbeitslastrichtlinie verwendet.

  • Sie können Arbeitslastrichtlinien nicht zusammen mit Platzierungsrichtlinien verwenden.

Nächste Schritte