KI-optimierte MIG mit A4X erstellen

In diesem Dokument wird beschrieben, wie Sie eine verwaltete Instanzgruppe (Managed Instance Group, MIG) erstellen, die A4X-Maschinentypen verwendet. Weitere Informationen zu diesem beschleunigungsoptimierten Maschinentyp finden Sie unter A4X.

Erstellen Sie eine MIG, wenn Sie mehrere VMs als eine einzelne Entität verwalten möchten. Weitere Informationen zu MIGs finden Sie in der Compute Engine-Dokumentation unter Verwaltete Instanzgruppen.

Weitere Informationen zum Erstellen von VMs oder Clustern finden Sie unter Übersicht über Bereitstellungsoptionen.

Beschränkungen

Wenn Sie eine MIG mit A4X-VMs erstellen, müssen Sie die Einschränkungen für den Maschinentyp und die MIG berücksichtigen.

Einschränkungen für A4X-VMs

Es gelten die folgenden maschinenspezifischen Einschränkungen:

Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die diese Maschinentypen verwenden. Außerdem unterstützen A4X Max-Maschinentypen keine ressourcenbasierten Rabatte für zugesicherte Nutzung.
Sie können Instanzen nur in bestimmten Regionen und Zonen erstellen.
Sie können keinen nichtflüchtigen Speicher (regional oder zonenbasiert) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
Diese Maschinentypen sind nur auf der NVIDIA Grace-Plattform verfügbar.
Änderungen des Maschinentyps werden für A4X Max oder A4X nicht unterstützt. Wenn Sie zu einem dieser Maschinentypen wechseln oder von einem dieser Maschinentypen wechseln möchten, müssen Sie eine neue A4X-Max- oder A4X-Instanz erstellen.
Sie können Windows-Betriebssysteme nicht auf diesen Maschinentypen ausführen.
Bei A4X-Instanzen werden die Zähler für physische Ports, die mit _phy enden, nicht aktualisiert, wenn Sie ethtool -S verwenden, um das GPU-Netzwerk zu überwachen. Das ist das erwartete Verhalten für Instanzen, die die MRDMA-Architektur mit virtuellen Funktionen (VF) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Tools zur Netzwerküberwachung.
A4X Max- und A4X-Instanzen unterstützen Folgendes nicht:
Sie können Hyperdisk ML-Laufwerke, die vor dem 4. Februar 2026 erstellt wurden, nicht an A4X-Maschinentypen anhängen.

Beschränkungen für die MIG

Wenn Sie eine MIG mit A4X-VMs erstellen, gelten die folgenden Einschränkungen:

Wenn Sie eine regionale MIG erstellen, können mit der MIG nur VMs in der Zone erstellt werden, die das Profil Ihres VPC-Netzwerks enthält.
Sie können die Instanzflexibilität in der MIG nicht konfigurieren.
Wenn Sie eine Arbeitslastrichtlinie auf eine verwaltete Instanzgruppe anwenden, können Sie die Richtlinie in der verwalteten Instanzgruppe nicht ändern, wenn die Gruppe VMs enthält. Wenn Sie die Richtlinie in einer MIG mit VMs ändern möchten, müssen Sie die MIG zuerst auf null skalieren.
Sie können keine Instanzvorlage verwenden, die eine Platzierungsrichtlinie angibt, um eine MIG zu erstellen, die eine Arbeitslastrichtlinie verwendet.

Sie müssen das Bereitstellungsmodell reservierungsgebunden verwenden. Andere Bereitstellungsmodelle werden nicht unterstützt.
Sie können keine Anfrage zur Größenanpassung verwenden, um VMs zur MIG hinzuzufügen. Sie müssen die Zielgröße der MIG festlegen, um VMs hinzuzufügen.

Hinweise

Führen Sie vor dem Erstellen einer MIG die folgenden Schritte aus, sofern Sie dies noch nicht getan haben:

Nutzungsoption auswählen: Die von Ihnen gewählte Nutzungsoption bestimmt, wie Sie GPU-Ressourcen beziehen und nutzen.
Weitere Informationen finden Sie unter Nutzungsoption auswählen.
Kapazität abrufen: Der Prozess zum Abrufen von Kapazität unterscheidet sich für jede Verbrauchsoption.
Informationen zum Erhalten von Kapazität für die von Ihnen gewählte Verbrauchsoption finden Sie unter Kapazitätsübersicht.

Hinweis:Wenn Sie A4X-Kapazität anfordern, erhalten Sie sie im Modus „Alle Kapazitäten“. Dieser Modus ist der einzige unterstützte Betriebsmodus für Reservierungen für A4X-Maschinentypen. Weitere Informationen zum Modus „Alle Kapazitäten“ finden Sie unter Betriebsmodus für Reservierungen.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Erstellen einer MIG benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer MIG erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen einer MIG erforderlich:

So erstellen Sie eine MIG: compute.instanceGroupManagers.create für das Projekt

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

A4X-Grundlagen

Ein A4X-Cluster ist in eine Hierarchie von Blöcken und Unterblöcken unterteilt, um eine nicht blockierende Netzwerkleistung im großen Maßstab zu ermöglichen. Das Verständnis dieser Topologie ist entscheidend, wenn Sie Kapazität reservieren und Arbeitslasten bereitstellen.

A4X-Instanz: Eine A4X-Instanz ist ein einzelner A4X-Maschinentyp mit 4 angehängten GPUs.
NVLink-Domain oder ‑Unterblock: Eine NVLink-Domain, auch als Subblock bezeichnet, ist die Grundeinheit der A4X-Kapazität. Eine NVLink-Domäne besteht aus 18 A4X-Instanzen (72 GPUs), die über ein Multi-Node-NVLink-System verbunden sind. Sie erstellen eine A4X-NVLink-Domain oder einen Unterblock, indem Sie eine Arbeitslastrichtlinie anwenden, in der eine 1x72-Topologie angegeben ist.
Blockieren: Ein A4X-Block besteht aus 25 Unterblöcken (NVLink-Domains) mit insgesamt bis zu 450 A4X-Instanzen (1.800 GPUs). Die Unterblöcke sind schienenorientiert, um eine effiziente Skalierung zu ermöglichen. Für jeden Unterblock ist ein MIG erforderlich. Daher können Sie für einen einzelnen A4X-Block 25 MIGs erstellen.

Die folgende Tabelle zeigt die unterstützten Topologieoptionen für A4X-Instanzen:

Topologie (`acceleratorTopology`)	Anzahl der GPUs	Anzahl der Instanzen
`1x72`	72	18

Übersicht

Das Erstellen einer MIG mit dem Maschinentyp A4X umfasst die folgenden Schritte:

VPC-Netzwerke erstellen
Arbeitslastrichtlinie erstellen
Instanzvorlage erstellen
Eine MIG erstellen

VPC-Netzwerke erstellen

Tipp:Wenn Sie einen Schnelltest einrichten, können Sie diesen Schritt überspringen und stattdessen eine einzelne NIC --network-interface=nic-type=GVNIC angeben.

Wenn Sie das Netzwerk für den Maschinentyp A4X einrichten möchten, erstellen Sie drei VPC-Netzwerke für die folgenden Netzwerkschnittstellen:

2 reguläre VPC-Netzwerke für die gVNIC-Netzwerkschnittstellen (NIC). Sie werden für die Kommunikation zwischen Hosts verwendet.
Für die CX-7-NICs ist ein VPC-Netzwerk mit dem RoCE-Netzwerkprofil erforderlich, wenn mehrere A4X-Subblöcke erstellt werden. Das RoCE-VPC-Netzwerk muss vier Subnetze haben, ein Subnetz für jede CX-7-NIC. Diese NICs verwenden RDMA over Converged Ethernet (RoCE) und bieten so die Kommunikation mit hoher Bandbreite und geringer Latenz, die für die Skalierung auf mehrere A4X-Unterblöcke erforderlich ist. Bei einem einzelnen A4X-Subblock können Sie dieses VPC-Netzwerk überspringen, da die direkte GPU-zu-GPU-Kommunikation innerhalb eines einzelnen Subblocks über das Multi-Node-NVLink erfolgt.

Weitere Informationen zur NIC-Anordnung finden Sie unter Netzwerkbandbreite und NIC-Anordnung prüfen.

Sie können die Netzwerke entweder manuell anhand der Anleitungen oder automatisch mit dem bereitgestellten Skript erstellen.

Anleitungen

So erstellen Sie die Netzwerke:

Informationen zum Erstellen der regulären VPC-Netzwerke für die gVNICs finden Sie unter VPC-Netzwerke erstellen und verwalten.
Informationen zum Erstellen des RoCE-VPC-Netzwerks finden Sie unter VPC-Netzwerk für RDMA-NICs erstellen.

Für diese VPC-Netzwerke empfehlen wir, die maximale Übertragungseinheit (Maximum Transmission Unit, MTU) auf einen höheren Wert festzulegen. Für den Maschinentyp A4X wird eine MTU von 8896 Bytes empfohlen. Die empfohlenen MTU-Einstellungen für andere GPU-Maschinentypen finden Sie unter MTU-Einstellungen für GPU-Maschinentypen.

Skript

So erstellen Sie die Netzwerke:

Verwenden Sie das folgende Skript, um reguläre VPC-Netzwerke für die gVNICs zu erstellen.

  
    #!/bin/bash

    # Create regular VPC networks and subnets for the gVNICs
    for N in $(seq 0 1); do
      gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
        --subnet-mode=custom \
        --mtu=8896

      gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --region=REGION \
        --range=192.168.$N.0/24

      gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --action=ALLOW \
        --rules=tcp:0-65535,udp:0-65535,icmp \
        --source-ranges=192.168.0.0/16
    done

    # Create SSH firewall rules
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=tcp:22 \
      --source-ranges=IP_RANGE

    # Assumes that an external IP is only created for vNIC 0
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=icmp \
      --source-ranges=IP_RANGE

Wenn Sie mehrere A4X-Subblöcke benötigen, verwenden Sie das folgende Skript, um das RoCE-VPC-Netzwerk und die Subnetze für die vier CX-7-NICs auf jeder A4X-Instanz zu erstellen.

Wichtig:Wenn Ihre Bereitstellung nur aus einem einzelnen A4X-Unterblock besteht, können Sie diesen Schritt überspringen.
```
  
    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create network for CX-7
    gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
      --network-profile=ZONE-vpc-roce \
      --subnet-mode custom \
      --mtu=8896

    # Create subnets
    for N in $(seq 0 3); do
      gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
        --network=RDMA_NAME_PREFIX-mrdma \
        --region=REGION \
        --range=192.168.$((N+2)).0/24 & # offset to avoid overlap with gVNICs
    done

  
```
Ersetzen Sie Folgendes:
- GVNIC_NAME_PREFIX: Das benutzerdefinierte Namenspräfix, das für die regulären VPC-Netzwerke und -Subnetze für die gVNICs verwendet werden soll.
- RDMA_NAME_PREFIX: Das benutzerdefinierte Namenspräfix, das für das RoCE-VPC-Netzwerk und die Subnetze für die CX-7-NICs verwendet werden soll.
- ZONE: Geben Sie eine Zone an, in der der Maschinentyp, den Sie verwenden möchten, verfügbar ist, z. B. us-central1-a. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
- REGION: Die Region, in der Sie die Subnetze erstellen möchten. Diese Region muss der angegebenen Zone entsprechen. Wenn Ihre Zone beispielsweise us-central1-a ist, lautet Ihre Region us-central1.
- IP_RANGE: Der IP-Bereich, der für die SSH-Firewallregeln verwendet werden soll.
Optional: Prüfen Sie die Netzwerkeinstellungen in der Google Cloud -Konsole, um zu bestätigen, dass die VPC-Netzwerkressourcen erfolgreich erstellt wurden:
1. Rufen Sie in der Google Cloud Console die Seite VPC-Netzwerke auf.
  Zur Seite VPC-Netzwerke
2. Suchen Sie in der Liste nach den Netzwerken, die Sie im vorherigen Schritt erstellt haben.
3. Klicken Sie auf den Namen des Netzwerks, um die Subnetze, Firewallregeln und andere Netzwerkeinstellungen aufzurufen.

Arbeitslastrichtlinie erstellen

Sie können eine Arbeitslastrichtlinie nach dem Erstellen nicht mehr aktualisieren. Wenn Sie Änderungen an einer Arbeitslastrichtlinie vornehmen möchten, müssen Sie eine neue erstellen.

Wählen Sie eine der folgenden Optionen aus, um eine Arbeitslastrichtlinie zu erstellen:

gcloud

Verwenden Sie zum Erstellen einer Workload-Richtlinie den Befehl gcloud compute resource-policies create workload-policy.

Geben Sie für die Netzwerkkonfiguration zwischen Beschleunigern das Flag --accelerator-topology im Befehl an.

Verwenden Sie den folgenden Befehl für den Maschinentyp A4X. Die Beschleunigertopologie von 1x72 gibt 72 GPUs an, die über einen NVLink innerhalb eines Blocks verbunden sind.

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --accelerator-topology=1x72 \
    --region=REGION

Ersetzen Sie Folgendes:

WORKLOAD_POLICY_NAME: Der Name der Arbeitslastrichtlinie.
REGION: Die Region, in der Sie die Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.

REST

Senden Sie zum Erstellen einer Arbeitslastrichtlinie eine POST-Anfrage an die Methode resourcePolicies.insert.

Geben Sie für die Netzwerkkonfiguration zwischen Beschleunigern das Feld acceleratorTopology in der Anfrage an.

Stellen Sie die folgende Anfrage für den A4X-Maschinentyp. Die Beschleunigertopologie von 1x72 gibt 72 GPUs an, die über einen NVLink innerhalb eines Blocks verbunden sind.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "WORKLOAD_POLICY_NAME"
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "acceleratorTopology": "1x72"
    }
  }

Ersetzen Sie Folgendes:

PROJECT_ID: Ihre Projekt-ID.
REGION: Die Region, in der Sie die Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
WORKLOAD_POLICY_NAME: Der Name der Arbeitslastrichtlinie.

Instanzvorlage erstellen

Geben Sie die VM-Attribute für eine MIG an, indem Sie eine Instanzvorlage erstellen.

Wählen Sie eine der folgenden Optionen aus, um eine Instanzvorlage zu erstellen.

Mit den folgenden Befehlen wird auch der Zugriffsbereich für Ihre Instanzen festgelegt. Um die Berechtigungsverwaltung zu vereinfachen, empfiehlt Google, den Zugriffsbereich für eine Instanz auf cloud-platform-Zugriff festzulegen und dann mit IAM-Rollen zu definieren, auf welche Dienste die Instanz zugreifen kann. Weitere Informationen finden Sie unter Best Practices für Bereiche.

gcloud

Verwenden Sie zum Erstellen einer regionalen Instanzvorlage den Befehl gcloud compute instance-templates create.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=a4x-highgpu-4g \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

Ersetzen Sie Folgendes:

INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste der unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
DISK_SIZE: Die Größe des Bootlaufwerks in GB.
GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und ‑Subnetze angegeben haben, die RDMA-NICs verwenden.
RESERVATION: Der Name der Reservierung, eines Blocks oder eines Unterblocks innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Platzierung von Instanzen eine der folgenden Optionen aus:
- So erstellen Sie die Instanzen in einem beliebigen Block:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    
```
- So erstellen Sie die Instanzen auf einem bestimmten Block:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    
```
- So erstellen Sie die Instanzen in einem bestimmten Unterblock:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
    
```
Tipp:Wenn die Reservierung im aktuellen Projekt vorhanden ist, können Sie projects/RESERVATION_OWNER_PROJECT_ID/reservations/ aus dem Reservierungswert weglassen.

REST

Senden Sie zum Erstellen einer regionalen Instanzvorlage eine POST-Anfrage an die Methode regionInstanceTemplates.insert.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name":"INSTANCE_TEMPLATE_NAME",
  "properties":{
    "machineType":"a4x-highgpu-4g",
    "disks":[
      {
        "boot":true,
        "initializeParams":{
          "diskSizeGb":"DISK_SIZE",
          "diskType":"hyperdisk-balanced",
          "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode":"READ_WRITE",
        "type":"PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      }
    ],
    "reservationAffinity":{
        "consumeReservationType":"SPECIFIC_RESERVATION",
        "key":"compute.googleapis.com/reservation-name",
        "values":[
          "RESERVATION"
        ]
      },
    "scheduling":{
        "provisioningModel":"RESERVATION_BOUND",
        "instanceTerminationAction":"DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart":true
      }
  }
}

Ersetzen Sie Folgendes:

INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste der unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
DISK_SIZE: Die Größe des Bootlaufwerks in GB.
NETWORK_PROJECT_ID: die Projekt-ID des Netzwerks.
GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
REGION: die Region des Subnetzwerks.
RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und ‑Subnetze angegeben haben, die RDMA-NICs verwenden.
RESERVATION: Der Name der Reservierung, eines Blocks oder eines Unterblocks innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Platzierung von Instanzen eine der folgenden Optionen aus:
- So erstellen Sie die Instanzen in einem beliebigen Block:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    
```
- So erstellen Sie die Instanzen auf einem bestimmten Block:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    
```
- So erstellen Sie die Instanzen in einem bestimmten Unterblock:
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
    
```
Tipp:Wenn die Reservierung im aktuellen Projekt vorhanden ist, können Sie projects/RESERVATION_OWNER_PROJECT_ID/reservations/ aus dem Reservierungswert weglassen.

Eine MIG erstellen.

Wenn Sie einen A4X-Maschinentyp verwenden, müssen Sie eine MIG erstellen und die Zielgröße angeben.

Wenn Sie eine GPU-Topologie von 1x72 erhalten möchten, erstellen Sie eine MIG mit 18 Instanzen. Wenden Sie beim Erstellen der verwalteten Instanzgruppe die Arbeitslastrichtlinie an, in der das Feld acceleratorTopology angegeben ist. Durch Anwenden der Richtlinie wird sichergestellt, dass Compute Engine alle 18 Instanzen in einem Unterblock erstellt, um eine NVLink-Domain zu verwenden.

Wenn in einem Unterblock nicht genügend Kapazität für alle 18 Instanzen vorhanden ist, verbleiben alle verwalteten Instanzen, die nicht sofort erstellt werden können, im Status CREATING, bis Kapazität verfügbar wird. Diese verwalteten Instanzen stellen die VMs dar, die von der MIG erstellt werden, wenn Kapazität vorhanden ist.

Wenn Sie eine Arbeitslastrichtlinie mit dem Feld acceleratorTopology auf 1x72 anwenden, können Sie in einer MIG nicht mehr als 18 Instanzen erstellen. Wenn Sie mehr als 18 Instanzen angeben, schlägt die Erstellung der MIG fehl. Wenn Sie mehrere NVLink-Domains erstellen möchten, erstellen Sie für jede Domain eine separate MIG und wenden Sie dieselbe Arbeitslastrichtlinie auf jede MIG an.

Wählen Sie eine der folgenden Optionen aus, um eine MIG zu erstellen:

gcloud

Verwenden Sie den Befehl instance-groups managed create, um eine MIG mit einer angegebenen Zielgröße zu erstellen.

So erstellen Sie eine zonale oder regionale MIG:

Verwenden Sie den folgenden Befehl, um eine zonale MIG zu erstellen:

gcloud compute instance-groups managed create MIG_NAME \
  --template=INSTANCE_TEMPLATE_URL \
  --size=TARGET_SIZE \
  --workload-policy=WORKLOAD_POLICY_URL \
  --zone=ZONE

Verwenden Sie den folgenden Befehl, um eine regionale MIG zu erstellen:

gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --workload-policy=WORKLOAD_POLICY_URL \
    --region=REGION

Ersetzen Sie Folgendes:

MIG_NAME: Name der MIG.
INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von VMs in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
- Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
- Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
TARGET_SIZE: Die Anzahl der VMs, die Sie in der MIG haben möchten. Legen Sie für die Beschleunigertopologie von 1x72 die Zielgröße auf 18 fest.
WORKLOAD_POLICY_URL: die URL der Arbeitslastrichtlinie. Beispiel: projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.
ZONE: die Zone, in der Sie die verwaltete Instanzgruppe erstellen möchten. Geben Sie eine Zone innerhalb der Region der Arbeitslastrichtlinie an.
REGION: die Region, in der Sie die MIG erstellen möchten. Geben Sie dieselbe Region wie für die Arbeitslastrichtlinie an. Bei einer regionalen MIG können Sie anstelle einer Region die Zonen in dieser Region mit dem --zones-Flag angeben.

REST

Wenn Sie eine MIG mit einer bestimmten Zielgröße erstellen möchten, senden Sie eine POST-Anfrage.

So erstellen Sie eine zonale oder regionale MIG:

Wenn Sie eine zonale MIG erstellen möchten, senden Sie eine POST-Anfrage an die Methode instanceGroupManagers.insert.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "instanceTemplate": "INSTANCE_TEMPLATE_URL",
  "targetSize": "TARGET_SIZE",
  "resourcePolicies": {
    "workloadPolicy": WORKLOAD_POLICY_URL
  }
}

Um eine regionale MIG zu erstellen, senden Sie eine POST-Anfrage an die Methode regionInstanceGroupManagers.insert.

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
  {
    "versions": [
      {
        "instanceTemplate": "INSTANCE_TEMPLATE_URL"
      }
    ],
    "name": "MIG_NAME",
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "targetSize": "TARGET_SIZE",
    "resourcePolicies": {
      "workloadPolicy": WORKLOAD_POLICY_URL
    }
  }

Ersetzen Sie Folgendes:

PROJECT_ID: Projekt-ID.
ZONE: die Zone, in der Sie die MIG erstellen möchten. Geben Sie eine Zone innerhalb der Region der Arbeitslastrichtlinie an.
REGION: die Region, in der Sie die MIG erstellen möchten. Geben Sie dieselbe Region wie für die Arbeitslastrichtlinie an.
INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von VMs in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
- Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
- Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
MIG_NAME: Name der MIG.
TARGET_SIZE: Die Anzahl der VMs, die Sie in der MIG haben möchten. Legen Sie für die Beschleunigertopologie von 1x72 die Zielgröße auf 18 fest.
WORKLOAD_POLICY_URL: die URL der Arbeitslastrichtlinie. Beispiel: projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy

KI-optimierte MIG mit A4X erstellen Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Beschränkungen

Einschränkungen für A4X-VMs

Beschränkungen für die MIG

Hinweise

Erforderliche Rollen

Erforderliche Berechtigungen

A4X-Grundlagen

Übersicht

VPC-Netzwerke erstellen

Anleitungen

Skript

Arbeitslastrichtlinie erstellen

gcloud

REST

Instanzvorlage erstellen

gcloud

REST

Eine MIG erstellen.

gcloud

REST

Nächste Schritte

KI-optimierte MIG mit A4X erstellen