KI-optimierte A4- oder A3 Ultra-MIG erstellen

In diesem Dokument wird beschrieben, wie Sie eine verwaltete Instanzgruppe (MIG) erstellen, die A4- oder A3 Ultra-Maschinentypen verwendet. Weitere Informationen zu diesen beschleunigungsoptimierten Maschinentypen finden Sie unter A4 oder A3 Ultra.

Durch Erstellen einer MIG können Sie mehrere virtuelle Maschinen (VMs) als eine einzige Entität verwalten. Jede VM in einer MIG basiert auf einer Instanzvorlage. Durch die automatische Verwaltung der VMs in der Gruppe bieten MIGs Hochverfügbarkeit und Skalierbarkeit. Weitere Informationen zu verwalteten Instanzgruppen finden Sie in der Compute Engine-Dokumentation unter Verwaltete Instanzgruppen.

Weitere Informationen zu anderen Möglichkeiten, VMs oder Cluster zu erstellen, finden Sie unter Bereitstellungsoptionen – Übersicht.

Beschränkungen

Wenn Sie eine MIG mit A4- oder A3 Ultra-VMs erstellen, beachten Sie die Einschränkungen für den Maschinentyp und die MIG.

Einschränkungen für A4- oder A3 Ultra-VMs

Je nachdem, welche Maschinenserie die VMs in Ihrer MIG verwenden, gelten die folgenden Einschränkungen:

A4

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A4-Maschinentyp verwenden.
  • Sie können einen A4-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonal) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
  • Der A4-Maschinentyp ist nur auf der Emerald Rapids-CPU-Plattform verfügbar.
  • Sie können den Maschinentyp einer Instanz nicht in einen A4-Maschinentyp oder von einem A4-Maschinentyp in einen anderen Maschinentyp ändern. Sie müssen eine neue Instanz mit diesem Maschinentyp erstellen.
  • A4-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Sie können Windows-Betriebssysteme nicht auf einem A4-Maschinentyp ausführen.
  • Wenn Sie bei A4-Instanzen ethtool -S zum Überwachen des GPU-Netzwerks verwenden, werden die Zähler für physische Ports, die auf _phy enden, nicht aktualisiert. Dies ist das erwartete Verhalten für Instanzen, die die MRDMA-VF-Architektur (Virtual Function) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Tools für das Netzwerkmonitoring.
  • Sie können Hyperdisk ML-Laufwerke, die vor dem 4. Februar 2026 erstellt wurden, nicht an A4-Maschinentypen anhängen.

A3 Ultra

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A3-Ultra-Maschinentyp verwenden.
  • Sie können einen A3-Ultra-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonal) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
  • Der A3 Ultra-Maschinentyp ist nur auf der Emerald Rapids-CPU-Plattform verfügbar.
  • Änderungen des Maschinentyps werden für den A3 Ultra-Maschinentyp nicht unterstützt. Wenn Sie zu diesem Maschinentyp wechseln oder von diesem Maschinentyp zu einem anderen wechseln möchten, müssen Sie eine neue Instanz erstellen.
  • Sie können Windows-Betriebssysteme nicht auf einem A3-Ultra-Maschinentyp ausführen.
  • A3 Ultra-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Wenn Sie bei A3 Ultra-Instanzen ethtool -S zum Überwachen des GPU-Netzwerks verwenden, werden die Zähler für physische Ports, die auf _phy enden, nicht aktualisiert. Dies ist das erwartete Verhalten für Instanzen, die die MRDMA-VF-Architektur (Virtual Function) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Netzwerkmonitoring-Tools.

Beschränkungen für die MIG

Wenn Sie eine MIG mit A4- oder A3 Ultra-VMs erstellen, gelten die folgenden Einschränkungen:

  • Sie müssen Reparaturen in der MIG deaktivieren, wie in diesem Dokument beschrieben.

Einschränkungen für Anfragen zur Größenanpassung von MIGs

Für Anfragen zur Größenanpassung von MIGs gelten die folgenden Einschränkungen:

Weitere Informationen finden Sie unter Alle Einschränkungen für Anfragen zur Größenanpassung.

Hinweis

Führen Sie vor dem Erstellen einer MIG die folgenden Schritte aus, falls Sie dies noch nicht getan haben:

  1. Nutzungsoption auswählen: Die gewählte Nutzungsoption bestimmt, wie Sie GPU-Ressourcen erhalten und verwenden. Weitere Informationen finden Sie unter Nutzungsoption auswählen.
  2. Kapazität erhalten: Der Prozess zum Erhalten von Kapazität unterscheidet sich je nach Verbrauchsoption. Informationen zum Erhalten von Kapazität für die von Ihnen ausgewählte Nutzungsoption finden Sie unter Kapazitätsübersicht.
  3. Berechtigungen des Google APIs-Dienst-Agents prüfen: Wenn Sie VMs in einer MIG erstellen, verwendet Compute Engine den Google APIs-Dienst-Agent (PROJECT_NUMBER@cloudservices.gserviceaccount.com) in Ihrem Projekt. Wenn Ihre Instanzvorlage Ressourcen aus einem anderen Projekt verwendet, prüfen Sie, ob dieser Dienst-Agent die erforderlichen Berechtigungen hat:

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer MIG benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer MIG erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen einer MIG erforderlich:

  • Zum Erstellen einer MIG: compute.instanceGroupManagers.create für das Projekt

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Übersicht

Das Erstellen einer MIG mit dem Maschinentyp A4 oder A3 Ultra umfasst die folgenden Schritte:

  1. VPC-Netzwerke erstellen
  2. Optional: Arbeitslastrichtlinie erstellen
  3. Instanzvorlage erstellen
  4. Eine MIG erstellen
  5. GPU-Treiber installieren
  6. Optional: NVIDIA-Multi-Instanz-GPU-Modus aktivieren

VPC-Netzwerke erstellen

Wenn Sie das Netzwerk für die Maschinentypen A4 oder A3 Ultra einrichten möchten, erstellen Sie drei VPC-Netzwerke für die folgenden Netzwerkschnittstellen:

  • 2 reguläre VPC-Netzwerke für die gVNIC-Netzwerkschnittstellen (NICs). Die NICs verwenden diese VPC-Netzwerke dann für die Host-zu-Host-Kommunikation.
  • 1 VPC-Netzwerk mit dem RoCE-Netzwerkprofil für die CX-7-NICs. Das RoCE-VPC-Netzwerk für VM-Instanzen muss acht Subnetze haben, ein Subnetz für jede CX-7-NIC. Diese NICs verwenden RDMA-RoCE (Remote Direct Memory Access over Converged Ethernet) und bieten die Kommunikation mit hoher Bandbreite und niedriger Latenz, die für die GPU-zu-GPU-Kommunikation unerlässlich ist.

Weitere Informationen zur NIC-Anordnung finden Sie unter Netzwerkbandbreite und NIC-Anordnung prüfen.

Erstellen Sie die Netzwerke entweder manuell anhand der Anleitung oder automatisch mit dem bereitgestellten Script.

Anleitungen

So erstellen Sie die Netzwerke:

Legen Sie für diese VPC-Netzwerke einen höheren Wert für die maximale Übertragungseinheit (MTU) fest. Für A4- oder A3-Ultra-Maschinentypen wird eine MTU von 8896 Byte empfohlen. Informationen zu den empfohlenen MTU-Einstellungen für andere GPU-Maschinentypen finden Sie unter MTU-Einstellungen für GPU-Maschinentypen.

Skript

So erstellen Sie die Netzwerke:

Legen Sie für diese VPC-Netzwerke einen höheren Wert für die maximale Übertragungseinheit (MTU) fest. Für A4- oder A3-Ultra-Maschinentypen wird eine MTU von 8896 Byte empfohlen. Informationen zu den empfohlenen MTU-Einstellungen für andere GPU-Maschinentypen finden Sie unter MTU-Einstellungen für GPU-Maschinentypen.

  1. Verwenden Sie das folgende Script, um VPC-Netzwerke für die gVNICs und CX-7-NICs zu erstellen.

    
    #!/bin/bash

    # Create regular VPC networks and subnets for the gVNICs
    for N in $(seq 0 1); do
      gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
        --subnet-mode=custom \
        --mtu=8896

      gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --region=REGION \
        --range=10.$N.0.0/16

      gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --action=ALLOW \
        --rules=tcp:0-65535,udp:0-65535,icmp \
        --source-ranges=10.0.0.0/8
    done

    # Create SSH firewall rules
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=tcp:22 \
      --source-ranges=IP_RANGE

    # Assumes that an external IP is only created for vNIC 0
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=icmp \
      --source-ranges=IP_RANGE


    #!/bin/bash

    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create network for RDMA NICs
    gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
      --network-profile=ZONE-vpc-roce \
      --subnet-mode custom \
      --mtu=8896

    # Create subnets
    for N in $(seq 0 7); do
      gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
        --network=RDMA_NAME_PREFIX-mrdma \
        --region=REGION \
        --range=10.$((N+2)).0.0/16 # offset to avoid overlap with gVNICs
    done

    2. Ersetzen Sie Folgendes:

    • GVNIC_NAME_PREFIX: Das benutzerdefinierte Namenspräfix, das für die regulären VPC-Netzwerke und -Subnetze für die gVNICs verwendet werden soll.
    • RDMA_NAME_PREFIX: Das benutzerdefinierte Namenspräfix, das für das RoCE-VPC-Netzwerk für VM-Instanzen (roce) und Subnetze für die CX-7-NICs verwendet werden soll.
    • ZONE: Geben Sie eine Zone an, in der der gewünschte Maschinentyp verfügbar ist, z. B. us-central1-a. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
    • REGION: Die Region, in der Sie die Subnetze erstellen möchten. Diese Region muss der angegebenen Zone entsprechen. Wenn Ihre Zone beispielsweise us-central1-a ist, lautet Ihre Region us-central1.
    • IP_RANGE: Der IP-Bereich, der für die SSH-Firewallregeln verwendet werden soll.
  2. Optional: Prüfen Sie in der Google Cloud -Konsole die Netzwerkeinstellungen, um festzustellen, ob die VPC-Netzwerkressourcen erfolgreich erstellt wurden:
    1. Rufen Sie in der Google Cloud Console die Seite VPC-Netzwerke auf.

      Zur Seite VPC-Netzwerke

    2. Suchen Sie in der Liste nach den Netzwerken, die Sie im vorherigen Schritt erstellt haben.
    3. Klicken Sie auf den Namen des Netzwerks, um die Subnetze, Firewallregeln und andere Netzwerkeinstellungen aufzurufen.

Optional: Arbeitslastrichtlinie erstellen

Wenn Sie möchten, dass Ihre VMs in einem einzelnen Block oder in benachbarten Blöcken platziert werden, geben Sie die VM-Platzierung an, indem Sie eine Arbeitslastrichtlinie erstellen. Wenn Sie jedoch möchten, dass Compute Engine Ihre VMs in einem bestimmten Block platziert, überspringen Sie diesen Schritt und geben Sie den Namen des Blocks in der Reservierungsaffinität an, wenn Sie die Instanzvorlage erstellen.

Wählen Sie eine der folgenden Optionen aus, um eine Arbeitslastrichtlinie zu erstellen:

gcloud

Verwenden Sie zum Erstellen einer Arbeitslastrichtlinie den Befehl gcloud compute resource-policies create workload-policy.

  • Geben Sie für eine Best-Effort-Platzierung von A4-VMs das Flag --type=high-throughput im Befehl an:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • Geben Sie für die strikte Zusammenstellung von A4- oder A3 Ultra-VMs die Flags --max-topology-distance und --type=high-throughput im Befehl an:

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --region=REGION

Ersetzen Sie Folgendes:

  • WORKLOAD_POLICY_NAME: der Name der Arbeitslastrichtlinie.
  • TOPOLOGY_DISTANCE: der maximale Topologieabstand. Geben Sie einen der folgenden Werte an:
    • So platzieren Sie A4- oder A3 Ultra-VMs im selben Unterblock: SUBBLOCK
    • So platzieren Sie A4- oder A3 Ultra-VMs im selben Block: BLOCK
    • So platzieren Sie A4-VMs im selben Cluster: CLUSTER
    Hinweis: Ein kürzerer maximaler Abstand kann die Wahrscheinlichkeit der VM-Verfügbarkeit verringern. Weitere Informationen finden Sie unter Attribut „Maximaler Topologieabstand“.
  • REGION: Die Region, in der Sie die Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.

REST

Senden Sie zum Erstellen einer Arbeitslastrichtlinie eine POST-Anfrage an die Methode resourcePolicies.insert.

  • Geben Sie für eine Best-Effort-Platzierung von A4-VMs das Feld type in der Anfrage so an:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "WORKLOAD_POLICY_NAME"
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT"
    }
  }

  • Geben Sie für die strikte Zusammenstellung von A4- oder A3 Ultra-VMs die Felder maxTopologyDistance und type in der Anfrage so an:

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "WORKLOAD_POLICY_NAME"
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "maxTopologyDistance": "TOPOLOGY_DISTANCE"
    }
  }

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID.
  • REGION: Die Region, in der Sie die Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • WORKLOAD_POLICY_NAME: der Name der Arbeitslastrichtlinie.
  • TOPOLOGY_DISTANCE: der maximale Topologieabstand. Geben Sie einen der folgenden Werte an:
    • So platzieren Sie A4- oder A3 Ultra-VMs im selben Unterblock: SUBBLOCK
    • So platzieren Sie A4- oder A3 Ultra-VMs im selben Block: BLOCK
    • So platzieren Sie A4-VMs im selben Cluster: CLUSTER
    Hinweis: Ein kürzerer maximaler Abstand kann die Wahrscheinlichkeit der VM-Verfügbarkeit verringern. Weitere Informationen finden Sie unter Attribut „Maximaler Topologieabstand“.

Instanzvorlage erstellen

Geben Sie die VM-Attribute für eine MIG an, indem Sie eine Instanzvorlage erstellen.

Wählen Sie eine der folgenden Optionen aus, um eine Instanzvorlage zu erstellen:

Mit den folgenden Befehlen wird auch der Zugriffsbereich für Ihre Instanzen festgelegt. Um die Berechtigungsverwaltung zu vereinfachen, empfiehlt Google, den Zugriffsbereich für eine Instanz auf cloud-platform-Zugriff festzulegen und dann mithilfe von IAM-Rollen zu definieren, auf welche Dienste die Instanz zugreifen kann. Weitere Informationen finden Sie unter Best Practices für Bereiche.

gcloud

Verwenden Sie zum Erstellen einer regionalen Instanzvorlage den Befehl gcloud compute instance-templates create.

Die Parameter, die Sie angeben müssen, hängen von der Verbrauchsoption ab, die Sie für diese Bereitstellung verwenden. Wählen Sie den Tab aus, der Ihrer Nutzungsoption entspricht.

Reservierung

A4- oder A3-Ultra-Instanzen unterstützen die folgenden Arten von Reservierungen:

  • Vorausschauende Reservierungen für Kapazitätsblöcke
  • Vorausschauende Reservierungen im Kalendermodus

Damit diese Arten von Reservierungen genutzt werden können, muss eine Instanz das reservierungsgebundene Bereitstellungsmodell verwenden. Verwenden Sie beispielsweise die folgenden Erstellungsparameter.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address 
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

Ersetzen Sie Folgendes:

  • INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
  • MACHINE_TYPE: der für die A4- oder A3 Ultra-Instanz zu verwendende Maschinentyp. Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter GPU-Maschinentypen.
  • IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  • IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
  • REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
  • GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
  • RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die RDMA-NICs verwenden.
  • RESERVATION: entweder der Reservierungsname oder ein bestimmter Block innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Instanzplatzierung eine der folgenden Optionen aus:

    • So erstellen Sie Instanzen über mehrere Blöcke hinweg oder auf einem einzelnen Block:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

      Erstellen Sie außerdem für einen einzelnen Block die MIG, indem Sie eine Arbeitslastrichtlinie anwenden, die eine Block-Colocation (maxTopologyDistance=BLOCK) angibt. Die Compute Engine wendet die Richtlinie dann auf die Reservierung an und erstellt Instanzen im selben Block.

    • So erstellen Sie Instanzen in einem bestimmten Block:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME

Flex-Start

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address 
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --instance-termination-action=DELETE \
    --max-run-duration=RUN_DURATION \
    --maintenance-policy=TERMINATE \
    --provisioning-model=FLEX_START

Ersetzen Sie Folgendes:

  • INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
  • MACHINE_TYPE: der für die A4- oder A3 Ultra-Instanz zu verwendende Maschinentyp. Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter GPU-Maschinentypen.
  • IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  • IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
  • REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
  • GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
  • RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die RDMA-NICs verwenden.
  • RUN_DURATION: die Dauer, für die die angeforderten VMs ausgeführt werden sollen. Sie müssen den Wert als Anzahl von Tagen, Stunden, Minuten oder Sekunden gefolgt von d, h, m bzw. s formatieren. Geben Sie beispielsweise 30m für 30 Minuten oder 1d2h3m4s für einen Tag, zwei Stunden, drei Minuten und vier Sekunden an. Der Wert muss zwischen 10 Minuten und 7 Tagen liegen.

Spot

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address 
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE \
    --no-restart-on-failure

Ersetzen Sie Folgendes:

  • INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
  • MACHINE_TYPE: der für die A4- oder A3 Ultra-Instanz zu verwendende Maschinentyp. Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter GPU-Maschinentypen.
  • IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  • IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
  • REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
  • GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
  • RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die RDMA-NICs verwenden.

  • TERMINATION_ACTION: die Aktion, die ausgeführt werden soll, wenn Compute Engine die Instanz vorzeitig beendet, entweder STOP (Standard) oder DELETE.

REST

Senden Sie zum Erstellen einer regionalen Instanzvorlage eine POST-Anfrage an die regionInstanceTemplates.insert-Methode.

Die Parameter, die Sie angeben müssen, hängen von der Verbrauchsoption ab, die Sie für diese Bereitstellung verwenden. Wählen Sie den Tab aus, der Ihrer Nutzungsoption entspricht.

Reservierung

A4- oder A3-Ultra-Instanzen unterstützen die folgenden Arten von Reservierungen:

  • Vorausschauende Reservierungen für Kapazitätsblöcke
  • Vorausschauende Reservierungen im Kalendermodus

Damit diese Arten von Reservierungen genutzt werden können, muss eine Instanz das reservierungsgebundene Bereitstellungsmodell verwenden. Verwenden Sie beispielsweise die folgenden Erstellungsparameter.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
      }
    ],
    "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION"
        ]
      },
    "scheduling": {
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart": true
      }
  }
}

Ersetzen Sie Folgendes:

  • INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
  • MACHINE_TYPE: der für die A4- oder A3 Ultra-Instanz zu verwendende Maschinentyp. Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter GPU-Maschinentypen.
  • IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  • IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
  • REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
  • NETWORK_PROJECT_ID: die Projekt-ID des Netzwerks.
  • GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
  • REGION: die Region des Subnetzwerks.
  • RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die RDMA-NICs verwenden.
  • RESERVATION: entweder der Reservierungsname oder ein bestimmter Block innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Instanzplatzierung eine der folgenden Optionen aus:

    • So erstellen Sie Instanzen über mehrere Blöcke hinweg oder auf einem einzelnen Block:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

      Erstellen Sie außerdem für einen einzelnen Block die MIG, indem Sie eine Arbeitslastrichtlinie anwenden, die eine Block-Colocation (maxTopologyDistance=BLOCK) angibt. Die Compute Engine wendet die Richtlinie dann auf die Reservierung an und erstellt Instanzen im selben Block.

    • So erstellen Sie Instanzen in einem bestimmten Block:

      projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME

Flex-Start

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
      }
    ],
    "scheduling": {
        "instanceTerminationAction": "DELETE",
        "maxRunDuration": {
          "seconds": RUN_DURATION
        },
        "onHostMaintenance": "TERMINATE",
        "provisioningModel": "FLEX_START"
      }

  }
}

Ersetzen Sie Folgendes:

  • INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
  • MACHINE_TYPE: der für die A4- oder A3 Ultra-Instanz zu verwendende Maschinentyp. Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter GPU-Maschinentypen.
  • IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  • IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
  • REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
  • NETWORK_PROJECT_ID: die Projekt-ID des Netzwerks.
  • GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
  • REGION: die Region des Subnetzwerks.
  • RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die RDMA-NICs verwenden.
  • RUN_DURATION: die Dauer in Sekunden, für die die angeforderten VMs ausgeführt werden sollen. Der Wert muss zwischen 600, d. h. 600 Sekunden (10 Minuten) und 604800, also 604.800 Sekunden (7 Tage) liegen.

Spot

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
      }
    ],
    "scheduling":
    {
      "provisioningModel": "SPOT",
      "instanceTerminationAction": "TERMINATION_ACTION",
      "onHostMaintenance": "TERMINATE",
      "automaticRestart": false
    }
  }
}

Ersetzen Sie Folgendes:

  • INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
  • MACHINE_TYPE: der für die A4- oder A3 Ultra-Instanz zu verwendende Maschinentyp. Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter GPU-Maschinentypen.
  • IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  • IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
  • REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
  • NETWORK_PROJECT_ID: die Projekt-ID des Netzwerks.
  • GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
  • REGION: die Region des Subnetzwerks.
  • RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die RDMA-NICs verwenden.

  • TERMINATION_ACTION: die Aktion, die ausgeführt werden soll, wenn Compute Engine die Instanz vorzeitig beendet, entweder STOP (Standard) oder DELETE.

Nachdem Sie die Instanzvorlage erstellt haben, können Sie sie aufrufen, um ihre ID und ihre Instanzattribute zu sehen.

Eine MIG erstellen.

Nachdem Sie alle vorherigen Schritte ausgeführt haben, erstellen Sie eine MIG für Ihr Szenario:

Szenario Methode zum Erstellen einer MIG und von VMs darin Beispiel
Sie haben mehrere oder parallele Jobs, die mit einer beliebigen Anzahl von VMs gestartet werden können. Erstellen Sie eine MIG und geben Sie mit der Zielgröße die Anzahl der VMs an, die Sie in der Gruppe haben möchten.

Weitere Informationen finden Sie unter MIG mit einer Zielgröße erstellen.

 ML-Inferenzjobs
Sie haben einen Job, der auf eine genaue Anzahl von VMs verteilt werden muss. Erstellen Sie eine MIG ohne VMs und erstellen Sie dann eine Anfrage zur Größenanpassung in der MIG. Mit der Anfrage zur Größenanpassung können Sie alle VMs auf einmal erhalten.

Weitere Informationen finden Sie unter MIG und Anfrage zur Größenanpassung erstellen.

 Verteilte ML-Trainings- und Feinabstimmungsjobs

MIG mit einer Zielgröße erstellen

Wenn Sie Ihren Job starten können, ohne alle VMs auf einmal zu erstellen, erstellen Sie eine MIG mit einer Zielgröße. Die Zielgröße bestimmt die Anzahl der VMs in der verwalteten Instanzgruppe. Die MIG beginnt mit dem Erstellen von VMs basierend auf der aktuellen Ressourcenverfügbarkeit. Wenn Ressourcen vorübergehend nicht verfügbar sind, versucht die verwaltete Instanzgruppe kontinuierlich, VMs zu erstellen, um die Zielgröße zu erreichen.

Wählen Sie eine der folgenden Optionen aus, um eine MIG mit einer Zielgröße zu erstellen:

gcloud

Verwenden Sie den Befehl instance-groups managed create, um eine MIG mit einer bestimmten Zielgröße zu erstellen.

Die Befehle, die Sie zum Erstellen einer MIG verwenden, nutzen eine Arbeitslastrichtlinie, um die Instanzplatzierung anzugeben. Wenn Sie keine Arbeitslastrichtlinie verwenden möchten, entfernen Sie das Flag --workload-policy.

So erstellen Sie eine zonale oder regionale MIG:

  • Verwenden Sie den folgenden Befehl, um eine zonale MIG zu erstellen: 
    gcloud compute instance-groups managed create MIG_NAME \
  --template=INSTANCE_TEMPLATE_URL \
  --size=TARGET_SIZE \
  --workload-policy=WORKLOAD_POLICY_URL \
  --zone=ZONE
  • Verwenden Sie zum Erstellen einer regionalen MIG den folgenden Befehl: 
    gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --workload-policy=WORKLOAD_POLICY_URL \
    --region=REGION
Ersetzen Sie Folgendes:
  • MIG_NAME: Name der MIG.
  • INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
    • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
  • TARGET_SIZE: die Anzahl der Instanzen, die Sie in der MIG haben möchten.
  • WORKLOAD_POLICY_URL: Optional. Die URL der Arbeitslastrichtlinie, z. B. projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy. Wenn Sie keine Arbeitslastrichtlinie verwenden möchten, entfernen Sie das Flag --workload-policy.
  • ZONE: die Zone, in der Sie die MIG erstellen möchten. Wenn Sie eine Arbeitslastrichtlinie verwenden, geben Sie eine Zone innerhalb der Region der Richtlinie an.
  • REGION: die Region, in der Sie die MIG erstellen möchten. Wenn Sie eine Arbeitslastrichtlinie verwenden, geben Sie dieselbe Region wie die der Richtlinie an. Bei einer regionalen MIG können Sie anstelle einer Region die Zonen in dieser Region mit dem Flag --zones angeben.

REST

Wenn Sie eine MIG mit einer bestimmten Zielgröße erstellen möchten, senden Sie eine POST-Anfrage.

In den Anfragen, die Sie zum Erstellen einer MIG verwenden, wird eine Arbeitslastrichtlinie verwendet, um die Instanzplatzierung anzugeben. Wenn Sie keine Arbeitslastrichtlinie verwenden möchten, entfernen Sie das Feld resourcePolicies.workloadPolicy.

So erstellen Sie eine zonale oder regionale MIG:

  • Wenn Sie eine zonale MIG erstellen möchten, senden Sie eine POST-Anfrage an die Methode instanceGroupManagers.insert. 
    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": TARGET_SIZE,
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
  • Wenn Sie eine regionale MIG erstellen möchten, senden Sie eine POST-Anfrage an die Methode regionInstanceGroupManagers.insert. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
  {
    "name": "MIG_NAME",
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "targetSize": TARGET_SIZE,
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    }
  }
Ersetzen Sie Folgendes:
  • PROJECT_ID: Projekt-ID.
  • ZONE: die Zone, in der Sie die MIG erstellen möchten. Wenn Sie eine Arbeitslastrichtlinie verwenden, geben Sie eine Zone innerhalb der Region der Richtlinie an.
  • REGION: die Region, in der Sie die MIG erstellen möchten. Wenn Sie eine Arbeitslastrichtlinie verwenden, geben Sie dieselbe Region wie die der Richtlinie an.
  • INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
    • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
  • MIG_NAME: Name der MIG.
  • TARGET_SIZE: die Anzahl der Instanzen, die Sie in der MIG haben möchten.
  • WORKLOAD_POLICY_URL: Optional. Die URL der Arbeitslastrichtlinie, z. B. projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy. Wenn Sie keine Arbeitslastrichtlinie verwenden möchten, entfernen Sie das Feld resourcePolicies.workloadPolicy.

MIG und Anfrage zur Größenanpassung erstellen

Wenn Sie mehrere VMs gleichzeitig benötigen, um einen Job zu starten, erstellen Sie eine MIG und eine Anfrage zur Größenanpassung in der MIG, wie in diesem Abschnitt beschrieben.

Wählen Sie eine der folgenden Optionen aus, um eine Anfrage zur Größenanpassung in einer MIG zu erstellen:

gcloud

Die Parameter, die Sie angeben müssen, hängen von der Verbrauchsoption ab, die Sie für diese Bereitstellung verwenden. Wählen Sie den Tab aus, der dem Bereitstellungsmodell Ihrer Verbrauchsoption entspricht.

Reservierung

Die Befehle, die Sie zum Erstellen einer MIG verwenden, nutzen eine Arbeitslastrichtlinie, um die Instanzplatzierung anzugeben. Wenn Sie keine Arbeitslastrichtlinie verwenden möchten, entfernen Sie das Flag --workload-policy.

So erstellen Sie eine zonale oder regionale MIG und eine Anfrage zur Größenanpassung:

Flex-Start

So erstellen Sie eine zonale oder regionale MIG und eine Anfrage zur Größenanpassung:

  • So erstellen Sie eine zonale MIG und eine Anfrage zur Größenanpassung darin:

    1. Erstellen Sie mit dem Befehl instance-groups managed create eine zonale MIG:

      gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --default-action-on-vm-failure=do-nothing \
    --workload-policy=WORKLOAD_POLICY_URL \
    --zone=ZONE

    2. Erstellen Sie mit dem Befehl instance-groups managed resize-requests create eine Anfrage zur Größenanpassung in der zonalen MIG. Mit diesem Befehl wird die Anzahl der VMs angegeben, die Sie erstellen möchten. Wenn Ihre Arbeitslast bestimmte VM-Namen erfordert, erstellen Sie eine Anfrage zur Größenanpassung, indem Sie eine Liste von VM-Namen angeben. 

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --resize-by=COUNT \
    --zone=ZONE

  • So erstellen Sie eine regionale MIG und eine Anfrage zur Größenanpassung darin:

    1. Erstellen Sie mit dem Befehl instance-groups managed create eine regionale MIG:

      gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=0 \
    --default-action-on-vm-failure=do-nothing \

    --workload-policy=WORKLOAD_POLICY_URL \

    --region=REGION \
    --target-distribution-shape=any-single-zone \
    --instance-redistribution-type=none \
    --workload-policy=WORKLOAD_POLICY_URL

    2. Erstellen Sie mit dem Befehl instance-groups managed resize-requests create eine Anfrage zur Größenanpassung in der regionalen MIG. Mit diesem Befehl wird die Anzahl der VMs angegeben, die Sie erstellen möchten. Wenn Ihre Arbeitslast bestimmte VM-Namen erfordert, erstellen Sie eine Anfrage zur Größenanpassung, indem Sie eine Liste von VM-Namen angeben. 

      gcloud compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --resize-by=COUNT \
    --region=REGION

Spot

Die Befehle, die Sie zum Erstellen einer MIG verwenden, nutzen eine Arbeitslastrichtlinie, um die Instanzplatzierung anzugeben. Wenn Sie keine Arbeitslastrichtlinie verwenden möchten, entfernen Sie das Flag --workload-policy.

So erstellen Sie eine zonale oder regionale MIG und eine Anfrage zur Größenanpassung:
Ersetzen Sie Folgendes:
  • MIG_NAME: Name der MIG.
  • INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
    • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
  • WORKLOAD_POLICY_URL: Optional. Die URL der Arbeitslastrichtlinie, z. B. projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy. Wenn Sie keine Arbeitslastrichtlinie verwenden möchten, entfernen Sie das Flag --workload-policy.
  • ZONE: die Zone, in der Sie die MIG erstellen möchten. Auch für eine regionale MIG müssen Sie eine Zone angeben. Diese Zone muss die Zone sein, die das Profil für Ihr VPC-Netzwerk enthält, und muss eine Zone sein, in der der Maschinentyp verfügbar ist. Weitere Informationen finden Sie unter Einschränkungen.
  • RESIZE_REQUEST_NAME ist der Name der Anfrage zur Größenänderung, der innerhalb der angegebenen MIG eindeutig sein muss. Andernfalls schlägt das Erstellen der Anfrage zur Größenanpassung fehl.
  • COUNT: die Anzahl der Instanzen, die gleichzeitig zur MIG hinzugefügt werden sollen.
  • REGION: die Region, in der Sie die MIG erstellen möchten.

Anfrage zur Größenanpassung durch Angabe einer Liste von VM-Namen erstellen

Wenn für Ihre Arbeitslast bestimmte VM-Namen erforderlich sind, geben Sie eine Liste mit Namen an, um die VMs zu erstellen. Die Anzahl der von Ihnen angegebenen Namen bestimmt die Anzahl der VMs, die die MIG auf einmal erstellt.

Verwenden Sie zum Erstellen einer Anfrage zur Größenanpassung mit bestimmten VM-Namen in einer MIG den Betabefehl gcloud compute instance-groups managed resize-requests create mit dem Flag --instances:

  • Führen Sie in einer zonalen MIG den folgenden Befehl aus:

    gcloud beta compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --instances=INSTANCE_NAMES \
    --zone=ZONE

  • Führen Sie in einer regionalen MIG den folgenden Befehl aus:

    gcloud beta compute instance-groups managed resize-requests create MIG_NAME \
    --resize-request=RESIZE_REQUEST_NAME \
    --instances=INSTANCE_NAMES \
    --region=REGION
Ersetzen Sie INSTANCE_NAMES durch eine durch Kommas getrennte Liste von Namen für die VMs. Beispiel: instance-1,instance-2,instance-3.

REST

Die Parameter, die Sie angeben müssen, hängen von der Verbrauchsoption ab, die Sie für diese Bereitstellung verwenden. Wählen Sie den Tab aus, der dem Bereitstellungsmodell Ihrer Verbrauchsoption entspricht.

Reservierung

In den Anfragen, die Sie zum Erstellen einer MIG verwenden, wird eine Arbeitslastrichtlinie verwendet, um die Instanzplatzierung anzugeben. Wenn Sie keine Arbeitslastrichtlinie verwenden möchten, entfernen Sie das Feld resourcePolicies.workloadPolicy.

So erstellen Sie eine zonale oder regionale MIG und eine Anfrage zur Größenanpassung:

  • So erstellen Sie eine zonale MIG und eine Anfrage zur Größenanpassung darin:
    1. Erstellen Sie eine zonale verwaltete Instanzgruppe, indem Sie eine POST-Anfrage an die Methode instanceGroupManagers.insert senden. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
    2. Erstellen Sie eine Anfrage zur Größenanpassung in der zonalen MIG, indem Sie eine POST-Anfrage an die Methode instanceGroupManagerResizeRequests.insert senden. In dieser Anfrage wird die Anzahl der VMs angegeben, die Sie erstellen möchten. Wenn Ihre Arbeitslast bestimmte VM-Namen erfordert, erstellen Sie eine Anfrage zur Größenanpassung, indem Sie eine Liste von VM-Namen angeben. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}
  • So erstellen Sie eine regionale MIG und eine Anfrage zur Größenanpassung darin:
    1. Erstellen Sie eine regionale MIG, indem Sie eine POST-Anfrage an die Methode regionInstanceGroupManagers.insert senden, wie im Folgenden beschrieben. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "distributionPolicy": {
    "targetShape": "ANY_SINGLE_ZONE",
    "zones": [
      {
        "zone": "projects/PROJECT_ID/zones/ZONE"
      }
    ]
  },
  "updatePolicy": {
    "instanceRedistributionType": "NONE"
  },
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
    2. Erstellen Sie eine Anfrage zur Größenanpassung in der regionalen MIG. Senden Sie dazu eine POST-Anfrage an die Methode regionInstanceGroupManagerResizeRequests.insert: In dieser Anfrage wird die Anzahl der VMs angegeben, die Sie erstellen möchten. Wenn Ihre Arbeitslast bestimmte VM-Namen erfordert, erstellen Sie eine Anfrage zur Größenanpassung, indem Sie eine Liste von VM-Namen angeben. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}

Flex-Start

So erstellen Sie eine zonale oder regionale MIG und eine Anfrage zur Größenanpassung:

  • So erstellen Sie eine zonale MIG und eine Anfrage zur Größenanpassung darin:
    1. Erstellen Sie eine zonale verwaltete Instanzgruppe, indem Sie eine POST-Anfrage an die Methode instanceGroupManagers.insert senden. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "instanceLifecyclePolicy": {
    "defaultActionOnFailure": "DO_NOTHING"
  },
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
    2. Erstellen Sie eine Anfrage zur Größenanpassung in der zonalen MIG, indem Sie eine POST-Anfrage an die Methode instanceGroupManagerResizeRequests.insert senden. In dieser Anfrage wird die Anzahl der VMs angegeben, die Sie erstellen möchten. Wenn Ihre Arbeitslast bestimmte VM-Namen erfordert, erstellen Sie eine Anfrage zur Größenanpassung, indem Sie eine Liste von VM-Namen angeben. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}
  • So erstellen Sie eine regionale MIG und eine Anfrage zur Größenanpassung darin:
    1. Erstellen Sie eine regionale MIG, indem Sie eine POST-Anfrage an die Methode regionInstanceGroupManagers.insert senden, wie im Folgenden beschrieben. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "distributionPolicy": {
    "targetShape": "ANY_SINGLE_ZONE",
    "zones": [
      {
        "zone": "projects/PROJECT_ID/zones/ZONE"
      }
    ]
  },
  "updatePolicy": {
    "instanceRedistributionType": "NONE"
  },
  "instanceLifecyclePolicy": {
    "defaultActionOnFailure": "DO_NOTHING"
  },
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
    2. Erstellen Sie eine Anfrage zur Größenanpassung in der regionalen MIG. Senden Sie dazu eine POST-Anfrage an die Methode regionInstanceGroupManagerResizeRequests.insert: In dieser Anfrage wird die Anzahl der VMs angegeben, die Sie erstellen möchten. Wenn Ihre Arbeitslast bestimmte VM-Namen erfordert, erstellen Sie eine Anfrage zur Größenanpassung, indem Sie eine Liste von VM-Namen angeben. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}

Spot

In den Anfragen, die Sie zum Erstellen einer MIG verwenden, wird eine Arbeitslastrichtlinie verwendet, um die Instanzplatzierung anzugeben. Wenn Sie keine Arbeitslastrichtlinie verwenden möchten, entfernen Sie das Feld resourcePolicies.workloadPolicy.

So erstellen Sie eine zonale oder regionale MIG und eine Anfrage zur Größenanpassung:

  • So erstellen Sie eine zonale MIG und eine Anfrage zur Größenanpassung darin:
    1. Erstellen Sie eine zonale verwaltete Instanzgruppe, indem Sie eine POST-Anfrage an die Methode instanceGroupManagers.insert senden. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
    2. Erstellen Sie eine Anfrage zur Größenanpassung in der zonalen MIG, indem Sie eine POST-Anfrage an die Methode instanceGroupManagerResizeRequests.insert senden. In dieser Anfrage wird die Anzahl der VMs angegeben, die Sie erstellen möchten. Wenn Ihre Arbeitslast bestimmte VM-Namen erfordert, erstellen Sie eine Anfrage zur Größenanpassung, indem Sie eine Liste von VM-Namen angeben. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}
  • So erstellen Sie eine regionale MIG und eine Anfrage zur Größenanpassung darin:
    1. Erstellen Sie eine regionale MIG, indem Sie eine POST-Anfrage an die Methode regionInstanceGroupManagers.insert senden, wie im Folgenden beschrieben. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": 0,
  "distributionPolicy": {
    "targetShape": "ANY_SINGLE_ZONE",
    "zones": [
      {
        "zone": "projects/PROJECT_ID/zones/ZONE"
      }
    ]
  },
  "updatePolicy": {
    "instanceRedistributionType": "NONE"
  },
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
    2. Erstellen Sie eine Anfrage zur Größenanpassung in der regionalen MIG. Senden Sie dazu eine POST-Anfrage an die Methode regionInstanceGroupManagerResizeRequests.insert: In dieser Anfrage wird die Anzahl der VMs angegeben, die Sie erstellen möchten. Wenn Ihre Arbeitslast bestimmte VM-Namen erfordert, erstellen Sie eine Anfrage zur Größenanpassung, indem Sie eine Liste von VM-Namen angeben. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers/MIG_NAME/resizeRequests
{
  "name": "RESIZE_REQUEST_NAME",
  "resizeBy": COUNT
}
Ersetzen Sie Folgendes:
  • PROJECT_ID: Projekt-ID.
  • ZONE: die Zone, in der Sie die MIG erstellen möchten. Diese Zone muss mit der Zone übereinstimmen, die das Profil für Ihr VPC-Netzwerk enthält, und muss eine Zone sein, in der der ausgewählte Maschinentyp verfügbar ist. Weitere Informationen finden Sie unter Einschränkungen.
  • REGION: die Region, in der Sie die MIG erstellen möchten. Diese Region muss dieselbe Region sein, die das Profil für Ihr VPC-Netzwerk enthält, und muss eine Zone enthalten, in der der ausgewählte Maschinentyp verfügbar ist. Weitere Informationen finden Sie unter Einschränkungen.
  • INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
    • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
  • MIG_NAME: Name der MIG.
  • WORKLOAD_POLICY_URL: Optional. Die URL der Arbeitslastrichtlinie, z. B. projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy. Wenn Sie keine Arbeitslastrichtlinie verwenden möchten, entfernen Sie das Feld resourcePolicies.workloadPolicy.
  • RESIZE_REQUEST_NAME ist der Name der Anfrage zur Größenänderung, der innerhalb der angegebenen MIG eindeutig sein muss. Andernfalls schlägt das Erstellen der Anfrage zur Größenanpassung fehl.
  • COUNT: die Anzahl der Instanzen, die gleichzeitig zur MIG hinzugefügt werden sollen

Anfrage zur Größenanpassung durch Angabe einer Liste von VM-Namen erstellen

Wenn für Ihre Arbeitslast bestimmte VM-Namen erforderlich sind, geben Sie eine Liste mit Namen an, um die VMs zu erstellen. Die Anzahl der von Ihnen angegebenen Namen bestimmt die Anzahl der VMs, die die MIG auf einmal erstellt.

Wenn Sie eine Anfrage zur Größenanpassung mit bestimmten VM-Namen in einer MIG erstellen möchten, verwenden Sie eine der folgenden Methoden:

Wenn Sie beispielsweise zwei VM-Namen angeben möchten, fügen Sie Folgendes in den Anfragetext ein:

{
  "name": "RESIZE_REQUEST_NAME",
  "instances": [
    {
      "name": "INSTANCE_NAME_1"
    },
    {
      "name": "INSTANCE_NAME_2"
    }
  ]
}

Ersetzen Sie INSTANCE_NAME_1, INSTANCE_NAME_2 durch die Namen der VMs.

GPU-Treiber installieren

Nachdem Sie eine Instanz erstellt haben, kann die Instanz ihre GPUs nur verwenden, wenn die richtigen GPU-Treiber bereits installiert sind. Wenn Sie kein Betriebssystem-Image mit GPU-Treibern angegeben haben, finden Sie weitere Informationen unter GPU-Treiber installieren in der Compute Engine-Dokumentation.

Optional: NVIDIA-Multi-Instanz-GPU-Modus aktivieren

Der MIG-Modus (Multi-Instance GPU) ist eine Funktion, die Sie für eine unterstützte NVIDIA-GPU aktivieren können. Nachdem Sie eine Instanz erstellt haben, können Sie den MIG-Modus auf einer einzelnen GPU aktivieren, die an Ihre Maschine angehängt ist. Wenn der MIG-Modus aktiviert ist, wird die einzelne GPU in bis zu sieben unabhängige GPU-Instanzen partitioniert. Jede Instanz wird gleichzeitig ausgeführt, wobei jede Instanz über eigenen Arbeitsspeicher, Cache und eigene Streaming-Multiprozessoren verfügt. Anschließend können Sie verschiedene Arbeitslasten parallel auf diesen GPU-Instanzen ausführen. Weitere Informationen zur Verwendung des MIG-Modus finden Sie im Nutzerhandbuch für Multi-Instanz-GPUs (MIG) in der NVIDIA-Dokumentation.

Nächste Schritte