A3-, A2- oder G2-VM erstellen

Linux Windows

In diesem Dokument wird beschrieben, wie Sie eine VM-Instanz erstellen, die einen Maschinentyp aus den Maschinenserien A3 High, A3 Mega, A3 Edge, A2 und G2 verwendet. Sie können diese VMs als On-Demand-VMs erstellen oder Ihre Kosten senken, indem Sie VMs als Spot-VMs oder Flex-Start-VMs erstellen. Weitere Informationen zum Erstellen von VMs mit angehängten GPUs finden Sie unter Übersicht zum Erstellen einer Instanz mit angehängten GPUs.

Hinweis

Informationen zu Einschränkungen und zusätzlichen erforderlichen Schritten zum Erstellen von Instanzen mit angehängten GPUs, z. B. zum Auswählen eines Betriebssystem-Images und zum Prüfen des GPU-Kontingents, finden Sie unter Übersicht zum Erstellen einer Instanz mit angehängten GPUs.
Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben. Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud Dienste und APIs überprüft. Zum Ausführen von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich so bei der Compute Engine authentifizieren:
Select the tab for how you plan to use the samples on this page:
Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.
gcloud
1. Installieren Sie die Google Cloud CLI. Initialisieren Sie die Google Cloud CLI nach der Installation mit dem folgenden Befehl:
  gcloud init
  Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.
  
  Hinweis: Wenn Sie die gcloud CLI zuvor installiert haben, prüfen Sie, ob Sie die aktuelle Version haben, indem Sie gcloud components update ausführen.
2. Set a default region and zone.
REST

Wenn Sie die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung verwenden möchten, verwenden Sie die Anmeldedaten, die Sie der gcloud CLI bereitstellen.
Weitere Informationen finden Sie in der Dokumentation zur Google Cloud -Authentifizierung unter Für die Verwendung von REST authentifizieren.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren, um die Berechtigungen zu erhalten, die Sie für die Erstellung von VMs benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen von VMs erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die genau erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Folgende Berechtigungen sind zum Erstellen von VMs erforderlich:

compute.instances.create für das Projekt
Zum Erstellen der VM mit einem benutzerdefinierten Image: compute.images.useReadOnly für das Image
Zum Erstellen der VM mit einem Snapshot: compute.snapshots.useReadOnly für den Snapshot
Zum Erstellen der VM mit einer Instanzvorlage: compute.instanceTemplates.useReadOnly für die Instanzvorlage
Zum Angeben eines Subnetzes für Ihre VM: compute.subnetworks.use für das Projekt oder für das ausgewählte Subnetz
Zum Festlegen einer statischen IP-Adresse für die VM compute.addresses.use für das Projekt
Zum Zuweisen einer externen IP-Adresse zur VM, wenn Sie ein VPC-Netzwerk verwenden: compute.subnetworks.useExternalIp für das Projekt oder für das ausgewählte Subnetz
Zum Zuweisen eines Legacy-Netzwerks zur VM: compute.networks.use für das Projekt
Zum Zuweisen einer externen IP-Adresse zur VM, wenn Sie ein Legacy-Netzwerk verwenden: compute.networks.useExternalIp für das Projekt
Zum Festlegen von Metadaten der VM-Instanz für die VM: compute.instances.setMetadata für das Projekt
Zum Festlegen von Tags für die VM: compute.instances.setTags für die VM
Zum Festlegen von Labels für die VM: compute.instances.setLabels für die VM
Zum Festlegen eines Dienstkontos für die VM: compute.instances.setServiceAccount für die VM
Zum Erstellen eines neuen Laufwerks für die VM: compute.disks.create für das Projekt
Zum Anhängen eines vorhandenen Laufwerks im Lese- oder Lese-/Schreibmodus: compute.disks.use für das Laufwerk
Zum Anhängen eines vorhandenen Laufwerks im Lesemodus: compute.disks.useReadOnly für das Laufwerk

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

VM mit angehängten GPUs erstellen

Sie können eine beschleunigungsoptimierte A3 High-, A3 Mega-, A3 Edge-, A2- oder G2-VM mit der Google Cloud Console, der Google Cloud CLI oder REST erstellen.

Für einige Anpassungen an Ihren G2-VMs müssen Sie möglicherweise die Google Cloud CLI oder REST verwenden. Weitere Informationen finden Sie unter Einschränkungen von G2.

Console

Rufen Sie in der Google Cloud Console die Seite Instanz erstellen auf.

Zu „Instanz erstellen“ wechseln
Geben Sie einen Namen für Ihre VM an. Weitere Informationen finden Sie im Abschnitt zur Namenskonvention für Ressourcen.
Wählen Sie eine Region und Zone aus, in denen GPUs verfügbar sind. Weitere Informationen finden Sie in der Liste der verfügbaren GPU-Regionen und -Zonen.
Wählen Sie im Abschnitt Maschinenkonfiguration die Maschinenfamilie GPUs aus.
1. Führen Sie einen der folgenden Schritte aus, um je nach Maschinenreihe einen vordefinierten oder benutzerdefinierten Maschinentyp auszuwählen:
  - Für alle GPU-Maschinenreihen können Sie einen vordefinierten Maschinentyp auswählen:
    1. Wählen Sie in der Liste GPU-Typ Ihren GPU-Typ aus.
      - Wählen Sie für beschleunigungsoptimierte A3 High-, A3 Mega- oder A3 Edge-VMs NVIDIA H100 80GB oder NVIDIA H100 80GB MEGA aus.
      - Wählen Sie für beschleunigungsoptimierte A2-VMs entweder NVIDIA A100 40GB oder NVIDIA A100 80GB aus.
      - Wählen Sie für beschleunigungsoptimierte G2-VMs NVIDIA L4 aus.
    2. Wählen Sie in der Liste Anzahl der GPUs die Anzahl der GPUs aus.
      
      Hinweis: Jeder beschleunigungsoptimierte Maschinentyp hat eine feste Anzahl von angehängten GPUs. Wenn Sie die Anzahl der GPUs anpassen, ändert sich der Maschinentyp.
  - Für die G2-Maschinenreihe können Sie einen benutzerdefinierten Maschinentyp auswählen:
    1. Wählen Sie in der Liste GPU-Typ die Option NVIDIA L4 aus.
    2. Wählen Sie im Abschnitt Maschinentyp die Option Benutzerdefiniert aus.
    3. Geben Sie die Anzahl der vCPUs und den Speicherplatz für die VM-Instanz mithilfe der Schieberegler an, oder geben Sie die Werte in die Textfelder ein. In der Console wird eine Kostenschätzung für die Instanz angezeigt, wenn Sie die Anzahl der vCPUs und den Speicherplatz ändern.
2. Optional: Die G2-Maschinenreihe unterstützt NVIDIA RTX Virtual Workstations (vWS) für Grafikarbeitslasten. Wenn Sie grafikintensive Arbeitslasten auf Ihrer G2-VM ausführen möchten, wählen Sie Virtuelle Workstation (NVIDIA GRID) aktivieren aus.
Klicken Sie im Abschnitt Bootlaufwerk auf Ändern. Dadurch wird die Seite Konfiguration des Bootlaufwerks geöffnet.
Führen Sie auf der Seite Konfiguration des Bootlaufwerks die folgenden Schritte aus:
1. Wählen Sie auf dem Tab Öffentliche Images ein unterstütztes Compute Engine-Image oder Deep Learning VM Images aus.
1. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.
2. Klicken Sie auf Auswählen, um die Bootlaufwerksoptionen zu bestätigen.
Optional: Konfigurieren Sie ein anderes Bereitstellungsmodell, um Ihre Kosten zu senken. Wählen Sie im Abschnitt Erweiterte Optionen unter VM-Bereitstellungsmodell eine der folgenden Optionen aus:
- Flex-Start: für Arbeitslasten mit kurzer Ausführungsdauer, die eine flexible Startzeit tolerieren. Weitere Informationen finden Sie unter Flex-Start-VMs.
- Spot: für fehlertolerante Arbeitslasten, die vorzeitig beendet werden können. Weitere Informationen finden Sie unter Spot-VMs.
Optional: Wählen Sie in der Liste Beim Beenden der VM aus, was passieren soll, wenn Compute Engine die Spot-VMs vorzeitig beendet oder die Flex-Start-VMs das Ende ihrer Laufzeit erreichen:
- Wählen Sie Beenden (Standardeinstellung) aus, um die VM während des vorzeitigen Beendens zu beenden.
- Wählen Sie Löschen aus, um die VM während des vorzeitigen Beendens zu löschen.
Klicken Sie zum Erstellen und Starten der VM auf Erstellen.

gcloud

Verwenden Sie zum Erstellen und Starten einer VM den Befehl gcloud compute instances create mit den folgenden Flags. VMs mit GPUs können nicht live migriert werden. Achten Sie darauf, das Flag --maintenance-policy=TERMINATE festzulegen.

Die folgenden optionalen Flags werden im Beispielbefehl gezeigt:

Das Flag --provisioning-model. Mit diesem Flag wird das Bereitstellungsmodell für die VM festgelegt. Geben Sie entweder SPOT oder FLEX_START an. Wenn Sie kein Modell angeben, wird das Standardmodell verwendet. Weitere Informationen finden Sie unter Bereitstellungsmodelle für Compute Engine-Instanzen.
Das Flag --accelerator, um eine virtuelle Workstation anzugeben. Virtuelle NVIDIA RTX-Workstations (vWS) werden nur für G2-VMs unterstützt.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      [--provisioning-model=PROVISIONING_MODEL] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

Ersetzen Sie Folgendes:

VM_NAME: Der Name für die neue VM.
MACHINE_TYPE: Der ausgewählte Maschinentyp. Wählen Sie eine der folgenden Optionen aus:
- Ein A3-Maschinentyp.
- Ein A2-Maschinentyp.
- Ein G2-Maschinentyp. G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise --machine-type=g2-custom-4-19456 an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.
ZONE: Die Zone für die VM. Diese Zone muss das ausgewählte GPU-Modell unterstützen.
DISK_SIZE: Die Größe des Bootlaufwerks in GB. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.
IMAGE: Ein Betriebssystem-Image, das GPUs unterstützt. Wenn Sie das neueste Image in einer Image-Familie verwenden möchten, ersetzen Sie das Flag --image durch das Flag --image-family und legen Sie dessen Wert auf eine Image-Familie fest, die GPUs unterstützt. Beispiel: --image-family=rocky-linux-8-optimized-gcp.
Sie können auch ein benutzerdefiniertes Image oder Deep Learning VM Images angeben.
IMAGE_PROJECT: Das Compute Engine-Image-Projekt, zu dem das Betriebssystem-Image gehört. Wenn Sie ein benutzerdefiniertes Image oder Deep Learning VM Images verwenden, geben Sie das Projekt an, zu dem diese Images gehören.
PROVISIONING_MODEL: Das Bereitstellungsmodell, das zum Erstellen der VM verwendet werden soll. Sie können entweder SPOT oder FLEX_START angeben. Wenn Sie das Flag --provisioning-model aus dem Befehl entfernen, wird das Standardbereitstellungsmodell verwendet.
VWS_ACCELERATOR_COUNT: Die Anzahl der benötigten virtuellen GPUs.

REST

Senden Sie eine POST-Anfrage an die Methode instances.insert. VMs mit GPUs können nicht live migriert werden. Achten Sie darauf, den Parameter onHostMaintenance auf TERMINATE festzulegen.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  ["automaticRestart": true]
},
}

Ersetzen Sie Folgendes:

VM_NAME: der Name für die neue VM.
PROJECT_ID: Ihre Projekt-ID
ZONE: die Zone für die VM. Diese Zone muss das ausgewählte GPU-Modell unterstützen.
MACHINE_TYPE: der ausgewählte Maschinentyp. Wählen Sie eine der folgenden Optionen aus:
- Ein A3-Maschinentyp.
- Ein A2-Maschinentyp.
- Ein G2-Maschinentyp. G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise --machine-type=g2-custom-4-19456 an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.
PROVISIONING_MODEL: (optional) das Bereitstellungsmodell für die VM. Geben Sie entweder SPOT oder FLEX_START an. Wenn Sie kein Modell angeben, wird das Standardbereitstellungsmodell verwendet. Weitere Informationen finden Sie unter Bereitstellungsmodelle für Compute Engine-Instanzen.
SOURCE_IMAGE_URI: der URI für das spezifische Image oder die Image-Familie, die Sie verwenden möchten. Beispiel:
- Spezifisches Image: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
- Image-Familie: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
Wenn Sie eine Image-Familie angeben, erstellt Compute Engine eine VM aus dem neuesten nicht verworfenen Betriebssystem-Image in dieser Familie. Weitere Informationen zur Verwendung von Image-Familien finden Sie unter Best Practices für Image-Familien.
DISK_SIZE: die Größe Ihres Bootlaufwerks in GB. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.
NETWORK: das VPC-Netzwerk, das Sie für die VM verwenden möchten. Sie können „Standard“ angeben, um Ihr Standardnetzwerk zu verwenden.

Zusätzliche Einstellungen:

Um Ihre Kosten zu senken, können Sie ein anderes Bereitstellungsmodell angeben, indem Sie das Feld "provisioningModel": "PROVISIONING_MODEL" dem Objekt scheduling in Ihrer Anfrage hinzufügen. Wenn Sie angeben, dass Spot-VMs erstellt werden sollen, werden die Felder onHostMaintenance und automaticRestart ignoriert.
```
"scheduling":
  {
    "onHostMaintenance": "terminate",
    "provisioningModel": "PROVISIONING_MODEL"
  }
```
Für G2-VMs werden virtuelle NVIDIA RTX-Workstations (vWS) unterstützt. Wenn Sie eine virtuelle Workstation angeben möchten, fügen Sie Ihrem Antrag die Option „guestAccelerators“ hinzu. Ersetzen Sie VWS_ACCELERATOR_COUNT durch die Anzahl der benötigten virtuellen GPUs.
```
"guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/nvidia-l4-vws"
    }
  ]
```

Treiber installieren

Damit die VM die GPU verwenden kann, müssen Sie den GPU-Treiber auf Ihrer VM installieren.

Beispiele

In diesen Beispielen werden die meisten VMs mit der Google Cloud CLI erstellt. Alternativ können Sie zum Erstellen dieser VMs auch die Google Cloud console oder REST verwenden.

Die folgenden Beispiele zeigen, wie VMs mit den folgenden Images erstellt werden:

+ Deep Learning VM Images. In diesem Beispiel wird die A2-Standard-VM (a2-highgpu-1g) verwendet. + COS-Image (Container-Optimized). In diesem Beispiel wird entweder eine a3-highgpu-8g- oder eine a3-edgegpu-8g-VM verwendet. + Öffentliches Image. In diesem Beispiel wird eine G2-VM verwendet.

COS (A3 Edge/High)

Mithilfe von COS-Images (Container-Optimized) können Sie entweder a3-edgegpu-8g- oder a3-highgpu-8g-VMs mit angehängten H100-GPUs erstellen.

Eine detaillierte Anleitung zum Erstellen dieser a3-edgegpu-8g- oder a3-highgpu-8g-VMs, die Container-Optimized OS verwenden, finden Sie unter A3-VM mit aktiviertem GPUDirect-TCPX erstellen.

Öffentliches Betriebssystem-Image (G2)

Sie können VMs mit angehängten GPUs erstellen, die entweder ein in Compute Engine verfügbares öffentliches Image oder ein benutzerdefiniertes Image verwenden.

Um eine VM mit dem neuesten, nicht verworfenen Image aus der für Google Cloud optimierten Rocky Linux 8-Image-Familie zu erstellen, die den Maschinentyp g2-standard-8 verwendet und eine virtuelle NVIDIA RTX-Workstation hat, führen Sie die folgenden Schritte aus:

Erstellen Sie die VM. In diesem Beispiel werden auch optionale Flags wie Bootlaufwerktyp und -größe angegeben.

gcloud compute instances create VM_NAME \
    --project=PROJECT_ID \
    --zone=ZONE \
    --machine-type=g2-standard-8  \
    --maintenance-policy=TERMINATE --restart-on-failure \
    --network-interface=nic-type=GVNIC \
    --accelerator=type=nvidia-l4-vws,count=1 \
    --image-family=rocky-linux-8-optimized-gcp \
    --image-project=rocky-linux-cloud \
    --boot-disk-size=200GB \
    --boot-disk-type=pd-ssd

Ersetzen Sie Folgendes:

VM_NAME: der Name Ihrer VM
PROJECT_ID: Ihre Projekt-ID.
ZONE: die Zone für die VM.

Installieren Sie NVIDIA-Treiber und CUDA. Für NVIDIA L4-GPUs ist CUDA Version XX oder höher erforderlich.

DLVM-Image (A2)

Die Verwendung von DLVM-Images ist der einfachste Weg, da die Images bereits die NVIDIA-Treiber und CUDA-Bibliotheken enthalten.

Diese Images bieten auch Leistungsoptimierungen.

Folgende DLVM-Images werden für NVIDIA A100 unterstützt:

common-cu110: NVIDIA-Treiber und CUDA vorinstalliert
tf-ent-1-15-cu110: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 1.15.3. vorinstalliert
tf2-ent-2-1-cu110: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 2.1.1 vorinstalliert
tf2-ent-2-3-cu110: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 2.3.1 vorinstalliert
pytorch-1-6-cu110: NVIDIA-Treiber, CUDA, Pytorch 1.6

Weitere Informationen zu den verfügbaren DLVM-Images und den auf den Images installierten Paketen finden Sie in der Dokumentation zu Deep Learning VM.

Erstellen Sie eine VM mit dem Image tf2-ent-2-3-cu110 und dem Maschinentyp a2-highgpu-1g. In diesem Beispiel sind optionale Flags wie Bootlaufwerksgröße und -umfang angegeben.

gcloud compute instances create VM_NAME \
   --project PROJECT_ID \
   --zone ZONE \
   --machine-type a2-highgpu-1g \
   --maintenance-policy TERMINATE \
   --image-family tf2-ent-2-3-cu110 \
   --image-project deeplearning-platform-release \
   --boot-disk-size 200GB \
   --metadata "install-nvidia-driver=True,proxy-mode=project_editors" \
   --scopes https://www.googleapis.com/auth/cloud-platform

Ersetzen Sie Folgendes:

VM_NAME: der Name Ihrer VM
PROJECT_ID: Ihre Projekt-ID.
ZONE: die Zone für die VM.

Der vorherige Beispielbefehl generiert auch eine vom Nutzer verwaltete Notebook-Instanz von Vertex AI Workbench für die VM. Rufen Sie in der Google Cloud Console die Seite Vertex AI Workbench > Nutzerverwaltete Notebooks auf, um auf das Notebook zuzugreifen.

Zur Seite „Nutzerverwaltete Notebooks“ wechseln

Multi-Instanz-GPUs (nur A3- und A2-VMs)

Eine Multi-Instanz-GPU partitioniert eine einzelne NVIDIA H100- oder A100-GPU innerhalb derselben VM in bis zu sieben unabhängige GPU-Instanzen. Sie werden gleichzeitig ausgeführt, wobei jede Instanz über eigenen Arbeitsspeicher, Cache und eigene Streaming-Multiprozessoren verfügt. Mit dieser Konfiguration kann die NVIDIA H100- oder A100-GPU eine garantierte Dienstqualität mit bis zu siebenmal höherer Leistung im Vergleich zu früheren GPU-Modellen bereitstellen.

Sie können bis zu sieben Multi-Instanz-GPUs erstellen. Bei A100-GPUs mit 40 GB werden jeder Multi-Instanz-GPU 5 GB Arbeitsspeicher zugewiesen. Für die A100- und H100-GPUs mit 80 GB verdoppelt sich der zugewiesene Arbeitsspeicher auf jeweils 10 GB.

Weitere Informationen zur Verwendung von Multi-Instanz-GPUs finden Sie im NVIDIA-Nutzerhandbuch für Multi-Instanz-GPUs.

Führen Sie folgende Schritte aus, um Multi-Instanz-GPUs zu erstellen:

Erstellen Sie eine beschleunigungsoptimierte A3 High-, A3 Mega-, A3 Edge- oder A2-VM.
Aktivieren Sie NVIDIA-GPU-Treiber.

Profitipp: Sie können diesen Schritt überspringen, indem Sie VMs mit Deep Learning VM Images erstellen. Auf jedem Deep Learning VM Image ist ein NVIDIA-GPU-Treiber vorinstalliert.
Aktivieren Sie Multi-Instanz-GPUs.
```
sudo nvidia-smi -mig 1
```

Prüfen Sie die verfügbaren Multi-Instanz-GPU-Formen.

sudo nvidia-smi mig --list-gpu-instance-profiles

Die Ausgabe sieht etwa so aus:

+-----------------------------------------------------------------------------+
| GPU instance profiles:                                                      |
| GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                              Free/Total   GiB              CE    JPEG  OFA  |
|=============================================================================|
|   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
|                                                             1     1     1   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
|                                                             2     2     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
|                                                             3     3     0   |
+-----------------------------------------------------------------------------+
.......

Erstellen Sie die gewünschte Multi-Instanz-GPU (GI) und die zugehörigen Compute-Instanzen (CI). Sie können diese Instanzen erstellen, indem Sie entweder den vollständigen oder abgekürzten Profilnamen, die Profil-ID oder eine Kombination aus beiden angeben. Weitere Informationen finden Sie unter GPU-Instanzen erstellen.

Im folgenden Beispiel werden zwei MIG 3g.20gb-GPU-Instanzen anhand der Profil-ID (9) erstellt.

Außerdem wird das Flag -C angegeben, das die zugehörigen Compute-Instanzen für das erforderliche Profil erstellt.
```
sudo nvidia-smi mig -cgi 9,9 -C
```
Prüfen Sie, ob die beiden Multi-Instanz-GPUs erstellt wurden:
```
sudo nvidia-smi mig -lgi
```

Prüfen Sie, ob die GIs und die entsprechenden CIs erstellt wurden.

sudo nvidia-smi

Die Ausgabe sieht etwa so aus:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
| N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
| N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
......

+-----------------------------------------------------------------------------+
| MIG devices:                                                                |
+------------------+----------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
|      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
|                  |                      |        ECC|                       |
|==================+======================+===========+=======================|
|  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
|  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
......

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

Nächste Schritte

Weitere Informationen zu GPU-Plattformen.
Lokale SSDs zu Instanzen hinzufügen Lokale SSDs arbeiten gut mit GPUs zusammen, wenn Ihre Anwendungen Hochleistungsspeicher benötigen
Installieren Sie die GPU-Treiber.
Wenn Sie die virtuelle NVIDIA RTX-Workstation aktiviert haben, installieren Sie einen Treiber für die virtuelle Workstation.
Informationen zur Handhabung der GPU-Hostwartung finden Sie unter GPU-Hostwartungsereignisse verarbeiten

A3-, A2- oder G2-VM erstellen Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Hinweis

Console

gcloud

REST

Erforderliche Rollen

Erforderliche Berechtigungen

VM mit angehängten GPUs erstellen

Console

gcloud

REST

Treiber installieren

Beispiele

COS (A3 Edge/High)

Öffentliches Betriebssystem-Image (G2)

DLVM-Image (A2)

Multi-Instanz-GPUs (nur A3- und A2-VMs)

Nächste Schritte

A3-, A2- oder G2-VM erstellen