Übersicht zum Erstellen einer Instanz mit angehängten GPUs

Dieses Dokument bietet eine Übersicht über die Schritte, die zum Erstellen einer Compute Engine-Instanz mit angehängten GPUs erforderlich sind. Sie können GPUs verwenden, um bestimmte Arbeitslasten wie maschinelles Lernen und Datenverarbeitung zu beschleunigen.

Sie können auch einige GPU-Maschinentypen auf AI Hypercomputer verwenden. AI Hypercomputer ist ein Supercomputing-System, das für die Unterstützung Ihrer Arbeitslasten für künstliche Intelligenz (KI) und maschinelles Lernen (ML) optimiert ist. Diese Option wird empfohlen, um eine dicht zugewiesene, leistungsoptimierte Infrastruktur mit Integrationen für Google Kubernetes Engine (GKE) und Slurm-Scheduler zu erstellen.

Weitere Informationen zu GPUs in Compute Engine finden Sie unter GPUs.

GPU-Modell auswählen

Eine Liste der verfügbaren GPU-Modelle finden Sie unter GPU-Plattformen. Notieren Sie sich den Maschinentyp, der für das ausgewählte GPU-Modell unterstützt wird.

Für jedes Modell kann es auch hilfreich sein, Folgendes zu prüfen:

Beschränkungen

Zusätzlich zu den Einschränkungen für alle Instanzen mit GPUs gelten für jede Maschinenserie mit angehängten GPUs die folgenden Einschränkungen:

A4X-Instanzen

A4-Instanzen

A3 Ultra-Instanzen

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A3-Ultra-Maschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A3-Ultra-Maschinentyp verwenden.
  • Sie können den A3-Ultra-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonenbasiert) auf einer Instanz verwenden, die einen A3-Ultra-Maschinentyp verwendet.
  • Der A3-Ultra-Maschinentyp ist nur auf der Emerald Rapids-CPU-Plattform verfügbar.
  • Sie können den Maschinentyp einer vorhandenen Instanz nicht in einen A3-Ultra-Maschinentyp ändern. Sie können nur neue A3-ultra-Instanzen erstellen. Nachdem Sie eine Instanz mit einem A3-Ultra-Maschinentyp erstellt haben, können Sie den Maschinentyp nicht mehr ändern.
  • A3-Ultra-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Sie können Windows-Betriebssysteme nicht auf einem A3-Ultra-Maschinentyp ausführen.

A3 Mega-Instanzen

A3 High-Instanzen

A3 Edge-Instanzen

A2-Standardinstanzen

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A2-Standardmaschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A2-Standardmaschinentyp verwenden.
  • Sie können einen A2-Standard-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Die A2-Standardmaschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre Instanz einen A2-Standardmaschinentyp verwendet, können Sie nur von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln. Sie können keinen anderen Maschinentyp ändern. Weitere Informationen finden Sie unter Beschleunigeroptimierte Instanzen ändern.
  • Sie können das Windows-Betriebssystem nicht mit dem Maschinentyp a2-megagpu-16g verwenden. Wählen Sie einen anderen A2-Standard-Maschinentyp aus, wenn Sie ein Windows-Betriebssystem verwenden.
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-Instanzen verwenden, die A2-Standard-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.
  • A2-Standardmaschinentypen unterstützen keine einzelnen Mandanten.

A2-Ultra-Instanzen

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A2-Ultra-Maschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A2-Ultra-Maschinentyp verwenden.
  • Sie können den A2-Ultra-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Die A2-Ultra-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre Instanz einen A2-Ultra-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen A2-Ultra-Maschinentyp oder einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue Instanz erstellen.
  • Sie können keinen anderen Maschinentyp in einen A2-Ultra-Maschinentyp ändern. Wenn Sie eine Instanz benötigen, die einen A2-Ultra-Maschinentyp verwendet, müssen Sie eine neue Instanz erstellen.
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-Instanzen verwenden, die A2-Ultra-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.

G4-Instanzen

G2-Instanzen

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen G2-Maschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen G2-Maschinentyp verwenden.
  • Sie können einen G2-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Die G2-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Nichtflüchtige Standardspeicher (pd-standard) werden auf Instanzen, die den G2-Maschinentyp verwenden, nicht unterstützt. Informationen zu unterstützten Laufwerkstypen finden Sie unter Unterstützte Laufwerkstypen für G2.
  • Sie können keine GPUs mit mehreren Instanzen auf einer Instanz erstellen, die einen G2-Maschinentyp verwendet.
  • Wenn Sie den Maschinentyp einer G2-Instanz ändern müssen, lesen Sie die Informationen unter Beschleunigeroptimierte Instanzen ändern.
  • Sie können keine Deep Learning VM Images als Bootlaufwerke für Instanzen verwenden, die den G2-Maschinentyp verwenden.
  • Der aktuelle Standardtreiber für Container-Optimized OS unterstützt keine L4-GPUs, die auf G2-Maschinentypen ausgeführt werden. Außerdem unterstützt Container-Optimized OS nur bestimmte Treiber. Wenn Sie Container-Optimized OS auf G2-Maschinentypen verwenden möchten, lesen Sie die folgenden Hinweise:
    • Verwenden Sie eine Container-Optimized OS-Version, die die mindestens empfohlene NVIDIA-Treiberversion 525.60.13 oder höher unterstützt. Weitere Informationen finden Sie in den Versionshinweisen zu Container-Optimized OS.
    • Geben Sie bei der Installation des Treibers die neueste verfügbare Version an, die für die L4-GPUs funktioniert. Beispiel: sudo cos-extensions install gpu -- -version=525.60.13.
  • In den folgenden Szenarien müssen Sie über die Google Cloud CLI oder REST G2-Instanzen erstellen:
    • Sie möchten benutzerdefinierte Speicherwerte angeben.
    • Sie möchten die Anzahl der sichtbaren CPU-Kerne anpassen.

N1+GPU-Instanzen

Informationen zu den Einschränkungen für N1-Instanzen mit GPUs finden Sie unter Funktionen für die N1-Maschinenserie und GPUs für die N1-Maschinenserie.

Betriebssystem auswählen

Wenn Sie GPUs für maschinelles Lernen verwenden, nutzen Sie eines der folgenden Betriebssysteme:

  • Für KI-Arbeitslasten optimierte Images: Sie können Ubuntu- und Rocky-Images verwenden, die in acceleratoroptimierten Versionen mit vorinstallierten NVIDIA-Treibern und CUDA-Toolkit verfügbar sind. Weitere Informationen finden Sie in der Dokumentation zu AI Hypercomputer unter Betriebssystem-Images.

  • Deep-Learning-VM-Images Jede Deep Learning VM hat ein GPU-Treiberinstallationstool und enthält Pakete wie TensorFlow und PyTorch. Sie können eine Deep Learning VM auch für allgemeine GPU-Arbeitslasten verwenden. Weitere Informationen zu den verfügbaren Images und den in diesen Images installierten Paketen finden Sie in der Deep Learning VM-Dokumentation unter Image auswählen.

Alternativ können Sie ein öffentliches oder benutzerdefiniertes Image verwenden. Bei den meisten öffentlichen Images oder benutzerdefinierten Images müssen Sie NVIDIA-Treiber und das CUDA-Toolkit installieren. Informationen dazu, welche Treiber für Ihr GPU-Modell geeignet sind, finden Sie unter GPU-Treiber installieren.

GPU-Kontingent prüfen

Zum Schutz der Systeme und Nutzer von Compute Engine haben neue Projekte ein globales GPU-Kontingent, das die Gesamtzahl der GPUs begrenzt, die Sie in einer unterstützten Zone erstellen können. Informationen zum GPU-Kontingent finden Sie unter GPU-Kontingent.

Fordern Sie eine Kontingentaufstockung an, falls Sie Ihr GPU-Kontingent erhöhen müssen. Wenn Sie ein GPU-Kontingent anfordern, müssen Sie ein Kontingent für die GPU-Typen, die Sie in den einzelnen Regionen erstellen möchten, sowie ein zusätzliches globales Kontingent für die Gesamtzahl der GPUs aller Typen in allen Zonen anfordern.

Wenn Ihr Projekt einen bestehenden Abrechnungsverlauf hat, wird es nach Ihrer Anfrage automatisch Kontingente erhalten.

GPU-Instanzen und Zuweisungskontingente auf Abruf

Für Instanzen, die das Standardbereitstellungsmodell verwenden, können in der Regel keine Kontingente für die Zuweisung auf Abruf verwendet werden. Kontingente auf Abruf sind für temporäre Arbeitslasten vorgesehen und in der Regel verfügbarer. Wenn Ihr Projekt kein Kontingent auf Abruf hat und Sie es noch nie angefordert haben, verbrauchen alle Instanzen in Ihrem Projekt Standardkontingente.

Wenn Sie ein Kontingent für die Zuweisung auf Abruf anfordern, müssen Instanzen, die das Standardbereitstellungsmodell verwenden, alle folgenden Kriterien erfüllen, um das Kontingent für die Zuweisung auf Abruf zu nutzen:

Wenn Sie ein Zuteilungskontingent auf Abruf für zeitgebundene GPU-Arbeitslasten verwenden, profitieren Sie sowohl von der unterbrechungsfreien Laufzeit als auch von der hohen Verfügbarkeit des Zuteilungskontingents auf Abruf. Weitere Informationen finden Sie unter Kontingente auf Abruf.

Instanz mit angehängten GPUs erstellen

So erstellen Sie eine Instanz mit angehängten GPUs:

  1. Erstellen Sie die Instanz. Die zum Erstellen einer Instanz verwendete Methode hängt von der Arbeitslast ab, die Sie ausführen möchten.

    GPUMaschinentypen
    KI- und ML-Arbeitslasten Grafiken und Visualisierung Andere GPU-Arbeitslasten
    Beschleunigungsoptimierte Maschinentypen der A-Serie sind für Arbeitslasten aus den Bereichen Hochleistungs-Computing (HPC), künstliche Intelligenz (KI) und maschinelles Lernen (ML) konzipiert.

    Bei diesen Maschinentypen wird das GPU-Modell automatisch an die Instanz angehängt.

    		 Beschleunigungsoptimierte Maschinentypen der G-Serie sind für Arbeitslasten wie NVIDIA Omniverse-Simulationsarbeitslasten, grafikintensive Anwendungen, Videotranscodierung und virtuelle Desktops konzipiert. Diese Maschinentypen unterstützen NVIDIA RTX Virtual Workstations (vWS).

    Bei diesen Maschinentypen wird das GPU-Modell automatisch an die Instanz angehängt.

    An N1-Maschinentypen für allgemeine Zwecke, mit Ausnahme des gemeinsam genutzten N1-Kerns (f1-micro und g1-small), können Sie eine ausgewählte Gruppe von GPU-Modellen anhängen. Einige dieser GPU-Modelle unterstützen auch virtuelle NVIDIA RTX-Workstations (vWS).

    Wählen Sie für KI-, ML- und HPC-Arbeitslasten eine der folgenden Optionen aus:

    		 Informationen zum Erstellen einer G2- (L4) oder G4-Instanz (RTX PRO 6000) finden Sie unter G2- oder G4-Instanz erstellen. Informationen zum Erstellen einer N1-Instanz mit angehängten NVIDIA T4-, P4-, P100- oder V100-GPUs finden Sie unter N1-Instanz mit angehängten GPUs erstellen.

  2. Damit die Instanz die GPU verwenden kann, müssen Sie den GPU-Treiber auf Ihrer Instanz installieren. Wenn Sie eine virtuelle NVIDIA RTX-Workstation (früher NVIDIA GRID) aktiviert haben, installieren Sie einen Treiber für eine virtuelle Workstation.

Nächste Schritte