GPU-Maschinen in der beschleunigungsoptimierten Maschinenfamilie

In diesem Dokument werden die Compute Engine-Instanzen mit vorab angehängten NVIDIA-GPUs in der beschleunigeroptimierten Maschinenfamilie beschrieben. Diese Instanzen sind speziell für künstliche Intelligenz (KI), maschinelles Lernen (ML), Hochleistungs-Computing (HPC) und grafikintensive Anwendungen konzipiert.

Die beschleunigungsoptimierte Maschinenfamilie umfasst die folgenden Maschinenserien: A4X Max, A4X, A4, A3, A2, G4 und G2. Jeder Maschinentyp innerhalb einer Reihe hat ein bestimmtes Modell und eine bestimmte Anzahl von NVIDIA-GPUs angehängt. Sie können auch einige GPU-Modelle an N1-Maschinentypen für allgemeine Zwecke anhängen.

Informationen zu beschleunigungsoptimierten Instanzen mit angehängten TPUs finden Sie unter TPU-Maschinen in der beschleunigungsoptimierten Maschinenfamilie.

GPU-Modelle und Maschinenserien

In der folgenden Tabelle sind die Hardwarespezifikationen, die Zuordnungen von Maschinenreihen, die Netzwerkbandbreite und die Speicherkapazitäten der in Compute Engine verfügbaren GPU-Modelle zusammengefasst:

GPU-Modell Maschinenserie Architektur GPU-Arbeitsspeicher und -Bandbreite GPUs pro Compute-Instanz Maximale Netzwerkbandbreite Lokale SSD Interconnect Unterstützung für NVIDIA RTX Virtual Workstation (vWS)
NVIDIA GB300 A4X Max Blackwell Ultra 279 GB HBM3e (8 TB/s) 4 (NVL72) 3.600 Gbit/s 12.000 GiB NVLink Full Mesh (1.800 GB/s) Nein
NVIDIA GB200 A4X Blackwell 186 GB HBM3e (8 TB/s) 4 (NVL72) 2.000 Gbit/s 12.000 GiB NVLink Full Mesh (1.800 GB/s) Nein
NVIDIA B200 A4 Blackwell 180 GB HBM3e (8 TB/s) 8 3.600 Gbit/s 12.000 GiB NVLink Full Mesh (1.800 GB/s) Nein
NVIDIA H200 A3 Ultra Hopper 141 GB HBM3e (4,8 TB/s) 8 3.600 Gbit/s 12.000 GiB NVLink Full Mesh (900 GB/s) Nein
NVIDIA H100 A3 Mega, High, Edge Hopper 80 GB HBM3 (3,35 TB/s) 1, 2, 4, 8 Bis zu 1.000 Gbit/s Bis zu 6.000 GiB NVLink Full Mesh (900 GB/s) Nein
NVIDIA A100 (80 GB) A2-Ultra Ampere 80 GB HBM2e (1,9 TB/s) 1, 2, 4, 8 100 Gbit/s Bis zu 3.000 GiB NVLink Full Mesh (600 GB/s) Nein
NVIDIA A100 (40 GB) A2-Standard Ampere 40 GB HBM2 (1,6 TB/s) 1, 2, 4, 8, 16 100 Gbit/s Bis zu 3.000 GiB NVLink Full Mesh (600 GB/s) Nein
NVIDIA RTX Pro 6000 G4 Blackwell 96 GB GDDR7 (1,597 TB/s) 1/8, 1/4, 1/2, 1, 2, 4, 8 200 Gbit/s Bis zu 3.000 GiB PCIe Gen 5 Ja
NVIDIA L4 G2 Ada Lovelace 24 GB GDDR6 (300 GB/s) 1, 2, 4, 8 100 Gbit/s Bis zu 3.000 GiB PCIe Gen 4 Ja
NVIDIA V100 N1+V100 Volta 16 GB HBM2 (900 GB/s) 1, 2, 4, 8 100 Gbit/s Unterstützt NVLink Ring (300 GB/s) Nein
NVIDIA T4 (Support wird demnächst eingestellt) N1+T4 Turing 16 GB GDDR6 (320 GB/s) 1, 2, 4 100 Gbit/s Unterstützt PCIe Gen 3 Ja
NVIDIA P4 (Support wird demnächst eingestellt) N1+P4 Pascal 8 GB GDDR5 (192 GB/s) 1, 2, 4 100 Gbit/s Unterstützt PCIe Gen 3 Ja

Im folgenden Abschnitt finden Sie die empfohlene Maschinenreihe basierend auf Ihren GPU-Arbeitslasten. Weitere Informationen zur Auswahl einer Computing-Strategie für KI-/ML- und HPC-Arbeitslasten finden Sie in der AI Hypercomputer-Dokumentation unter Computing-Strategie auswählen.

KI/ML-Training

KI/ML-Inferenz

  • Inferenz großer Modelle (mehr als 70 Milliarden Parameter): Die Bereitstellung von Large Language Models (LLMs) profitiert von einer hohen High Bandwidth Memory (HBM3e)-Kapazität (141–186 GB pro GPU), um Modellgewichtungen auf weniger GPUs zu verteilen und so den Overhead für die Kommunikation zwischen Chips zu reduzieren. Empfohlene Maschinenreihe:

  • Hoher Durchsatz und Echtzeitbereitstellung: Interaktive Abfragen mit niedriger Latenz, Streaming-Antworten und Bildgenerierung verwenden hardwarebeschleunigte quantisierte numerische Formate wie 8-Bit-Gleitkomma (FP8), 8-Bit-Ganzzahl (INT8) und 4-Bit-Ganzzahl (INT4), um den Durchsatz von Anfragen pro Dollar zu maximieren. Empfohlene Maschinenserie:

    Weitere Informationen finden Sie in der AI Hypercomputer-Dokumentation unter Empfehlungen für die Bereitstellung von Inferenzen.

Grafik und visuelle Darstellung

HPC und Simulation

  • Wissenschaftliche Simulation und Modellierung: Anwendungen in der Molekulardynamik (z. B. GROMACS und AMBER), der numerischen Strömungsmechanik (CFD), der Quantenchemie, der Astrophysik und der Wettervorhersage erfordern eine hohe 64-Bit-Gleitkommaleistung mit doppelter Genauigkeit (FP64) und eine hohe Speicherbandbreite. Empfohlene Maschinenserie:

    • A4X (NVIDIA GB200)
    • A4 (NVIDIA B200)
    • A3 (NVIDIA H100)
    • A2 (NVIDIA A100)

    Weitere Informationen finden Sie in der Dokumentation zum AI Hypercomputer unter Empfehlungen für HPC.

Die Maschinenserien A4X Max und A4X

Die Maschinenserien A4X Max und A4X werden auf einer Exascale-Plattform ausgeführt, die auf der Rack-Scale-Architektur von NVIDIA basiert. Sie sind für rechen- und speicherintensive, netzwerkgebundene ML-Trainings und HPC-Arbeitslasten optimiert. A4X Max und A4X unterscheiden sich hauptsächlich in ihren GPU- und Netzwerkkomponenten. A4X Max ist nur als Bare-Metal-Instanzen verfügbar, die direkten Zugriff auf die CPU und den Arbeitsspeicher des Hostservers bieten, ohne dass der Hypervisor von Compute Engine dazwischengeschaltet ist.

Alle Maschinentypen der Serien A4X Max und A4X haben zwei Sockel mit NVIDIA Grace™-CPUs mit Arm® Neoverse™ V2-Kernen. Diese CPUs sind mit vier GPUs über eine schnelle Chip-zu-Chip-NVLink-C2-Kommunikation verbunden.

Sowohl die A4X Max- als auch die A4X-Maschinenserie basieren auf der NVL72-Rack-Architektur von NVIDIA, die NVLink-Domains verwendet, um umfangreiches, leistungsstarkes GPU-Computing zu ermöglichen. Eine NVLink-Domain ist eine Gruppe von miteinander verbundenen NVIDIA NVSwitch-Chips und den GPUs, die mit ihnen verbunden sind. Sie bilden eine Hochgeschwindigkeits-Netzwerkstruktur, die eine direkte und schnelle Kommunikation zwischen GPUs ermöglicht. Bei den Maschinentypen A4X Max und A4X besteht eine einzelne NVL72-Domain (NVLink) aus 18 Instanzen und 72 GPUs.

A4X Max und A4X im Vergleich

In der folgenden Tabelle werden die Funktionen verglichen, die sich zwischen den Maschinentypen A4X Max und A4X unterscheiden:

Funktion A4X Max (NVIDIA GB300) A4X (NVIDIA GB200)
GPU-Beschleunigung An A4X Max-Instanzen werden automatisch NVIDIA GB300 Ultra Superchips angehängt. Diese Superchips verfügen über NVIDIA B300-GPUs, die bis zu 20 TB GPU-Gesamtspeicher pro NVL72-Domain bieten, was etwa 279 GB pro GPU entspricht. An A4X-Instanzen sind automatisch NVIDIA GB200-Superchips angehängt. Diese Superchips sind mit NVIDIA B200-GPUs ausgestattet und bieten 186 GB Arbeitsspeicher pro GPU.
Erweiterte Netzwerke mit RoCE

Bei A4X Max-Instanzen erhöht RDMA over Converged Ethernet (RoCE) die Netzwerkleistung, indem NVIDIA ConnectX-8 (CX-8) SuperNICs und das rechenzentrumsweite Netzwerk von Google mit 8-Wege-Rail-Alignment kombiniert werden. Diese Konfiguration bietet eine Bandbreite von bis zu 3.200 Gbit/s,was optimal für anspruchsvolle, umfangreiche Trainings- und HPC-Aufgaben ist.

Für allgemeine Netzwerkfunktionen hat jede Instanz außerdem eine Bandbreite von bis zu 400 Gbit/s.

Bei A4X-Instanzen erhöht RDMA over Converged Ethernet (RoCE) die Netzwerkleistung, indem NVIDIA ConnectX-7 (CX-7)-Netzwerkkarten und das rechenzentrumsweite Netzwerk von Google mit 4-Wege-Rail-Alignment kombiniert werden. Diese Architektur bietet eine Bandbreite von bis zu 1.600 Gbit/s und ermöglicht eine Kommunikation mit hohem Durchsatz und niedriger Latenz für große, verteilte Arbeitslasten.

Für allgemeine Netzwerkzwecke hat jede Instanz außerdem eine Bandbreite von bis zu 400 Gbit/s.
Leistung Die NVIDIA GB300 Ultra-Superchips bieten 15 PetaFLOPS dichte FP4-Leistung. Bei umfangreichen FP4-Inferenzaufgaben bieten die GB300 Ultra-Superchips voraussichtlich eine um 20–40% höhere Leistung als die GB200-Superchips. Die NVIDIA GB200-Superchips bieten 10 PetaFLOPS dichte FP4-Leistung.
Unterstützung für Bare-Metal- und VM-Instanzen Nur Bare-Metal-Instanzen Nur VM-Instanzen
Betriebssystemunterstützung A4X Max-Instanzen unterstützen eine Reihe von Linux-Betriebssystem-Images. Da Bare-Metal-Instanzen jedoch den Netzwerktreiber „Infrastructure Data Path Function“ (IDPF) verwenden, muss Ihr Betriebssystem-Image IDPF unterstützen. Informationen zur Verwendung eines in Compute Engine verfügbaren Betriebssystem-Images finden Sie unter Betriebssystem-Images, die IDPF unterstützen. A4X-Instanzen unterstützen eine Reihe von Linux-Betriebssystem-Images. Eine vollständige Liste der unterstützten Betriebssysteme in Compute Engine finden Sie unter Betriebssystemunterstützung für GPUs.

Sowohl A4X Max- als auch A4X-Maschinentypen bieten die folgenden Features:

  • CPU-Plattform: Sowohl die A4X Max- als auch die A4X-Maschinentypen verwenden die NVIDIA Grace-CPU-Plattform mit Arm® Neoverse™ V2-Kernen. Weitere Informationen zur Plattform finden Sie unter CPU-Plattformen.

  • NVLink-Skalierbarkeit: NVLink mit mehreren Knoten kann auf bis zu 72 GPUs in einer einzelnen Domain skaliert werden und bietet eine bidirektionale GPU-NVLink-Bandbreite von 1.800 GB/s pro GPU.

  • Laufwerkunterstützung: A4X Max- und A4X-Instanzen unterstützen lokale SSDs für schnelle Scratch Disks, was nützlich ist, um Daten in GPUs einzuspeisen und gleichzeitig E/A-Engpässe zu vermeiden. A4X Max- und A4X-Instanzen werden automatisch 12.000 GiB lokaler SSD-Speicher hinzugefügt.

    Als langlebigen Speicher können Sie bis zu 512 TiB Hyperdisk-Speicher anhängen. Weitere Informationen zu Laufwerkstypen finden Sie unter Laufwerkstyp auswählen.

  • Unterstützung für dichte Zuweisung und Topology-Aware Scheduling: Sowohl A4X Max- als auch A4X-Maschinentypen unterstützen das Anfordern von Blöcken mit dichter Zuweisung. Ihre Hostcomputer werden räumlich nahe beieinander zugewiesen, als Ressourcenblöcke bereitgestellt und über ein dynamisches ML-Netzwerk verbunden, um Netzwerk-Hops zu minimieren und die Latenz zu optimieren. Außerdem können Sie für A4X Max- und A4X-Instanzen Topologieinformationen auf Knoten- und Clusterebene abrufen, die für die Jobplatzierung verwendet werden können.

Preise und Nutzungsoptionen für A4X Max- und A4X-Instanzen

A4X Max- und A4X-Instanzen unterstützen die folgenden Verbrauchs- und Rabattoptionen:

Google Cloud stellt A4X Max- und A4X-Instanzen für die angehängten GPUs, vordefinierten vCPUs, den Arbeitsspeicher und die gebündelten lokalen SSD-Laufwerke in Rechnung. Die Nutzung von Hyperdisk und Netzwerk wird separat von den Preisen für Maschinentypen berechnet. Weitere Informationen finden Sie unter Preise und Nutzungsoptionen, Preise für beschleunigungsoptimierte Maschinentypfamilien und GPU-Preise.

Maschinentyp A4X Max (NVIDIA GB300)

Beschleunigeroptimierte A4X Max-Maschinentypen verwenden NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300) und sind ideal für das Trainieren und Bereitstellen von Foundation Models. A4X Max-Maschinentypen sind als Bare-Metal-Instanzen verfügbar.

A4X Max ist eine Exascale-Plattform, die auf NVIDIA GB300 NVL72 basiert. Jede Maschine hat zwei Sockets mit NVIDIA Grace-CPUs mit Arm Neoverse V2-Kernen. Diese CPUs sind mit vier NVIDIA B300 Blackwell-GPUs mit schneller Chip-zu-Chip-Kommunikation (NVLink-C2C) verbunden. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter Einschränkungen für A4X Max und A4X.

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA GB300-GPUs GPU-Arbeitsspeicher (GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12.000 6 3.600 4 1.116

Hinweise zu A4X Max-Maschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A4X-Maschinentyp (NVIDIA GB200)

Beschleunigungsoptimierte A4X-Maschinentypen verwenden NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200) und sind ideal für das Trainieren und Bereitstellen von Foundation Models.

A4X ist eine Exascale-Plattform, die auf NVIDIA GB200 NVL72 basiert. Jede Maschine hat zwei Sockets mit NVIDIA Grace-CPUs mit Arm Neoverse V2-Kernen. Diese CPUs sind mit vier NVIDIA B200 Blackwell-GPUs mit schneller Chip-zu-Chip-Kommunikation (NVLink-C2C) verbunden. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter Einschränkungen für A4X Max und A4X.

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA GB200-GPUs GPU-Arbeitsspeicher (GB HBM3e)
a4x-highgpu-4g 140 884 12.000 6 2.000 4 744

Hinweise zu A4X-Maschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Einschränkungen von A4X Max und A4X

Für A4X Max- und A4X-Instanzen gelten die folgenden Einschränkungen:

A4X Max-Instanzen

A4X-Instanzen

Unterstützte Laufwerktypen für A4X Max- und A4X-Instanzen

A4X Max

A4X Max-Instanzen können die folgenden Blockspeichertypen verwenden:

  • Hyperdisk Balanced (hyperdisk-balanced): Dies ist der einzige Laufwerkstyp, der für das Bootlaufwerk unterstützt wird.
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extrem (hyperdisk-extreme)
  • Lokale SSD: Wird Instanzen, die mit einem der A4X Max-Maschinentypen erstellt werden, automatisch hinzugefügt.

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Hyperdisks Hyperdisk abgestimmt Hyperdisk Throughput Hyperdisk ML Hyperdisk Extrem Verbundene lokale SSD
a4x-maxgpu-4g-metal 32 32 32 32 8 4

A4X

A4X-Instanzen können die folgenden Blockspeichertypen verwenden:

  • Hyperdisk Balanced (hyperdisk-balanced): Dies ist der einzige Laufwerkstyp, der für das Bootlaufwerk unterstützt wird.
  • Hyperdisk Extrem (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • Lokale SSD: Wird Instanzen, die mit einem der A4X-Maschinentypen erstellt werden, automatisch hinzugefügt.

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Hyperdisks Hyperdisk abgestimmt Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extrem Verbundene lokale SSD
a4x-highgpu-4g 128 128 0 0 128 8 4

Der folgende Hinweis gilt für die obige Tabelle:

Laufwerks- und Kapazitätslimits

Sie können einer Instanz eine Mischung aus verschiedenen Hyperdisk-Typen zuordnen. Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf jedoch 512 TiB für alle Hyperdisks nicht überschreiten.

Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Größen- und Anhangslimits.

Wartung für A4X Max- und A4X-Instanzen

Während des Lebenszyklus einer Compute Engine-Instanz durchläuft der Hostcomputer, auf dem Ihre Instanz ausgeführt wird, mehrere Hostereignisse. Ein Hostereignis kann die reguläre Wartung der Compute Engine-Infrastruktur oder in seltenen Fällen einen Hostfehler umfassen. Compute Engine wendet auch einfache, unterbrechungsfreie Upgrades für den Hypervisor und das Netzwerk im Hintergrund an.

In der folgenden Tabelle werden die Hostwartungsfunktionen für die Maschinentypen A4X Max und A4X beschrieben:

Maschinentyp Anzahl der GPUs Typische Häufigkeit geplanter Wartungsereignisse Wartungsverhalten Vorankündigung für geplante Wartung On-Demand-Wartung Wartung simulieren
A4X Max und A4X 4 Mindestens 90 Tage Wird mit Datenpersistenz auf lokalen SSDs beendet 90 Tage Ja Nein

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • Typische Häufigkeit geplanter Wartungsereignisse:

    Die in der vorherigen Tabelle gezeigten Wartungshäufigkeiten sind Näherungswerte und keine Garantien. Für Compute Engine wird zeitweise eine Wartung häufiger durchgeführt.

Weitere Informationen zur Hostwartung im AI Hypercomputer finden Sie in der AI Hypercomputer-Dokumentation unter Hostwartung.

Die A4-Maschinenserie

Die A4-Maschinenserie bietet Maschinentypen mit bis zu 224 vCPUs und 3.968 GB Arbeitsspeicher. A4-Instanzen bieten für die meisten GPU-beschleunigten Arbeitslasten eine bis zu dreimal höhere Leistung als frühere GPU-Instanztypen. A4 wird für ML-Trainingsarbeitslasten empfohlen, insbesondere bei großen Mengen, z. B. Hunderten oder Tausenden von GPUs. Die A4-Maschinenserie ist in einem einzigen Maschinentyp verfügbar.

VM-Instanzen, die mit dem A4-Maschinentyp erstellt werden, bieten die folgenden Features:

  • GPU-Beschleunigung mit NVIDIA B200-GPUs: NVIDIA B200-GPUs werden automatisch an A4-Instanzen angehängt, die 180 GB GPU-Arbeitsspeicher pro GPU bieten.

  • Skalierbarer Intel Xeon-Prozessor der 5.Generation (Emerald Rapids): bietet eine dauerhafte maximale Turbofrequenz pro Kern von bis zu 4,0 GHz. Weitere Informationen zu diesem Prozessor finden Sie unter CPU-Plattform.

  • NVLink-Skalierbarkeit: NVIDIA B200-GPUs bieten eine GPU-NVLink-Bandbreite von 1.800 GB/s, bidirektional pro GPU.

    Bei einer All-to-All-NVLink-Topologie zwischen 8 GPUs in einem System beträgt die NVLink-Gesamtbandbreite bis zu 14, 4 TB/s.

  • Erweiterte Netzwerkleistung mit RoCE: RDMA over Converged Ethernet (RoCE) erhöht die Netzwerkleistung, indem NVIDIA ConnectX-7-Netzwerkkarten mit dem rechenzentrumsweiten Vier-Wege-Rail-Netzwerk von Google kombiniert werden. Durch die Nutzung von RDMA over Converged Ethernet (RoCE) erreichen A4-Instanzen einen viel höheren Durchsatz zwischen Instanzen in einem Cluster als die meisten A3-Instanzen, mit Ausnahme der Instanzen, die auf dem A3 Ultra-Maschinentyp ausgeführt werden.

  • Höhere Netzwerkgeschwindigkeiten: Bietet im Vergleich zu A2-Instanzen der vorherigen Generation bis zu viermal höhere Netzwerkgeschwindigkeiten.

    Weitere Informationen zu Netzwerken finden Sie unter Netzwerkbandbreiten und GPUs.

  • Virtualisierungsoptimierungen für Datenübertragungen und Wiederherstellung: Die PCIe-Topologie (Peripheral Component Interconnect Express) von A4-Instanzen liefert genauere Informationen zur Lokalität, mit denen Arbeitslasten die Datenübertragungen optimieren können.

    Die GPUs bieten außerdem einen Funktionsebenen-Reset (FLR) für eine reibungslose Fehlerwiederherstellung und Unterstützung für atomare Vorgänge zur Verbesserung der Nebenläufigkeit in bestimmten Szenarien.

  • Laufwerkunterstützung: A4-Instanzen unterstützen lokale SSDs für schnelle Scratch Disks, was nützlich ist, um Daten in GPUs einzuspeisen und gleichzeitig E/A-Engpässe zu vermeiden. Für langlebigen Speicher können Sie Hyperdisk-Volumes anhängen.

    A4-Instanzen werden automatisch 12.000 GiB lokaler SSD-Speicher hinzugefügt. Für Arbeitslasten, die langlebigen Blockspeicher erfordern, können Sie auch bis zu 512 TiB Hyperdisk an A4-Instanzen anhängen. Weitere Informationen zu Laufwerkstypen finden Sie unter Laufwerkstyp auswählen.

  • Unterstützung für dichte Zuweisung und Topology-Aware Scheduling: Wenn Sie A4-Instanzen bereitstellen, können Sie Blöcke mit dichter Zuweisung anfordern. Ihre Hostcomputer werden räumlich nahe beieinander zugewiesen, als Ressourcenblöcke bereitgestellt und über ein dynamisches ML-Netzwerk verbunden, um Netzwerk-Hops zu minimieren und die niedrigste Latenz zu erreichen. Außerdem können Sie Topologieinformationen auf Knoten- und Clusterebene abrufen, die für die Jobplatzierung verwendet werden können.

Preis- und Verbrauchsoptionen für A4-Instanzen

A4-Instanzen unterstützen die folgenden Verbrauchs- und Rabattoptionen:

Google Cloud stellt A4-Instanzen für die angeschlossenen GPUs, vordefinierten vCPUs, den Arbeitsspeicher und die gebündelten lokalen SSD-Laufwerke in Rechnung. Die Nutzung von Hyperdisk und Netzwerk wird separat von den Preisen für Maschinentypen berechnet. Weitere Informationen finden Sie unter Preise und Nutzungsoptionen, Preise für beschleunigungsoptimierte Maschinentypfamilien und GPU-Preise.

A4-Maschinentyp (NVIDIA B200)

Beschleunigungsoptimierte A4-Maschinentypen haben NVIDIA B200 Blackwell-GPUs (nvidia-b200) angehängt und sind ideal für das Trainieren und Bereitstellen von Foundation Models. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter A4-Einschränkungen.

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA B200 Blackwell-GPUs GPU-Arbeitsspeicher (GB HBM3e)
a4-highgpu-8g 224 3.968 12.000 10 3.600 8 1.440

Hinweise zu A4-Maschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A4-Einschränkungen

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A4-Maschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A4-Maschinentyp verwenden.
  • Sie können einen A4-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonal) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
  • Der A4-Maschinentyp ist nur auf der Emerald Rapids-CPU-Plattform verfügbar.
  • Sie können den Maschinentyp einer Instanz nicht in einen A4-Maschinentyp oder von einem A4-Maschinentyp in einen anderen Maschinentyp ändern. Sie müssen eine neue Instanz mit diesem Maschinentyp erstellen.
  • A4-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Sie können Windows-Betriebssysteme nicht auf einem A4-Maschinentyp ausführen.
  • Wenn Sie bei A4-Instanzen ethtool -S zum Überwachen des GPU-Netzwerks verwenden, werden die Zähler für physische Ports, die auf _phy enden, nicht aktualisiert. Dies ist das erwartete Verhalten für Instanzen, die die MRDMA-VF-Architektur (Virtual Function) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Netzwerkmonitoring-Tools.
  • Sie können Hyperdisk ML-Laufwerke, die vor dem 4. Februar 2026 erstellt wurden, nicht an A4-Maschinentypen anhängen.

Unterstützte Laufwerkstypen für A4-Instanzen

A4-Instanzen können folgende Blockspeichertypen verwenden:

  • Hyperdisk Balanced (hyperdisk-balanced): Dies ist der einzige Laufwerkstyp, der für das Bootlaufwerk unterstützt wird.
  • Hyperdisk Extrem (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • Lokale SSD: Wird Instanzen, die mit einem der A4-Maschinentypen erstellt werden, automatisch hinzugefügt.

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Hyperdisks Hyperdisk abgestimmt Hyperdisk Throughput Hyperdisk ML Hyperdisk Extrem Verbundene lokale SSD
a4-highgpu-8g 128 128 – 128 8 32

Der folgende Hinweis gilt für die obige Tabelle:

Laufwerks- und Kapazitätslimits

Sie können einer Instanz eine Mischung aus verschiedenen Hyperdisk-Typen zuordnen. Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf jedoch 512 TiB für alle Hyperdisks nicht überschreiten.

Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Größen- und Anhangslimits.

Wartung von A4-Instanzen

Während des Lebenszyklus einer Compute Engine-Instanz durchläuft der Hostcomputer, auf dem Ihre Instanz ausgeführt wird, mehrere Hostereignisse. Ein Hostereignis kann die reguläre Wartung der Compute Engine-Infrastruktur oder in seltenen Fällen einen Hostfehler umfassen. Compute Engine wendet auch einfache, unterbrechungsfreie Upgrades für den Hypervisor und das Netzwerk im Hintergrund an.

In der folgenden Tabelle werden die Hostwartungsfunktionen für A4-Maschinentypen beschrieben:

Maschinentyp Anzahl der GPUs Typische Häufigkeit geplanter Wartungsereignisse Wartungsverhalten Vorankündigung für geplante Wartung On-Demand-Wartung Wartung simulieren
A4 8 Mindestens 90 Tage Wird mit Datenpersistenz auf lokalen SSDs beendet 90 Tage Ja Nein

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • Typische Häufigkeit geplanter Wartungsereignisse:

    Die in der vorherigen Tabelle gezeigten Wartungshäufigkeiten sind Näherungswerte und keine Garantien. Für Compute Engine wird zeitweise eine Wartung häufiger durchgeführt.

Weitere Informationen zur Hostwartung im AI Hypercomputer finden Sie in der AI Hypercomputer-Dokumentation unter Hostwartung.

Die A3-Maschinenreihe

Die A3-Maschinenreihe hat bis zu 224 vCPUs und 2.944 GB Arbeitsspeicher. Diese Maschinenreihe ist für rechen- und speicherintensive, netzwerkgebundene ML-Trainings und HPC-Arbeitslasten optimiert. Die A3-Maschinenserie ist in den Maschinentypen A3 Ultra, A3 Mega, A3 High und A3 Edge verfügbar.

In der folgenden Tabelle werden die Funktionen verglichen, die sich zwischen den A3-Maschinentypen unterscheiden:

Funktion A3 Ultra (NVIDIA H200) A3 Mega, High und Edge (NVIDIA H100)
GPU-Beschleunigung

NVIDIA H200 SXM-GPUs sind angeschlossen und bieten 141 GB GPU-Arbeitsspeicher pro GPU. Sie bieten größeren und schnelleren Arbeitsspeicher zur Unterstützung von Large Language Models und HPC-Arbeitslasten.

NVIDIA H100 SXM-GPUs sind angeschlossen und bieten 80 GB GPU-Arbeitsspeicher pro GPU. Dies ist ideal für große Transformer-basierte Sprachmodelle, Datenbanken und HPC.
Skalierbare Intel Xeon-Prozessoren

Intel Xeon Scalable-Prozessor der 5.Generation (Emerald Rapids), der eine kontinuierliche maximale Turbofrequenz für einen einzelnen Kern von bis zu 4,0 GHz bietet. Weitere Informationen zu diesem Prozessor finden Sie unter CPU-Plattformen.

Skalierbarer Intel Xeon-Prozessor der 4.Generation (Sapphire Rapids), der eine dauerhafte maximale Turbofrequenz pro Kern von bis zu 3,3 GHz bietet. Weitere Informationen zu diesem Prozessor finden Sie unter CPU-Plattformen.
Erweiterte Netzwerkeinstellungen

Bei diesem Maschinentyp erhöht RDMA over Converged Ethernet (RoCE) die Netzwerkleistung, indem NVIDIA ConnectX-7-Netzwerkkarten mit dem rechenzentrumsweiten 4-Wege-Rail-Netzwerk von Google kombiniert werden. Durch die Verwendung von RDMA-RoCE (Remote Direct Memory Access over Converged Ethernet) erreicht der a3-ultragpu-8g-Maschinentyp einen viel höheren Durchsatz zwischen Instanzen in einem Cluster als andere A3-Maschinentypen.
  • Bei den A3 Mega-Maschinentypen verbessert GPUDirect-TCPXO GPUDirect-TCPX weiter, indem das TCP-Protokoll ausgelagert wird. Durch die Nutzung von GPUDirect-TCPXO erreicht der Maschinentyp a3-megagpu-8g die doppelte Netzwerkbandbreite der Maschinentypen A3 High und A3 Edge.
  • Bei den Maschinentypen A3 Edge (a3-edgegpu-8g) und A3 High (a3-highgpu-8g) erhöht GPUDirect-TCPX die Netzwerkleistung, indem Datennutzlasten direkt vom GPU-Speicher an die Netzwerkschnittstelle übertragen werden. Durch die Nutzung von GPUDirect-TCPX erreichen diese Maschinentypen einen viel höheren Durchsatz zwischen Instanzen in einem Cluster als die beschleunigungsoptimierten A2- oder G2-Maschinentypen.
Verbesserte Netzwerkgeschwindigkeit

Bietet eine bis zu viermal höhere Netzwerkgeschwindigkeit als die A2-Maschinenserie der vorherigen Generation.

Weitere Informationen zu Netzwerken finden Sie unter Netzwerkbandbreiten und GPUs.

Bietet eine bis zu 2,5-mal höhere Netzwerkgeschwindigkeit als die A2-Maschinenserie der vorherigen Generation.

Weitere Informationen zu Netzwerken finden Sie unter Netzwerkbandbreiten und GPUs.

Alle A3-Maschinentypen haben die folgenden Features gemeinsam:

  • NVLink-Skalierbarkeit: NVIDIA H200- und H100-GPUs bieten eine maximale GPU-NVLink-Bandbreite von 450 GB/s in einer Richtung. Mit einer All-to-All-NVLink-Topologie erreicht ein System mit 8 GPUs eine Gesamtbandbreite von bis zu 7, 2 TB/s.

  • Optimierungen bei der Virtualisierung: Die PCIe-Topologie (Peripheral Component Interconnect Express) von A3-Instanzen liefert genauere Informationen zur Lokalität, mit denen Arbeitslasten die Datenübertragungen optimieren können. Die GPUs bieten außerdem einen Funktionsebenen-Reset (FLR) für eine reibungslose Fehlerwiederherstellung und Unterstützung für atomare Vorgänge zur Verbesserung der Nebenläufigkeit in bestimmten Szenarien.

  • Laufwerkunterstützung: A3-Instanzen unterstützen lokale SSDs für schnelle Scratch Disks, was nützlich ist, um Daten in GPUs einzuspeisen und gleichzeitig E/A-Engpässe zu vermeiden. Für langlebigen Speicher können Sie Persistent Disk- und Hyperdisk-Volumes anhängen.

    Lokale SSDs werden so angehängt:

    • A3 Ultra-Instanzen werden automatisch 12.000 GiB lokaler SSD-Speicher hinzugefügt.
    • A3 Mega-, High- und Edge-Instanzen erhalten automatisch 6.000 GiB lokalen SSD-Speicher.

    Für Arbeitslasten, die langlebigen Blockspeicher erfordern, können Sie den Maschinentypen in diesen Serien auch bis zu 512 TiB Persistent Disk und Hyperdisk hinzufügen. Für ausgewählte Maschinentypen werden auch bis zu 257 TiB Persistent Disk unterstützt. Weitere Informationen zu Laufwerkstypen finden Sie unter Laufwerkstyp auswählen.

  • Unterstützung der Richtlinie für kompakte Platzierung: Bietet mehr Kontrolle über die physische Platzierung Ihrer Instanzen in Rechenzentren. Diese Platzierung ermöglicht eine geringere Latenz und eine höhere Bandbreite für Instanzen, die sich innerhalb einer einzelnen Verfügbarkeitszone befinden. Weitere Informationen finden Sie unter Richtlinien für kompakte Platzierung.

Preis- und Verbrauchsoptionen für A3-Instanzen

A3-Instanzen unterstützen die folgenden Verbrauchs- und Rabattoptionen:

Google Cloud stellt A3-Instanzen für die angeschlossenen GPUs, vordefinierten vCPUs, den Arbeitsspeicher und die gebündelten lokalen SSD-Laufwerke in Rechnung. Die Nutzung von Persistent Disk, Hyperdisk und Netzwerk wird separat von den Preisen für Maschinentypen berechnet. Weitere Informationen finden Sie unter Preise und Nutzungsoptionen, Preise für beschleunigungsoptimierte Maschinentypfamilien und GPU-Preise.

A3 Ultra-Maschinentyp (NVIDIA H200)

An A3 Ultra-Maschinentypen sind NVIDIA H200 SXM-GPUs (nvidia-h200-141gb) angehängt. Sie bieten die höchste Netzwerkleistung in der A3-Serie. A3 Ultra-Maschinentypen sind ideal für das Training und die Bereitstellung von Foundation Models. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter A3 Ultra-Einschränkungen.

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA H200-GPUs GPU-Arbeitsspeicher (GB HBM3e)
a3-ultragpu-8g 224 2.952 12.000 10 3.600 8 1128

Hinweise zu A3 Ultra-Maschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Einschränkungen von A3 Ultra

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A3-Ultra-Maschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A3 Ultra-Maschinentyp verwenden.
  • Sie können einen A3-Ultra-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonal) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
  • Der A3 Ultra-Maschinentyp ist nur auf der Emerald Rapids-CPU-Plattform verfügbar.
  • Änderungen des Maschinentyps werden für den A3 Ultra-Maschinentyp nicht unterstützt. Wenn Sie zu diesem Maschinentyp wechseln oder von diesem Maschinentyp zu einem anderen wechseln möchten, müssen Sie eine neue Instanz erstellen.
  • Sie können Windows-Betriebssysteme nicht auf einem A3-Ultra-Maschinentyp ausführen.
  • A3 Ultra-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Wenn Sie bei A3 Ultra-Instanzen ethtool -S zum Überwachen des GPU-Netzwerks verwenden, werden die Zähler für physische Ports, die auf _phy enden, nicht aktualisiert. Dies ist das erwartete Verhalten für Instanzen, die die MRDMA-VF-Architektur (Virtual Function) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Netzwerkmonitoring-Tools.

A3 Mega-Maschinentyp (NVIDIA H100)

A3 Mega-Maschinentypen haben NVIDIA H100 SXM-GPUs und sind ideal für das Training großer Modelle und die Inferenz mit mehreren Hosts. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter A3 Mega-Einschränkungen.
Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA H100-GPUs GPU-Arbeitsspeicher (GB HBM3)
a3-megagpu-8g 208 1.872 6.000 9 1.800 8 640

Hinweise zu A3 Mega-Maschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Einschränkungen von A3 Mega (NVIDIA H100)

A3 High-Maschinentyp (NVIDIA H100)

A3 High-Maschinentypen haben NVIDIA H100 SXM-GPUs und eignen sich sowohl für die Inferenz großer Modelle als auch für die Feinabstimmung von Modellen. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter A3 High-Einschränkungen.
Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA H100-GPUs GPU-Arbeitsspeicher (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1.500 1 50 2 160
a3-highgpu-4g 104 936 3.000 1 100 4 320
a3-highgpu-8g 208 1.872 6.000 5 1.000 8 640

Hinweise zu A3 High-Maschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Einschränkungen von A3 High

A3 Edge-Maschinentyp (NVIDIA H100)

A3 Edge-Maschinentypen haben NVIDIA H100 SXM-GPUs, sind speziell für die Bereitstellung konzipiert und in einer begrenzten Anzahl von Regionen verfügbar. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter A3 Edge-Einschränkungen.
Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA H100-GPUs GPU-Arbeitsspeicher (GB HBM3)
a3-edgegpu-8g 208 1.872 6.000 5 600 (asia-south1 und northamerica-northeast2) oder 400 (alle anderen A3 Edge-Regionen) 8 640

Hinweise zu A3 Edge-Maschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Einschränkungen von A3 Edge

Unterstützte Laufwerktypen für A3-Instanzen

A3 Ultra

A3 Ultra-Instanzen können die folgenden Blockspeichertypen verwenden:

  • Hyperdisk Balanced (hyperdisk-balanced): Dies ist der einzige Laufwerkstyp, der für das Bootlaufwerk unterstützt wird.
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extrem (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • Lokale SSD: Wird Instanzen, die mit einem der A3-Maschinentypen erstellt werden, automatisch hinzugefügt.

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Hyperdisks Hyperdisk abgestimmt Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extrem Angehängte lokale SSDs
a3-ultragpu-8g 128 128 128 – 128 8 32

Der folgende Hinweis gilt für die obige Tabelle:

A3 Mega

A3 Mega-Instanzen können die folgenden Blockspeichertypen verwenden:

  • Abgestimmter nichtflüchtiger Speicher (pd-balanced)
  • Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extrem (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Lokale SSD: Wird Instanzen, die mit einem der A3-Maschinentypen erstellt werden, automatisch hinzugefügt.

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Hyperdisks Hyperdisk abgestimmt Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extrem Angehängte lokale SSDs
a3-megagpu-8g 128 32 32 64 64 8 16

Der folgende Hinweis gilt für die obige Tabelle:

A3 High

A3 High-Instanzen können die folgenden Blockspeichertypen verwenden:

  • Abgestimmter nichtflüchtiger Speicher (pd-balanced)
  • Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extrem (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Lokale SSD: Wird Instanzen, die mit einem der A3-Maschinentypen erstellt werden, automatisch hinzugefügt.

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Hyperdisks Hyperdisk abgestimmt Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extrem Angehängte lokale SSDs
a3-highgpu-1g 128 32 32 64 64 – 2
a3-highgpu-2g 128 32 32 64 64 – 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

Der folgende Hinweis gilt für die obige Tabelle:

A3 Edge

A3 Edge-Instanzen können folgende Blockspeichertypen verwenden:

  • Abgestimmter nichtflüchtiger Speicher (pd-balanced)
  • Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extrem (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Lokale SSD: Wird Instanzen, die mit einem der A3-Maschinentypen erstellt werden, automatisch hinzugefügt.

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Hyperdisks Hyperdisk abgestimmt Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extrem Verbundene lokale SSD
a3-edgegpu-8g 128 32 32 64 64 8 16

Der folgende Hinweis gilt für die obige Tabelle:

Laufwerks- und Kapazitätslimits

Wenn der Maschinentyp dies unterstützt, können Sie eine Mischung aus Hyperdisk- und Persistent Disk-Volumes an eine Instanz anhängen. Es gelten jedoch die folgenden Einschränkungen:

  • Die Gesamtzahl der Hyperdisk- und Persistent Disk-Volumes darf 128 pro Instanz nicht überschreiten.

  • Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf Folgendes nicht überschreiten:

    • Für Maschinentypen mit weniger als 32 vCPUs:

      • 257 TiB für alle Hyperdisk- oder Persistent Disk-Volumes
      • 257 TiB für eine Mischung aus Hyperdisk und Persistent Disk

    • Für Maschinentypen mit 32 vCPUs oder mehr:

      • 512 TiB für alle Hyperdisk-Volume
      • 512 TiB für eine Mischung aus Hyperdisk und Persistent Disk
      • 257 TiB für alle Persistent Disk-Volumes

Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Größen- und Anhangslimits und Maximale Kapazität von Persistent Disk.

Wartung für A3-Instanzen

Während des Lebenszyklus einer Compute Engine-Instanz durchläuft der Hostcomputer, auf dem Ihre Instanz ausgeführt wird, mehrere Hostereignisse. Ein Hostereignis kann die reguläre Wartung der Compute Engine-Infrastruktur oder in seltenen Fällen einen Hostfehler umfassen. Compute Engine wendet auch einfache, unterbrechungsfreie Upgrades für den Hypervisor und das Netzwerk im Hintergrund an.

In der folgenden Tabelle werden die Hostwartungsfunktionen für A3-Maschinentypen beschrieben:

Maschinentyp Anzahl der GPUs Typische Häufigkeit geplanter Wartungsereignisse Wartungsverhalten Vorankündigung für geplante Wartung On-Demand-Wartung Wartung simulieren
A3 Ultra 8 Mindestens 90 Tage Wird mit Datenpersistenz auf lokalen SSDs beendet 90 Tage Ja Nein
A3 Mega und A3 High 8 Mindestens 30 Tage Beenden und neu starten 7 Tage Ja Ja
A3 High 1, 2, 4 Mindestens 30 Tage Beenden und neu starten 7 Tage Nein Ja
A3 Edge 8 Mindestens 30 Tage Beenden und neu starten 7 Tage Ja Ja

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • Typische Häufigkeit geplanter Wartungsereignisse:

    Die in der vorherigen Tabelle gezeigten Wartungshäufigkeiten sind Näherungswerte und keine Garantien. Für Compute Engine wird zeitweise eine Wartung häufiger durchgeführt.

  • A3 Mega und A3 High: Die Häufigkeit der geplanten Wartung und die Benachrichtigungsfenster gelten nicht für Instanzen, die durch spezifische Kundenwartungsvereinbarungen abgedeckt sind.

Weitere Informationen zur Hostwartung im AI Hypercomputer finden Sie in der AI Hypercomputer-Dokumentation unter Hostwartung.

Die A2-Maschinenserie

Die A2-Maschinenreihe ist in den Maschinentypen A2-Standard und A2-Ultra verfügbar. Diese Maschinentypen haben 12 bis 96 vCPUs und bis zu 1.360 GB Arbeitsspeicher.

VM-Instanzen, die mit den A2-Maschinentypen erstellt werden, bieten die folgenden Features:

  • GPU-Beschleunigung: Jede A2-Instanz hat NVIDIA A100-GPUs. Diese sind in den Optionen A100 mit 40 GB sowie A100 mit 80 GB verfügbar.

  • NVLink-Skalierbarkeit: NVIDIA A100-GPUs bieten eine maximale GPU-zu-GPU-NVLink-Bandbreite von 600 GB/s. Beispielsweise haben Systeme mit 16 GPUs eine NVLink-Bandbreite von bis zu 9,6 Terabyte pro Sekunde. Diese 16 GPUs können als einzelner Hochleistungs-Beschleuniger mit einheitlichem Arbeitsspeicher verwendet werden, um bis zu 10 PetaFLOPS Rechenleistung zu liefern, und bis zu 20 PetaFLOPS Inferenz-Computing, die für künstliche Intelligenz, Deep Learning und maschinelles Lernen-Arbeitslasten verwendet werden kann.

  • Höhere Rechengeschwindigkeit: Die angehängten NVIDIA A100-GPUs bieten im Vergleich zu NVIDIA V100-GPUs der vorherigen Generation eine bis zu zehnmal höhere Rechengeschwindigkeit.

    Mit der A2-Maschinenserie erhalten Sie bis zu 100 Gbit/s-Netzwerkbandbreite.

  • Laufwerksunterstützung: A2-Instanzen unterstützen lokale SSDs für schnelle Scratch Disks. Dies ist nützlich, um Daten in GPUs einzuspeisen und gleichzeitig E/A-Engpässe zu vermeiden. Für langlebigen Speicher können Sie Persistent Disk- und Hyperdisk-Volumes anhängen.

    Lokale SSDs werden so unterstützt:

    • Für die A2-Standardmaschinentypen können Sie beim Erstellen einer Instanz bis zu 3.000 GiB an lokaler SSD hinzufügen.
    • Bei den A2-Ultra-Maschinentypen wird der lokale SSD-Speicher beim Erstellen einer Instanz automatisch angehängt.

    Für Arbeitslasten, die langlebigen Blockspeicher erfordern, können Sie bis zu 257 TiB Persistent Disk- und 512 TiB Hyperdisk-Volumes an A2-Instanzen anhängen. Weitere Informationen zu Laufwerkstypen finden Sie unter Laufwerkstyp auswählen.

  • Unterstützung der Richtlinie für kompakte Platzierung: Bietet mehr Kontrolle über die physische Platzierung Ihrer Instanzen in Rechenzentren. Sie ermöglicht eine geringere Latenz und eine höhere Bandbreite für Instanzen, die sich innerhalb einer einzelnen Verfügbarkeitszone befinden. Weitere Informationen finden Sie unter Latenz mithilfe von Richtlinien für kompakte Platzierung reduzieren.

Preis- und Verbrauchsoptionen für A2-Instanzen

A2-Instanzen unterstützen die folgenden Verbrauchs- und Rabattoptionen:

Google Cloud stellt A2-Instanzen für die angehängten GPUs, vordefinierten vCPUs, den Arbeitsspeicher und die gebündelten lokalen SSD-Laufwerke (für A2 Ultra) in Rechnung. Persistent Disk, Hyperdisk, zusätzliche lokale SSD-Laufwerke (für A2 Standard) und die Netzwerknutzung werden separat von den Preisen für Maschinentypen berechnet. Weitere Informationen finden Sie unter Preise und Nutzungsoptionen, Preise für beschleunigungsoptimierte Maschinentypfamilien und GPU-Preise.

Für die A2-Maschinenserie sind die folgenden Maschinentypen verfügbar.

A2 Ultra-Maschinentypen (NVIDIA A100 80 GB)

Diese Maschinentypen haben eine feste Anzahl von A100-GPUs mit 80GB. Lokale SSDs werden automatisch an Instanzen angehängt, die mit den A2 Ultra-Maschinentypen erstellt wurden. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter A2 Ultra-Einschränkungen.

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA A100-GPUs mit 80 GB GPU-Arbeitsspeicher (GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1.500 50 4 320
a2-ultragpu-8g 96 1.360 3.000 100 8 640

Hinweise zu A2 Ultra-Maschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Einschränkungen von A2 Ultra

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A2-Ultra-Maschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A2-Ultra-Maschinentyp verwenden.
  • Sie können einen A2-Ultra-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Die A2-Ultra-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre Instanz einen A2-Ultra-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen A2-Ultra-Maschinentyp oder einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue Instanz erstellen.
  • Sie können keinen anderen Maschinentyp in einen A2-Ultra-Maschinentyp ändern. Wenn Sie eine Instanz benötigen, die einen A2-Ultra-Maschinentyp verwendet, müssen Sie eine neue Instanz erstellen.
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-Instanzen verwenden, die A2-Ultra-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.

A2-Standardmaschinentypen (NVIDIA A100 40 GB)

Diese Maschinentypen haben eine feste Anzahl von A100-GPUs mit 40GB. Sie können auch beim Erstellen einer A2-Standard-Instanz lokale SSD-Laufwerke hinzufügen. Informationen zur Anzahl der Laufwerke, die Sie anhängen können, finden Sie unter Maschinentypen, bei denen Sie eine bestimmte Anzahl von lokalen SSD-Laufwerken auswählen müssen. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter A2-Standardeinschränkungen.

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Unterstützung lokaler SSDs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA A100-GPUs mit 40 GB GPU-Arbeitsspeicher (GB HBM2)
a2-highgpu-1g 12 85 Ja 24 1 40
a2-highgpu-2g 24 170 Ja 32 2 80
a2-highgpu-4g 48 340 Ja 50 4 160
a2-highgpu-8g 96 680 Ja 100 8 320
a2-megagpu-16g 96 1.360 Ja 100 16 640

Hinweise zu A2-Standardmaschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Einschränkungen von A2 Standard

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen A2-Standardmaschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A2-Standardmaschinentyp verwenden.
  • Sie können einen A2-Standard-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Die A2-Standardmaschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre Instanz einen A2-Standardmaschinentyp verwendet, können Sie nur von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln. Sie können keinen anderen Maschinentyp ändern. Weitere Informationen finden Sie unter Beschleunigeroptimierte Instanzen ändern.
  • Sie können das Windows-Betriebssystem nicht mit dem Maschinentyp a2-megagpu-16g verwenden. Wählen Sie einen anderen A2-Standard-Maschinentyp aus, wenn Sie ein Windows-Betriebssystem verwenden.
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-Instanzen verwenden, die A2-Standardmaschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.

Unterstützte Laufwerkstypen für A2-Instanzen

A2-Instanzen können folgende Blockspeichertypen verwenden:

  • Hyperdisk ML (hyperdisk-ml)
  • Abgestimmter nichtflüchtiger Speicher (pd-balanced)
  • Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
  • Nichtflüchtiger Standardspeicher (pd-standard)
  • Lokale SSD: Wird automatisch an Instanzen angehängt, die mit den A2 Ultra-Maschinentypen erstellt wurden.

A2-Ultra

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Laufwerke Hyperdisk ML Verbundene lokale SSD
a2-ultragpu-1g 128 32 1
a2-ultragpu-2g 128 48 2
a2-ultragpu-4g 128 64 4
a2-ultragpu-8g 128 64 8

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • Alle Laufwerke: Dieses Limit gilt für Persistent Disk und Hyperdisk, nicht jedoch für lokale SSDs.
  • Laufwerkspreise: Die Nutzung von Hyperdisk und Persistent Disk wird zusätzlich zu den Maschinentyppreisen berechnet. Informationen zu den Laufwerkpreisen finden Sie unter Preise für Persistent Disk und Hyperdisk.

A2-Standard

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Laufwerke Hyperdisk ML Lokale SSD
a2-highgpu-1g 128 32 8
a2-highgpu-2g 128 48 8
a2-highgpu-4g 128 64 8
a2-highgpu-8g 128 64 8
a2-megagpu-16g 128 64 8

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • Alle Laufwerke: Dieses Limit gilt für Persistent Disk und Hyperdisk, nicht jedoch für lokale SSDs.
  • Speicherpreise: Die Nutzung von Hyperdisk und Persistent Disk wird zusätzlich zu den Maschinentyppreisen berechnet. Informationen zu den Laufwerkpreisen finden Sie unter Preise für Persistent Disk und Hyperdisk.

Wenn der Maschinentyp dies unterstützt, können Sie eine Mischung aus Hyperdisk- und Persistent Disk-Volumes an eine Instanz anhängen. Es gelten jedoch die folgenden Einschränkungen:

  • Die Gesamtzahl der Hyperdisk- und Persistent Disk-Volumes darf 128 pro Instanz nicht überschreiten.

  • Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf Folgendes nicht überschreiten:

    • Für Maschinentypen mit weniger als 32 vCPUs:

      • 257 TiB für alle Hyperdisk- oder Persistent Disk-Volumes
      • 257 TiB für eine Mischung aus Hyperdisk und Persistent Disk

    • Für Maschinentypen mit 32 vCPUs oder mehr:

      • 512 TiB für alle Hyperdisk-Volume
      • 512 TiB für eine Mischung aus Hyperdisk und Persistent Disk
      • 257 TiB für alle Persistent Disk-Volumes

Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Größen- und Anhangslimits und Maximale Kapazität von Persistent Disk.

Wartung für A2-Instanzen

Während des Lebenszyklus einer Compute Engine-Instanz durchläuft der Hostcomputer, auf dem Ihre Instanz ausgeführt wird, mehrere Hostereignisse. Ein Hostereignis kann die reguläre Wartung der Compute Engine-Infrastruktur oder in seltenen Fällen einen Hostfehler umfassen. Compute Engine wendet auch einfache, unterbrechungsfreie Upgrades für den Hypervisor und das Netzwerk im Hintergrund an.

In der folgenden Tabelle werden die Hostwartungsfunktionen für A2-Maschinentypen beschrieben:

Maschinentyp Anzahl der GPUs Typische Häufigkeit geplanter Wartungsereignisse Wartungsverhalten Vorankündigung für geplante Wartung On-Demand-Wartung Wartung simulieren
A2-Ultra 1, 2, 4, 8 Mindestens 30 Tage Beenden und neu starten 7 Tage Ja (nur 8 GPUs) Ja
A2-Standard 1, 2, 4, 8 oder 16 Mindestens 30 Tage Beenden und neu starten 7 Tage Ja (nur 8 und 16 GPUs) Ja

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • Typische Häufigkeit geplanter Wartungsereignisse:

    Die in der vorherigen Tabelle gezeigten Wartungshäufigkeiten sind Näherungswerte und keine Garantien. Für Compute Engine wird zeitweise eine Wartung häufiger durchgeführt.

Die G4-Maschinenserie

Die G4-Maschinenserie verwendet die AMD EPYC Turin-CPU-Plattform und bietet NVIDIA RTX PRO 6000 Blackwell Server Edition-GPUs. Diese Maschinenserie bietet erhebliche Verbesserungen gegenüber der G2-Maschinenserie der vorherigen Generation, mit deutlich mehr GPU-Arbeitsspeicher, einer höheren GPU-Arbeitsspeicherbandbreite und einer höheren Netzwerkbandbreite.

G4-Instanzen haben bis zu 384 vCPUs, 1.440 GB Arbeitsspeicher und 12 TiB angehängte Titanium-SSD-Laufwerke. G4-Instanzen bieten außerdem eine Standardnetzwerkleistung von bis zu 400 Gbit/s.

Diese Maschinenserie ist insbesondere für Arbeitslasten wie NVIDIA Omniverse-Simulationsarbeitslasten, grafikintensive Anwendungen, Videotranscodierung und virtuelle Desktops gedacht. Die G4-Maschinenserie bietet im Vergleich zu Maschinentypen der A-Serie auch eine kostengünstige Lösung für die Ausführung von Single-Host-Inferenz und Modellabstimmung.

Instanzen, die den G4-Maschinentyp verwenden, bieten die folgenden Features:

  • GPU-Beschleunigung mit NVIDIA RTX PRO 6000 Blackwell Server Edition-GPUs: An G4-Instanzen werden automatisch NVIDIA RTX PRO 6000 Blackwell Server Edition-GPUs angehängt, die 96 GB GPU-Arbeitsspeicher pro GPU bieten.

  • AMD EPYC Turin-CPU-Plattform der 5.Generation: Diese Plattform bietet eine maximale Boost-Frequenz von bis zu 4,1 GHz. Weitere Informationen zu diesem Prozessor finden Sie unter CPU-Plattform.

  • Grafikleistung der nächsten Generation: Die NVIDIA RTX PRO 6000-GPUs bieten erhebliche Leistungs- und Funktionsupgrades gegenüber den NVIDIA L4-GPUs, die an die G2-Maschinenserie angehängt sind. Diese Upgrades sind:

    • Tensor-Kerne der 5. Generation: Diese Kerne bieten Unterstützung für FP4-Präzision und DLSS 4 Multi Frame Generation. Durch die Verwendung dieser Tensor-Kerne der 5. Generation bieten NVIDIA RTX PRO 6000-GPUs im Vergleich zu NVIDIA L4-GPUs eine verbesserte Leistung, um Aufgaben wie die lokale LLM-Entwicklung und die Erstellung von Inhalten zu beschleunigen.
    • RT-Kerne der 4. Generation: Diese Kerne bieten eine bis zu doppelt so hohe Raytracing-Leistung wie die NVIDIA L4-GPUs der vorherigen Generation und beschleunigen das Rendering für Design- und Fertigungsarbeitslasten.
    • Anzahl der Kerne: Die NVIDIA RTX PRO 6000-GPU enthält 24.064 CUDA-Kerne, 752 Tensor-Kerne der 5. Generation und 188 RT-Kerne der 4. Generation. Dieses Update stellt eine erhebliche Steigerung gegenüber früheren Generationen wie der L4-GPU dar, die 7.680 CUDA-Kerne und 240 Tensor-Kerne hat.

  • GPU-Freigabe: Es gibt eine Reihe von Optionen, mit denen Sie mehreren Arbeitslasten den Zugriff auf eine einzelne physische GPU ermöglichen können. Die GPU-Freigabe ist nützlich für Arbeitslasten, die nicht die Ressourcen einer vollständigen GPU erfordern, und hilft Ihnen, die Kosten zu optimieren. Für G4-Instanzen sind die folgenden GPU-Freigabeoptionen verfügbar:

    • Unterstützung für fraktionale GPUs (vGPUs): Mit diesem Feature kann eine einzelne physische GPU von mehreren VM-Instanzen gemeinsam genutzt werden. vGPUs bieten eine Sicherheitsisolation für mehrere Mandanten, da jede vGPU eine separate VM-Instanz ist. Für die Verwendung von vGPUs bietet Compute Engine die folgenden VM-Instanzformen: g4-standard-6 (1/8 GPU), g4-standard-12 (1/4 GPU) und g4-standard-24 (1/2 GPU).
    • Multi-Instanz-GPU (MIG): Mit diesem Feature kann eine einzelne GPU in bis zu vier vollständig isolierte Instanzen auf einer einzelnen virtuellen Maschine partitioniert werden. Diese Option bietet keine mandantenfähige Sicherheitsisolation, da alle Partitionen zu einer einzelnen VM gehören.

  • Unterstützung für Peripheral Component Interconnect Express (PCIe) Gen 5: G4-Instanzen unterstützen PCI Express Gen 5, was die Datenübertragungsgeschwindigkeit vom CPU-Speicher zur GPU im Vergleich zu PCIe Gen 3, das von G2-Instanzen verwendet wird, verbessert.

  • Laufwerksunterstützung: G4-Instanzen unterstützen Titanium-SSDs für schnelle Scratch Disks, was nützlich ist, um Daten in GPUs einzuspeisen und gleichzeitig E/A-Engpässe zu vermeiden. Für langlebigen Speicher können Sie Hyperdisk-Volumes anhängen.

    G4-Instanzen unterstützen das Anhängen von bis zu 12.000 GiB Titanium SSD. Für Arbeitslasten, die langlebigen Blockspeicher erfordern, unterstützen G4-Instanzen auch das Anhängen von bis zu 512 TiB Hyperdisk. Weitere Informationen zu Laufwerkstypen finden Sie unter Laufwerkstyp auswählen.

  • GPU-Peer-to-Peer-Kommunikation (P2P): G4-Instanzen unterstützen die GPU-P2P-Kommunikation, was eine direkte Datenübertragung zwischen GPUs innerhalb derselben Instanz ermöglicht. Dies kann die Leistung von Multi-GPU-Arbeitslasten erheblich verbessern, da die Latenz bei der Datenübertragung reduziert und CPU-Ressourcen freigegeben werden. Weitere Informationen finden Sie unter G4-GPU-Peer-to-Peer-Kommunikation (P2P).

  • Unterstützung der Richtlinie für kompakte Platzierung: Mit dieser Funktion können Sie den physischen Standort Ihrer Instanzen in Rechenzentren steuern. Mit Richtlinien für kompakte Platzierung können Sie Instanzen nah beieinander platzieren, um die Netzwerklatenz zu reduzieren. Dies ist nützlich für latenzempfindliche Arbeitslasten wie Hochleistungs-Computing (HPC) oder maschinelles Lernen (ML). Weitere Informationen finden Sie unter Latenz mithilfe von Richtlinien für kompakte Platzierung reduzieren.

Preis- und Verbrauchsoptionen für G4-Instanzen

G4-Instanzen unterstützen die folgenden Verbrauchs- und Rabattoptionen:

Google Cloud stellt G4-Instanzen für die angehängten GPUs, vordefinierten vCPUs und den Arbeitsspeicher in Rechnung. Die Nutzung von Hyperdisk, Titanium SSD-Laufwerken und Netzwerken wird separat von den Preisen für Maschinentypen berechnet. Weitere Informationen finden Sie unter Preise und Nutzungsoptionen, Preise für beschleunigungsoptimierte Maschinentypfamilien und GPU-Preise.

G4-Maschinentypen (NVIDIA RTX PRO 6000)

Beschleunigungsoptimierte G4-Maschinentypen verwenden NVIDIA RTX PRO 6000 Blackwell Server Edition-GPUs (nvidia-rtx-pro-6000) und eignen sich für NVIDIA Omniverse-Simulationsarbeitslasten, grafikintensive Anwendungen, Videotranscodierung und virtuelle Desktops. G4-Maschinentypen bieten im Vergleich zu Maschinentypen der A-Serie auch eine kostengünstige Lösung für die Ausführung von Single-Host-Inferenz und Modellabstimmung.

Sie können auch Titanium-SSD-Laufwerke hinzufügen, wenn Sie eine G4-Instanz erstellen. Informationen zur Anzahl der Laufwerke, die Sie anhängen können, finden Sie unter Maschinentypen, bei denen Sie eine bestimmte Anzahl von lokalen SSD-Laufwerken auswählen müssen. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter G4-Einschränkungen.

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Maximal unterstützte Titanium SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA RTX PRO 6000-GPUs GPU-Arbeitsspeicher (GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1.500 1 50 1 96
g4-standard-96 96 360 3.000 1 100 2 192
g4-standard-192 192 720 6.000 1 200 4 384
g4-standard-384 384 1.440 12.000 2 400 8 768

Hinweise zu G4-Maschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

G4-Einschränkungen

Unterstützte Laufwerkstypen für G4-Instanzen

G4-Instanzen können folgende Blockspeichertypen verwenden:

  • Hyperdisk Balanced (hyperdisk-balanced): Dies ist der einzige Laufwerkstyp, der für das Bootlaufwerk unterstützt wird.
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • Hyperdisk Extreme (hyperdisk-extreme): Dieser Laufwerkstyp wird nur auf G4-Instanzen mit mindestens zwei angehängten GPUs unterstützt.
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Titanium SSD: Sie können Titanium SSD zu Instanzen hinzufügen, die mit den G4-Maschinentypen erstellt wurden.

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Hyperdisks Hyperdisk abgestimmt Hyperdisk Balanced High Availability Hyperdisk Extrem Hyperdisk ML Hyperdisk Throughput Titanium SSD
g4-standard-6 8 8 8 0 8 8 0
g4-standard-12 16 16 16 0 16 16 1
g4-standard-24 32 32 32 0 32 32 2
g4-standard-48 32 32 32 0 32 32 4
g4-standard-96 32 32 32 8 32 32 8
g4-standard-192 64 64 64 8 64 64 16
g4-standard-384 128 128 128 8 128 128 32

Der folgende Hinweis gilt für die obige Tabelle:

Sie können einer Instanz eine Mischung aus verschiedenen Hyperdisk-Typen zuordnen. Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf jedoch 512 TiB für alle Hyperdisks nicht überschreiten.

Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Größen- und Anhangslimits.

GPU-Peer-to-Peer-Kommunikation (P2P)

G4-Instanzen verbessern die Leistung von Multi-GPU-Arbeitslasten durch direkte GPU-Peer-to-Peer-Kommunikation (P2P), die nur auf Maschinentypen mit zwei oder mehr GPUs unterstützt wird. Mit diesem Ansatz können GPUs, die an dieselbe G4-Instanz angehängt sind, Daten direkt über den PCIe-Bus austauschen, ohne dass Daten über den Hauptspeicher der CPU übertragen werden müssen. Dieser direkte Pfad reduziert die Latenz, senkt die CPU-Auslastung und erhöht die effektive Bandbreite zwischen GPUs. Die P2P-Kommunikation beschleunigt Multi-GPU-Anwendungen wie das Training für maschinelles Lernen (ML) und Hochleistungs-Computing (HPC) erheblich.

Da G4-Instanzen standardmäßig die GPU-P2P-Kommunikation verwenden, profitieren Sie von den folgenden Vorteilen, ohne Ihren Anwendungscode ändern zu müssen. Bei Anwendungen, die die NVIDIA Collective Communication Library (NCCL) verwenden, müssen Sie jedoch NCCL für die Verwendung von P2P konfigurieren, um die vollen Leistungsverbesserungen der P2P-Kommunikation zu erhalten.

Wichtige Vorteile und Leistung

  • Beschleunigt Multi-GPU-Arbeitslasten auf G4-Instanzen mit zwei oder mehr GPUs: Bietet schnellere Laufzeiten für Anwendungen, die auf den Maschinentypen g4-standard-96, g4-standard-192 und g4-standard-384 ausgeführt werden.
  • Bietet Kommunikation mit hoher Bandbreite: Ermöglicht hohe Datenübertragungsgeschwindigkeiten zwischen GPUs.

  • Verbessert die NCCL-Leistung: Bietet erhebliche Leistungsverbesserungen für Anwendungen, die die NVIDIA Collective Communication Library (NCCL) verwenden, im Vergleich zur Kommunikation ohne P2P. Der Hypervisor von Google isoliert diese P2P-Kommunikation sicher innerhalb Ihrer Instanzen.

    • Bei Instanzen mit vier GPUs (g4-standard-192) befinden sich alle GPUs auf einem einzelnen NUMA-Knoten, was die effizienteste P2P-Kommunikation ermöglicht. Dies kann zu Leistungsverbesserungen von bis zu 2,04-fach für Kollektive wie Allgather, Allreduce und ReduceScatter führen.
    • Bei acht GPU-Instanzen (g4-standard-384) werden die GPUs auf zwei NUMA-Knoten verteilt. Die P2P-Kommunikation wird sowohl für den Traffic innerhalb als auch zwischen diesen Knoten beschleunigt, wobei die Leistung für dieselben Kollektive um das bis zu 2,19-Fache verbessert wird.

NCCL für die Verwendung von P2P konfigurieren

Wenn Sie NCCL für die Verwendung von P2P konfigurieren möchten, legen Sie vor dem Ausführen Ihrer Arbeitslasten die Umgebungsvariable NCCL_P2P_LEVEL auf Ihrer G4-Instanz basierend auf dem Maschinentyp fest:

  • Für G4-Instanzen mit 2 oder 4 GPUs (g4-standard-96, g4-standard-192): Legen Sie NCCL_P2P_LEVEL=PHB fest.
  • Für G4-Instanzen mit 8 GPUs (g4-standard-384): Legen Sie NCCL_P2P_LEVEL=SYS fest.

Legen Sie die Umgebungsvariable mit einer der folgenden Optionen fest:

  • Führen Sie in der Befehlszeile den entsprechenden Exportbefehl, z. B. export NCCL_P2P_LEVEL=SYS, in der Shell-Sitzung aus, in der Sie Ihre Anwendung ausführen möchten. Wenn Sie diese Einstellung dauerhaft machen möchten, fügen Sie diesen Befehl dem Startskript Ihrer Shell hinzu, z. B. ~/.bashrc.
  • Fügen Sie der NCCL-Konfigurationsdatei unter /etc/nccl.conf die entsprechende Einstellung hinzu, z. B. NCCL_P2P_LEVEL=SYS.

Wartung für G4-Instanzen

Während des Lebenszyklus einer Compute Engine-Instanz durchläuft der Hostcomputer, auf dem Ihre Instanz ausgeführt wird, mehrere Hostereignisse. Ein Hostereignis kann die reguläre Wartung der Compute Engine-Infrastruktur oder in seltenen Fällen einen Hostfehler umfassen. Compute Engine wendet auch einfache, unterbrechungsfreie Upgrades für den Hypervisor und das Netzwerk im Hintergrund an.

In der folgenden Tabelle werden die Hostwartungsfunktionen für G4-Maschinentypen beschrieben:

Maschinentyp Anzahl der GPUs Typische Häufigkeit geplanter Wartungsereignisse Wartungsverhalten Vorankündigung für geplante Wartung On-Demand-Wartung Wartung simulieren
G4 1, 2 oder 4 Mindestens 30 Tage Beenden und neu starten. Wenn lokale SSDs angehängt sind, wird die Instanz mit Datenpersistenz auf lokalen SSDs beendet. 7 Tage Nein Ja
G4 8 Mindestens 90 Tage Beenden und neu starten. Wenn lokale SSDs angehängt sind, wird die Instanz mit Datenpersistenz auf lokalen SSDs beendet. 30 Tage Ja Ja

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • Typische Häufigkeit geplanter Wartungsereignisse:

    Die in der vorherigen Tabelle gezeigten Wartungshäufigkeiten sind Näherungswerte und keine Garantien. Für Compute Engine wird zeitweise eine Wartung häufiger durchgeführt.

Die G2-Maschinenserie

Die G2-Maschinenserie ist in Standardmaschinentypen verfügbar, die haben 4 bis 96 vCPUs und bis zu 432 GB Arbeitsspeicher. Diese Maschinenserie ist für Inferenz- und Grafikarbeitslasten optimiert. Die G2-Maschinenserie ist in einem einzigen Standardmaschinentyp mit mehreren Konfigurationen verfügbar.

Instanzen, die mit den G2-Maschinentypen erstellt wurden, bieten die folgenden Features:

  • GPU-Beschleunigung: Jeder G2-Maschinentyp hat NVIDIA L4-GPUs.

  • Verbesserte Inferenzraten: Der G2-Maschinentyp unterstützt den Datentyp FP8 (8-Bit-Gleitkomma), was ML-Inferenzraten beschleunigt und Arbeitsspeicherbedarf reduziert.

  • Grafikleistung der nächsten Generation: NVIDIA L4-GPUs bieten mit RT-Kernen der dritten Generation und NVIDIA DLSS 3-Technologie (Deep Learning Super Sampling) eine bis zu dreimal höhere Grafikleistung.

  • Hohe Netzwerkbandbreite: Mit den G2-Maschinentypen erhalten Sie bis zu 100 Gbit/s-Netzwerkbandbreite.

  • Laufwerkunterstützung: G2-Instanzen unterstützen lokale SSDs für schnelle Scratch Disks. Dies ist nützlich, um Daten in GPUs einzuspeisen und gleichzeitig E/A-Engpässe zu vermeiden. Für langlebigen Speicher können Sie Persistent Disk- und Hyperdisk-Volumes anhängen.

    Sie können G2-Instanzen bis zu 3.000 GiB lokalen SSD-Speicher hinzufügen. Für Arbeitslasten, die langlebigen Blockspeicher erfordern, können Sie Hyperdisk- und Persistent Disk-Volumes an G2-Instanzen anhängen. Die maximale Speicherkapazität hängt von der Anzahl der vCPUs der Instanz ab. Weitere Informationen zu Laufwerkstypen finden Sie unter Laufwerkstyp auswählen.

  • Unterstützung der Richtlinie für kompakte Platzierung: Bietet mehr Kontrolle über die physische Platzierung Ihrer Instanzen in Rechenzentren. Sie ermöglicht eine geringere Latenz und eine höhere Bandbreite für Instanzen, die sich innerhalb einer einzelnen Verfügbarkeitszone befinden. Weitere Informationen finden Sie unter Latenz mithilfe von Richtlinien für kompakte Platzierung reduzieren.

Preis- und Verbrauchsoptionen für G2-Instanzen

G2-Instanzen unterstützen die folgenden Verbrauchs- und Rabattoptionen:

Google Cloud stellt G2-Instanzen für die angehängten GPUs, vordefinierten vCPUs und den Arbeitsspeicher in Rechnung. Die Nutzung von Persistent Disk, Hyperdisk, lokalen SSDs und Netzwerken wird separat von den Preisen für Maschinentypen berechnet. Weitere Informationen finden Sie unter Preise und Nutzungsoptionen, Preise für beschleunigungsoptimierte Maschinentypfamilien und GPU-Preise.

G2-Maschinentypen (NVIDIA L4)

An beschleunigungsoptimierte G2-Maschinentypen sind NVIDIA L4-GPUs angehängt. Sie eignen sich ideal für kostenoptimierte Inferenz-, grafikintensive und Hochleistungs-Computing-Arbeitslasten.

Jeder G2-Maschinentyp hat auch einen Standardarbeitsspeicher und einen benutzerdefinierten Arbeitsspeicherbereich. Der benutzerdefinierte Arbeitsspeicherbereich definiert die Größe des Arbeitsspeichers, den Sie Ihrer Instanz für jeden Maschinentyp zuweisen können. Sie können beim Erstellen einer G2-Instanz auch lokale SSD-Laufwerke hinzufügen. Informationen zur Anzahl der Laufwerke, die Sie anhängen können, finden Sie unter Maschinentypen, bei denen Sie eine bestimmte Anzahl von lokalen SSD-Laufwerken auswählen müssen.

Informationen zu Einschränkungen für Maschinentypen finden Sie unter G2-Einschränkungen.

Maschinentyp vCPU Anzahl Standard-Instanzarbeitsspeicher (GB) Benutzerdefinierter Instanzarbeitsspeicherbereich (GB) Maximal unterstützte lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA L4-GPUs GPU-Arbeitsspeicher (GB GDDR6)
g2-standard-4 4 16 16 bis 32 375 10 1 24
g2-standard-8 8 32 32 bis 54 375 16 1 24
g2-standard-12 12 48 48 bis 54 375 16 1 24
g2-standard-16 16 64 54 bis 64 375 32 1 24
g2-standard-24 24 96 96 bis 108 750 32 2 48
g2-standard-32 32 128 96 bis 128 375 32 1 24
g2-standard-48 48 192 192 bis 216 1.500 50 4 96
g2-standard-96 96 384 384 bis 432 3.000 100 8 192

Hinweise zu G2-Maschinentypen

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Einschränkungen von G2

  • Sie können Kapazität nur mit den unterstützten Verbrauchsoptionen für einen G2-Maschinentyp anfordern.
  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen G2-Maschinentyp verwenden.
  • Sie können einen G2-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Die G2-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Nichtflüchtige Standardspeicher (pd-standard) werden auf Instanzen, die den G2-Maschinentyp verwenden, nicht unterstützt. Informationen zu unterstützten Laufwerkstypen finden Sie unter Unterstützte Laufwerkstypen für G2.
  • Sie können keine GPUs mit mehreren Instanzen auf einer Instanz erstellen, die einen G2-Maschinentyp verwendet.
  • Wenn Sie den Maschinentyp einer G2-Instanz ändern müssen, lesen Sie die Informationen unter Beschleunigeroptimierte Instanzen ändern.
  • Sie können keine Deep Learning VM Images als Bootlaufwerke für Instanzen verwenden, die den G2-Maschinentyp verwenden.
  • Der aktuelle Standardtreiber für Container-Optimized OS unterstützt keine L4-GPUs, die auf G2-Maschinentypen ausgeführt werden. Außerdem unterstützt Container-Optimized OS nur bestimmte Treiber. Wenn Sie Container-Optimized OS auf G2-Maschinentypen verwenden möchten, lesen Sie die folgenden Hinweise:
    • Verwenden Sie eine Container-Optimized OS-Version, die die mindestens empfohlene NVIDIA-Treiberversion 525.60.13 oder höher unterstützt. Weitere Informationen finden Sie in den Versionshinweisen zu Container-Optimized OS.
    • Geben Sie bei der Installation des Treibers die neueste verfügbare Version an, die für die L4-GPUs funktioniert. Beispiel: sudo cos-extensions install gpu -- -version=525.60.13.
  • In den folgenden Szenarien müssen Sie über die Google Cloud CLI oder REST G2-Instanzen erstellen:
    • Sie möchten benutzerdefinierte Speicherwerte angeben.
    • Sie möchten die Anzahl der sichtbaren CPU-Kerne anpassen.

Unterstützte Laufwerkstypen für G2-Instanzen

G2-Instanzen können folgende Blockspeichertypen verwenden:

  • Abgestimmter nichtflüchtiger Speicher (pd-balanced)
  • Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • Lokale SSD: Sie können Instanzen, die mit den G2-Maschinentypen erstellt wurden, lokale SSDs hinzufügen.

In der folgenden Tabelle ist die maximale Anzahl von Laufwerken aufgeführt, die pro Instanz unterstützt werden:

Maschinentypen Alle Laufwerke Hyperdisk ML Hyperdisk Throughput Lokale SSD
g2-standard-4 128 24 24 1
g2-standard-8 128 32 32 1
g2-standard-12 128 32 32 1
g2-standard-16 128 48 48 1
g2-standard-24 128 48 48 2
g2-standard-32 128 64 64 1
g2-standard-48 128 64 64 4
g2-standard-96 128 64 64 8

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • Alle Laufwerke: Dieses Limit gilt für Persistent Disk und Hyperdisk, nicht jedoch für lokale SSDs.
  • Speicherpreise: Die Nutzung von Hyperdisk und Persistent Disk wird zusätzlich zu den Maschinentyppreisen berechnet. Informationen zu den Laufwerkpreisen finden Sie unter Preise für Persistent Disk und Hyperdisk.

Wenn der Maschinentyp dies unterstützt, können Sie eine Mischung aus Hyperdisk- und Persistent Disk-Volumes an eine Instanz anhängen. Es gelten jedoch die folgenden Einschränkungen:

  • Die Gesamtzahl der Hyperdisk- und Persistent Disk-Volumes darf 128 pro Instanz nicht überschreiten.

  • Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf Folgendes nicht überschreiten:

    • Für Maschinentypen mit weniger als 32 vCPUs:

      • 257 TiB für alle Hyperdisk- oder Persistent Disk-Volumes
      • 257 TiB für eine Mischung aus Hyperdisk und Persistent Disk

    • Für Maschinentypen mit 32 vCPUs oder mehr:

      • 512 TiB für alle Hyperdisk-Volume
      • 512 TiB für eine Mischung aus Hyperdisk und Persistent Disk
      • 257 TiB für alle Persistent Disk-Volumes

Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Größen- und Anhangslimits und Maximale Kapazität von Persistent Disk.

Wartung von G2-Instanzen

Während des Lebenszyklus einer Compute Engine-Instanz durchläuft der Hostcomputer, auf dem Ihre Instanz ausgeführt wird, mehrere Hostereignisse. Ein Hostereignis kann die reguläre Wartung der Compute Engine-Infrastruktur oder in seltenen Fällen einen Hostfehler umfassen. Compute Engine wendet auch einfache, unterbrechungsfreie Upgrades für den Hypervisor und das Netzwerk im Hintergrund an.

In der folgenden Tabelle werden die Hostwartungsfunktionen für G2-Maschinentypen beschrieben:

Maschinentyp Anzahl der GPUs Typische Häufigkeit geplanter Wartungsereignisse Wartungsverhalten Vorankündigung für geplante Wartung On-Demand-Wartung Wartung simulieren
G2 1, 2, 4 oder 8 Mindestens 30 Tage Beenden und neu starten 7 Tage Ja (nur 8 GPUs) Ja

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • Typische Häufigkeit geplanter Wartungsereignisse:

    Die in der vorherigen Tabelle gezeigten Wartungshäufigkeiten sind Näherungswerte und keine Garantien. Für Compute Engine wird zeitweise eine Wartung häufiger durchgeführt.

Preise und Nutzungsoptionen

Nutzungsoptionen sind die Möglichkeiten, Rechenressourcen zu erhalten und zu verwenden. Google Cloud stellt beschleunigungsoptimierte Maschinentypen für die angehängten GPUs, die vordefinierte vCPU, den Arbeitsspeicher und die lokale SSD (falls zutreffend) in Rechnung. Die Rabatte für beschleunigungsoptimierte Instanzen können je nach Ressourcentyp und Nutzungsoption variieren. Eine Ressource ist immer nur für eine Art von Rabatt zulässig.

Je nach Ressourcentyp und Nutzungsoption, die Sie auswählen, gelten Rabatte für beschleunigungsoptimierte Maschinentypen so:

  • On-Demand: Mit dieser Verbrauchsoption können Sie flexible Rabatte für zugesicherte Nutzung (CUDs) nur für zulässige Ausgaben für die Nutzung von N1-, G2- und G4-Instanzen erhalten:

    • Für N1-Maschinentypen mit angehängten GPUs können Sie flexible CUDs für Computing nur für vCPUs, Arbeitsspeicher und lokale SSD-Laufwerke erhalten.
    • Für G2- und G4-Maschinentypen können Sie flexible Compute-CUDs für vCPUs, Arbeitsspeicher, GPUs und lokale SSD-Laufwerke erhalten.

    Wenn Sie ressourcenbasierte Rabatte für zugesicherte Nutzung für andere beschleunigungsoptimierte Maschinenreihen, einschließlich G2 und G4, erhalten möchten, verwenden Sie stattdessen eine der Reservierungsoptionen.

  • Spot: Spot-VMs erhalten automatisch Rabatte über die Spot-VM-Preise.

  • Flex-Start: Instanzen, die mit der Verbrauchsoption „Flex-Start“ bereitgestellt werden, erhalten automatisch Rabatte über die Preise für Dynamic Workload Scheduler.

  • Reservierungen: Sie können ressourcenbasierte CUDs für Ihre beschleunigungsoptimierten Maschinentyp-Ressourcen erhalten, indem Sie ressourcenbasierte Zusicherungen erwerben. Für ressourcenbasierte Zusicherungen für alle GPUs und die meisten lokalen SSD-Laufwerke sind angehängte Reservierungen für diese Ressourcen erforderlich.

Weitere Informationen zu den Preisen für beschleunigungsoptimierte Instanzen finden Sie auf der Seite „Preise für VM-Instanzen“ im Abschnitt Beschleunigungsoptimierte Maschinentypfamilie.

Verfügbarkeit von Verbrauchsoptionen nach Maschinentyp

In der folgenden Tabelle ist die Verfügbarkeit der einzelnen Verbrauchsoptionen nach Maschinentyp zusammengefasst. Weitere Informationen zur Auswahl einer Nutzungsoption finden Sie in der AI Hypercomputer-Dokumentation unter Nutzungsmodell auswählen.

Maschinentyp (GPU-Modell) On demand Spot Flex-Start On-Demand-Reservierungen Vorausschauende Reservierungen Vorausschauende Reservierungen im Kalendermodus Vorausschauende Reservierungen in AI Hypercomputer
A4X Max (GB300) und A4X (GB200) Nein Nein Nein Nein Nein Nein Ja
A4 (B200) Nein Ja Ja Nein Nein Ja Ja
A3 Ultra (H200) Nein Ja Ja Nein Nein Ja Ja
A3 Mega (H100) Ja Ja Ja Ja Ja Ja Ja
A3 High mit 8 GPUs (H100) Ja Ja Ja Ja Ja Ja Ja
A3 High mit weniger als 8 GPUs (H100) Nein Ja Ja Nein Nein Nein Nein
A3 Edge (H100) Ja Ja Ja Ja Ja Ja Ja
A2 (A100) Ja Ja Ja Ja Ja Nein Nein
G4 (RTX PRO 6000) Ja Ja Ja Ja Ja Nein Nein
G2 (L4) Ja Ja Ja Ja Ja Nein Nein
N1 mit GPUs (T4/P4/V100) Ja Ja Ja Ja Ja Nein Nein

Nächste Schritte