GPUMaschinentypen

In diesem Dokument werden die GPU-Maschinenserien beschrieben, die von AI Hypercomputer unterstützt werden. Sie können Compute Engine-Instanzen und -Cluster erstellen, die diese Maschinenserien zum Ausführen Ihrer Arbeitslasten für künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing (HPC) verwenden.

Wenn Sie GPUs in AI Hypercomputer verwenden möchten, können Sie die meisten Maschinenserien aus der Maschinenfamilie „Beschleunigungsoptimiert“ verwenden. Für jede Maschinenserie in der beschleunigungsoptimierten Maschinenfamilie wird ein bestimmtes GPU-Modell verwendet. Weitere Informationen zur beschleunigungsoptimierten Maschinenfamilie finden Sie unter Beschleunigungsoptimierte Maschinenfamilie.

Im folgenden Abschnitt werden die für Beschleuniger optimierten Maschinenserien beschrieben, die von AI Hypercomputer unterstützt werden.

A4X Max und A4X-Serie

Achtung: Das Service Level Agreement (SLA) für Compute Engine gilt nicht für die Maschinenserien A4X Max und A4X.

In diesem Abschnitt werden die verfügbaren Konfigurationen für die Maschinenserien A4X Max und A4X beschrieben. Weitere Informationen zu diesen Maschinenserien finden Sie in der Compute Engine-Dokumentation unter Beschleunigungsoptimierte Maschinenserien A4X und A4X Max.

A4X Max (Bare Metal)

A4X Max-Maschinentypen verwenden NVIDIA GB300 Grace Blackwell Ultra-Superchips (nvidia-gb300) und eignen sich ideal für das Trainieren und Bereitstellen von Foundation Models. A4X Max-Maschinentypen sind als Bare-Metal-Instanzen verfügbar.

A4X Max ist eine Exascale-Plattform, die auf NVIDIA GB300 NVL72 basiert. Jede Maschine hat zwei Sockel mit NVIDIA Grace-CPUs mit Arm Neoverse V2-Kernen. Diese CPUs sind über eine schnelle Chip-zu-Chip-Kommunikation (NVLink-C2C) mit vier NVIDIA B300 Blackwell-GPUs verbunden.

Hinweis:Wenn Sie mit A4X Max-Maschinentypen beginnen möchten, wenden Sie sich an Ihr Kontoteam.

						Angehängte NVIDIA GB300 Grace Blackwell Ultra-Superchips
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12.000	6	3.600	4	1.116

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A4X

A4X-Maschinentypen verwenden NVIDIA GB200 Grace Blackwell-Superchips (nvidia-gb200) und eignen sich ideal für das Trainieren und Bereitstellen von Foundation Models.

A4X ist eine Exascale-Plattform, die auf NVIDIA GB200 NVL72 basiert. Jede Maschine hat zwei Sockel mit NVIDIA Grace-CPUs mit Arm Neoverse V2-Kernen. Diese CPUs sind über eine schnelle Chip-zu-Chip-Kommunikation (NVLink-C2C) mit vier NVIDIA B200 Blackwell-GPUs verbunden.

Hinweis:Wenn Sie A4X-Instanzen bereitstellen, müssen Sie Kapazität reservieren, um Instanzen und Cluster zu erstellen. Anschließend können Sie Instanzen erstellen, die die in AI Hypercomputer verfügbaren Funktionen und Dienste nutzen. Weitere Informationen finden Sie unter Bereitstellungsoptionen – Übersicht.

						Angehängte NVIDIA GB200 Grace Blackwell-Superchips
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3e)
a4x-highgpu-4g	140	884	12.000	6	2.000	4	744

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A4-Serie

Hinweis :Mit dem Cluster Health Scanner (CHS) können Sie Probleme mit GPU-Clustern der A4-Maschinenserie beheben. Weitere Informationen finden Sie unter Fehlerbehebung bei GPU-Clustern.

In diesem Abschnitt werden die verfügbaren Konfigurationen für die A4-Maschinenreihe beschrieben. Weitere Informationen zu dieser Maschinenserie finden Sie in der Compute Engine-Dokumentation unter A4-Maschinenserie.

A4

An A4-Maschinentypen sind NVIDIA B200 Blackwell-GPUs (nvidia-b200) angehängt. Sie eignen sich ideal für das Trainieren und Bereitstellen von Foundation Models.

Hinweis:Wenn Sie A4-Maschinentypen bereitstellen, müssen Sie Kapazitäten reservieren, um Instanzen oder Cluster zu erstellen, Spot-VMs oder Flex-Start-VMs verwenden oder eine Anfrage zur Größenanpassung in einer verwalteten Instanzgruppe erstellen. Eine Anleitung zum Erstellen von A4-Instanzen finden Sie unter VMs und Cluster erstellen: Übersicht. .

						Angehängte NVIDIA B200 Blackwell-GPUs
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3e)
a4-highgpu-8g	224	3.968	12.000	10	3.600	8	1.440

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A3-Serie

Hinweis :Mit dem CHS-Tool können Sie Probleme mit Ihren A3 Ultra-, A3 Mega- und A3 High-GPU-Clustern beheben. Weitere Informationen finden Sie unter Fehlerbehebung bei GPU-Clustern.

In diesem Abschnitt werden die verfügbaren Konfigurationen für die A3-Maschinenreihe beschrieben. Weitere Informationen zu dieser Maschinenserie finden Sie in der Compute Engine-Dokumentation unter Beschleunigeroptimierte A3-Maschinenserie.

A3 Ultra

An A3 Ultra-Maschinentypen sind NVIDIA H200 SXM-GPUs (nvidia-h200-141gb) angehängt. Sie bieten die höchste Netzwerkleistung in der A3-Serie. A3 Ultra-Maschinentypen eignen sich ideal für das Training und die Bereitstellung von Foundation Models.

Hinweis:Wenn Sie A3 Ultra-Maschinentypen bereitstellen, müssen Sie Kapazitäten reservieren, um Instanzen oder Cluster zu erstellen, Spot-VMs oder Flex-Start-VMs verwenden oder eine Anfrage zur Größenanpassung in einer verwalteten Instanzgruppe erstellen. Weitere Informationen zu den Parametern, die beim Erstellen einer A3 Ultra-Instanz festgelegt werden müssen, finden Sie unter VMs und Cluster erstellen – Übersicht.

						Angehängte NVIDIA H200-GPUs
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3e)
a3-ultragpu-8g	224	2.952	12.000	10	3.600	8	1128

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A3 Mega

A3 Mega-Maschinentypen haben NVIDIA H100 SXM-GPUs und sind ideal für das Training von großen Modellen und Inferenz mit mehreren Hosts.

Hinweis:Beim Bereitstellen von a3-megagpu-8g-Maschinentypen empfehlen wir, einen Cluster dieser Instanzen zu verwenden und mit einem Planer wie Google Kubernetes Engine (GKE) oder Slurm bereitzustellen. Eine detaillierte Anleitung für beide Optionen finden Sie hier:

• Informationen zum Erstellen eines Google Kubernetes Engine-Clusters finden Sie unter A3 Mega-Cluster mit GKE bereitstellen.
• Informationen zum Erstellen eines Slurm-Clusters finden Sie unter A3 Mega-Slurm-Cluster bereitstellen.

						Angehängte NVIDIA H100-GPUs
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3)
a3-megagpu-8g	208	1.872	6.000	9	1.800	8	640

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A3 High

A3 High-Maschinentypen haben NVIDIA H100 SXM-GPUs und eignen sich sowohl für die Inferenz großer Modelle als auch für die Feinabstimmung von Modellen.

Hinweis:Wenn Sie die Maschinentypen a3-highgpu-1g, a3-highgpu-2g oder a3-highgpu-4g bereitstellen, müssen Sie Instanzen mit Spot-VMs oder Flex-Start-VMs erstellen. Eine ausführliche Anleitung zu diesen Optionen finden Sie hier:

• Wenn Sie Spot-VMs erstellen möchten, legen Sie das Bereitstellungsmodell auf SPOT fest, wenn Sie eine beschleunigungsoptimierte VM erstellen.
• Sie haben folgende Möglichkeiten, Flex-Start-VMs zu erstellen:
  • Erstellen Sie eine eigenständige VM und legen Sie das Bereitstellungsmodell auf FLEX_START fest, wenn Sie eine beschleunigungsoptimierte VM erstellen.
  • Erstellen Sie eine Anfrage zur Größenänderung in einer verwalteten Instanzgruppe (MIG). Eine Anleitung finden Sie unter MIG mit GPU-VMs erstellen.

						Angehängte NVIDIA H100-GPUs
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1.500	1	50	2	160
a3-highgpu-4g	104	936	3.000	1	100	4	320
a3-highgpu-8g	208	1.872	6.000	5	1.000	8	640

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A3 Edge

A3 Edge-Maschinentypen haben NVIDIA H100 SXM-GPUs und sind speziell für die Bereitstellung konzipiert. Sie sind in einer begrenzten Anzahl von Regionen verfügbar.

Hinweis:Informationen zu den ersten Schritten mit A3-Edge-Instanzen finden Sie unter A3-VM mit aktiviertem GPUDirect-TCPX erstellen.

						Angehängte NVIDIA H100-GPUs
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3)
a3-edgegpu-8g	208	1.872	6.000	5	600: für asia-south1 und northamerica-northeast2 400: für alle anderen A3 Edge-Regionen	8	640

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Nächste Schritte

Weitere Informationen zu GPUs finden Sie auf den folgenden Seiten in der Compute Engine-Dokumentation:

• Weitere Informationen zu GPUs in Compute Engine
• Verfügbarkeit von GPU-Regionen und -Zonen prüfen
• GPU-Preisübersicht