GPUMaschinentypen

In diesem Dokument werden die GPU-Maschinenserien beschrieben, die von AI Hypercomputer unterstützt werden. Sie können Compute Engine-Instanzen und -Cluster erstellen, die diese Maschinenserien verwenden, um Arbeitslasten aus den Bereichen künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing (HPC) auszuführen.

Wenn Sie GPUs in AI Hypercomputer verwenden möchten, können Sie die meisten Maschinenserien aus der beschleunigungsoptimierten Maschinenfamilie verwenden. Jede Maschinenserie in der beschleunigungsoptimierten Maschinenfamilie verwendet ein bestimmtes GPU-Modell. Weitere Informationen zur beschleunigungsoptimierten Maschinenfamilie finden Sie unter Beschleunigungsoptimierte Maschinenfamilie.

Im folgenden Abschnitt werden die beschleunigungsoptimierten Maschinenserien beschrieben, die von AI Hypercomputer unterstützt werden.

A4X Max- und A4X-Serie

**Achtung** :Das Compute Engine Service Level Agreement (SLA) gilt nicht für die A4X Max- und A4X-Maschinenserien.

In diesem Abschnitt werden die verfügbaren Konfigurationen für die A4X Max- und A4X-Maschinenserien beschrieben. Weitere Informationen zu diesen Maschinenserien finden Sie in der Compute Engine-Dokumentation unter Beschleunigungsoptimierte Maschinenserien A4X und A4X Max.

A4X Max (Bare Metal)

A4X Max Maschinentypen verwenden NVIDIA GB300 Grace Blackwell Ultra-Superchips (nvidia-gb300) und eignen sich ideal für das Training und die Bereitstellung von Foundation Models. A4X Max-Maschinentypen sind als Bare-Metal-Instanzen verfügbar.

A4X Max ist eine Exascale-Plattform, die auf NVIDIA GB300 NVL72 basiert. Jede Maschine hat zwei Sockel mit NVIDIA Grace-CPUs mit Arm Neoverse V2-Kernen. Diese CPUs sind mit vier NVIDIA B300 Blackwell-GPUs verbunden, die eine schnelle Chip-zu-Chip (NVLink-C2C) Kommunikation ermöglichen.

Hinweis: Wenn Sie A4X Max-Instanzen bereitstellen, müssen Sie Kapazitäten reservieren, um Instanzen und Cluster zu erstellen. Anschließend können Sie Instanzen erstellen, die die in AI Hypercomputer verfügbaren Funktionen und Dienste verwenden. Weitere Informationen finden Sie unter Übersicht über Bereitstellungsoptionen.

						Angehängte NVIDIA GB300 Grace Blackwell Ultra-Superchips
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3e)
a4x-maxgpu-4g-metal	144	960	12.000	6	3.600	4	1.116

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ Der GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A4X

A4X Maschinentypen verwenden NVIDIA GB200 Grace Blackwell-Superchips (nvidia-gb200) und eignen sich ideal für das Training und die Bereitstellung von Foundation Models.

A4X ist eine Exascale-Plattform, die auf NVIDIA GB200 NVL72 basiert. Jede Maschine hat zwei Sockel mit NVIDIA Grace-CPUs mit Arm Neoverse V2-Kernen. Diese CPUs sind mit vier NVIDIA B200 Blackwell-GPUs verbunden, die eine schnelle Chip-zu-Chip-Kommunikation (NVLink-C2C) ermöglichen.

Hinweis: Wenn Sie A4X-Instanzen bereitstellen, müssen Sie Kapazitäten reservieren, um Instanzen und Cluster zu erstellen. Anschließend können Sie Instanzen erstellen, die die in AI Hypercomputer verfügbaren Funktionen und Dienste verwenden. Weitere Informationen finden Sie unter Übersicht über Bereitstellungsoptionen.

						Angehängte NVIDIA GB200 Grace Blackwell-Superchips
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3e)
a4x-highgpu-4g	140	884	12.000	6	2.000	4	744

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ Der GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A4-Serie

In diesem Abschnitt werden die verfügbaren Konfigurationen für die A4-Maschinenserie beschrieben. Weitere Informationen zu dieser Maschinenserie finden Sie in der Compute Engine-Dokumentation unter Beschleunigungsoptimierte Maschinenserie A4.

A4

An A4 -Maschinentypen sind NVIDIA B200 Blackwell-GPUs (nvidia-b200) angehängt. Sie eignen sich ideal für das Training und die Bereitstellung von Foundation Models .

Hinweis:Wenn Sie A4-Maschinentypen bereitstellen, müssen Sie Kapazitäten reservieren, um Instanzen oder Cluster zu erstellen, Spot-VMs oder Flex-Start-VMs zu verwenden oder eine Anfrage zur Größenanpassung in einer verwalteten Instanzgruppe zu erstellen. Eine Anleitung zum Erstellen von A4 Instanzen finden Sie unter VMs und Cluster erstellen – Übersicht. .

						Angehängte NVIDIA B200 Blackwell-GPUs
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3e)
a4-highgpu-8g	224	3.968	12.000	10	3.600	8	1.440

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ Der GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A3-Serie

In diesem Abschnitt werden die verfügbaren Konfigurationen für die A3-Maschinenserie beschrieben. Weitere Informationen zu dieser Maschinenserie finden Sie in der Compute Engine-Dokumentation unter Beschleunigungsoptimierte Maschinenserie A3.

A3 Ultra

An A3 Ultra Maschinentypen sind NVIDIA H200 SXM-GPUs (nvidia-h200-141gb) angehängt. Sie bieten die höchste Netzwerk leistung in der A3-Serie. A3 Ultra-Maschinentypen eignen sich ideal für das Training und die Bereitstellung von Foundation Models.

Hinweis:Wenn Sie A3 Ultra-Maschinentypen bereitstellen, müssen Sie Kapazitäten reservieren, um Instanzen oder Cluster zu erstellen, Spot-VMs oder Flex-Start-VMs zu verwenden oder eine Anfrage zur Größenanpassung in einer verwalteten Instanzgruppe zu erstellen. Weitere Informationen zu den Parametern, die beim Erstellen einer A3 Ultra-Instanz festgelegt werden müssen, finden Sie unter VMs und Cluster erstellen – Übersicht.

						Angehängte NVIDIA H200-GPUs
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3e)
a3-ultragpu-8g	224	2.952	12.000	10	3.600	8	1128

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ Der GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A3 Mega

A3 Mega Maschinentypen haben NVIDIA H100 SXM-GPUs und eignen sich ideal für das Training großer Modelle und die Inferenz mit mehreren Hosts.

Hinweis:Wenn Sie a3-megagpu-8g-Maschinentypen bereitstellen, empfehlen wir einen Cluster dieser Instanzen und die Bereitstellung mit einem Planer wie Google Kubernetes Engine (GKE) oder Slurm. Eine detaillierte Anleitung zu diesen Optionen finden Sie hier:

• Informationen zum Erstellen eines Google Kubernetes Engine-Clusters finden Sie unter A3 Mega-Cluster bereitstellen mit GKE.
• Informationen zum Erstellen eines Slurm-Clusters finden Sie unter A3 Mega-Slurm-Cluster bereitstellen.

						Angehängte NVIDIA H100-GPUs
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3)
a3-megagpu-8g	208	1.872	6.000	9	1.800	8	640

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ Der GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A3 High

A3 High -Maschinentypen haben NVIDIA H100 SXM-GPUs und eignen sich sowohl für die Inferenz mit großen Modellen als auch für die Feinabstimmung von Modellen.

Hinweis:Wenn Sie a3-highgpu-1g-, a3-highgpu-2g- oder a3-highgpu-4g-Maschinentypen bereitstellen, müssen Sie Instanzen mit Spot-VMs oder Flex-Start-VMs erstellen. Eine detaillierte Anleitung zu diesen Optionen finden Sie hier:

• Wenn Sie Spot-VMs erstellen möchten, legen Sie beim Erstellen einer beschleunigungsoptimierten VM das Bereitstellungsmodell auf SPOT fest.
• Wenn Sie Flex-Start-VMs erstellen möchten, haben Sie folgende Möglichkeiten:
  • Erstellen Sie eine eigenständige VM und legen Sie beim Erstellen einer beschleunigungsoptimierten VM das Bereitstellungsmodell auf FLEX_START fest.
  • Erstellen Sie eine Anfrage zur Größenanpassung in einer verwalteten Instanzgruppe. Eine Anleitung finden Sie unter MIG mit GPU VMs erstellen.

						Angehängte NVIDIA H100-GPUs
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3)
a3-highgpu-1g	26	234	750	1	25	1	80
a3-highgpu-2g	52	468	1.500	1	50	2	160
a3-highgpu-4g	104	936	3.000	1	100	4	320
a3-highgpu-8g	208	1.872	6.000	5	1.000	8	640

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ Der GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A3 Edge

A3 Edge-Maschinentypen haben NVIDIA H100 SXM-GPUs und wurden speziell für die Bereitstellung entwickelt. Sie sind nur in einer begrenzten Anzahl von Regionen verfügbar.

Hinweis: Informationen zu den ersten Schritten mit A3 Edge-Instanzen finden Sie unter A3-VM mit aktiviertem GPUDirect-TCPX erstellen.

						Angehängte NVIDIA H100-GPUs
Maschinentyp	vCPU-Anzahl^1	Instanzarbeitsspeicher (GB)	Verbundene lokale SSD (GiB)	Anzahl der physischen Netzwerkkarten	Maximale Netzwerkbandbreite (Gbit/s)^2	GPU-Anzahl	GPU-Arbeitsspeicher^3 (GB HBM3)
a3-edgegpu-8g	208	1.872	6.000	5	600: für asia-south1 und northamerica-northeast2 400: für alle anderen A3 Edge-Regionen	8	640

¹ Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
² Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
³ Der GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Nächste Schritte

• Weitere Informationen zu GPUs finden Sie auf den folgenden Seiten in der Compute Engine-Dokumentation:

  • Informationen zu GPUs in Compute Engine.
  • Verfügbarkeit von GPU-Regionen und -Zonen prüfen
  • Erfahren Sie mehr über die GPU-Preisübersicht.

• Informationen zu Netzwerkdiensten und Speicherdiensten für AI Hypercomputer