Übersicht über geclusterte GPUs

Geclusterte GPUs sind für Arbeitslasten im Bereich künstliche Intelligenz (KI) und maschinelles Lernen (ML) optimiert, die auf verteiltes Training in großem Maßstab, Multi-Host-Inferenz und komplexe Hochleistungs-Computing-Aufgaben (HPC) ausgelegt sind.

Mit geclusterten GPUs können Teams Tausende von miteinander verbundenen Beschleunigern als ein einziges, eng gekoppeltes System bereitstellen und skalieren. Dazu werden spezielle Netzwerk-Fabrics und synchronisierte Wartung verwendet. Sie sind ideal für Arbeitslasten, die eine extreme Rechen-, Arbeitsspeicher- und Hochgeschwindigkeits-Netzwerksynchronisierung erfordern. Zu den gängigen Anwendungsfällen gehören das Vortrainieren von Foundation Models mit Billionen von Parametern, die Bereitstellung von Frontier-Modellen und Simulationen für die Arzneimittelforschung.

Wichtige Merkmale von geclusterten GPUs

  • Synchronisierte Wartung: Google Cloud aktualisiert alle Knoten im Cluster gleichzeitig, sodass ein einzelner Knoten-Neustart einen Job nicht blockiert.
  • Automatisches Zustandsmonitoring: Das System identifiziert proaktiv Nachzügler und überwacht Hardwarefehler oder unbemerkte Datenbeschädigungen.
  • Proaktiver Knotenaustausch: Das System entfernt VMs mit unzureichender Leistung und plant sie auf fehlerfreien Maschinen aus einem Ersatzpool neu.
  • Rail-Topologie: Eine Rail-Topologie isoliert den GPU-zu-GPU-Traffic von der Standard-Hostkommunikation, um eine jitterfreie Leistung für die Koordination von mehreren Knoten zu gewährleisten.
  • Erweiterte Protokolle: Diese Maschinenserien unterstützen Interconnects mit hoher Bandbreite, einschließlich GPUDirect RDMA (basierend auf RoCE).

Geclusterte GPU-Familien und technische Daten

In diesen Tabellen finden Sie die Arbeitslasten und Hardwarespezifikationen für die Premium-Maschinenserie mit geclusterten GPUs. Verwenden Sie für das Exascale-Training die A4X- oder A3 Ultra-Serie.

A4X Max- und A4X-Serie

Wenn Sie riesige Exascale-Foundation-Models trainieren oder hochkomplexe Bare-Metal-Hochleistungs-Computing-Simulationen (HPC) ausführen, verwenden Sie die Maschinenserie A4X Max oder A4X. Diese Serien sind mit NVIDIA GB300 Grace Blackwell Ultra Superchips ausgestattet, um extreme Rechen- und Speicheranforderungen zu bewältigen.

A4X Max (Bare Metal)

A4X Max-Maschinentypen verwenden NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300) und sind ideal für das Trainieren und Bereitstellen von Foundation Models. A4X Max-Maschinentypen sind als Bare-Metal-Instanzen verfügbar.

A4X Max ist eine Exascale-Plattform, die auf NVIDIA GB300 NVL72 basiert. Jede Maschine hat zwei Sockets mit NVIDIA Grace-CPUs mit Arm Neoverse V2-Kernen. Diese CPUs sind mit vier NVIDIA B300 Blackwell-GPUs mit schneller Chip-zu-Chip-Kommunikation (NVLink-C2C) verbunden. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter Einschränkungen für A4X Max und A4X.

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA GB300-GPUs GPU-Arbeitsspeicher (GB HBM3e)
a4x-maxgpu-4g-metal 144 960 12.000 6 3.600 4 1.116

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A4X

A4X-Maschinentypen verwenden NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200) und sind ideal für das Trainieren und Bereitstellen von Foundation Models.

A4X ist eine Exascale-Plattform, die auf NVIDIA GB200 NVL72 basiert. Jede Maschine hat zwei Sockets mit NVIDIA Grace-CPUs mit Arm Neoverse V2-Kernen. Diese CPUs sind mit vier NVIDIA B200 Blackwell-GPUs mit schneller Chip-zu-Chip-Kommunikation (NVLink-C2C) verbunden. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter Einschränkungen für A4X Max und A4X.

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA GB200-GPUs GPU-Arbeitsspeicher (GB HBM3e)
a4x-highgpu-4g 140 884 12.000 6 2.000 4 744

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A4-Serie

Wenn Sie hochmoderne Foundation Models trainieren möchten, die eine massive parallele Verarbeitung erfordern, verwenden Sie die A4-Maschinenserie, um die Verarbeitungszeit zu optimieren und den Hardware-Durchsatz zu maximieren.

An A4-Maschinentypen sind NVIDIA B200 Blackwell-GPUs (nvidia-b200) angehängt. Sie eignen sich ideal für das Trainieren und Bereitstellen von Foundation Models. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter A4-Einschränkungen.

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA B200 Blackwell-GPUs GPU-Arbeitsspeicher (GB HBM3e)
a4-highgpu-8g 224 3.968 12.000 10 3.600 8 1.440

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

A3-Serie (Ultra, Mega und High mit 8 GPUs)

Wenn Sie umfangreiche verteilte Trainingsläufe ausführen oder Frontier-Modelle auf mehreren Hosts mit großen Dataset-Tabellen bereitstellen müssen, verwenden Sie die A3-Maschinenserie, um die Netzwerklatenz zwischen Hosts zu minimieren.

A3 Ultra

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA H200-GPUs GPU-Arbeitsspeicher (GB HBM3e)
a3-ultragpu-8g 224 2.952 12.000 10 3.600 8 1128

A3 Mega

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA H100-GPUs GPU-Arbeitsspeicher (GB HBM3)
a3-megagpu-8g 208 1.872 6.000 9 1.800 8 640

A3 High

Maschinentyp vCPU Anzahl Instanzarbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s) Anzahl der NVIDIA H100-GPUs GPU-Arbeitsspeicher (GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1.500 1 50 2 160
a3-highgpu-4g 104 936 3.000 1 100 4 320
a3-highgpu-8g 208 1.872 6.000 5 1.000 8 640

Für die vorherige Tabelle gelten die folgenden Hinweise:

  • vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
  • Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
  • GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Kapazitätserwerb

Die Beschaffung von Rechenkapazität für geclusterte GPUs erfordert eine Koordination, um das Angebot und die Nachfrage nach Hochleistungsbeschleunigern zu verwalten. Da sich diese Ressourcen physisch in speziellen Netzwerkstrukturen befinden, müssen Sie sie über verwaltete Workflows anfordern.

Sie können Kapazität über Ihr Account-Management-Team reservieren oder vorausschauende Reservierungen und den Dynamic Workload Scheduler verwenden.

Nächste Schritte