In diesem Dokument werden die NVIDIA-GPU-Modelle beschrieben, mit denen Sie Arbeitslasten für maschinelles Lernen (ML), Datenverarbeitung und grafikintensive Arbeitslasten auf Ihren Compute Engine-Instanzen beschleunigen können. In diesem Dokument wird auch beschrieben, welche GPUs an beschleunigungsoptimierte Maschinenserien wie A4X Max, A4X, A4, A3, A2, G4 und G2 angehängt sind und welche GPUs Sie an N1-Instanzen für allgemeine Zwecke anhängen können.
In diesem Dokument können Sie die Leistung, den Arbeitsspeicher und die Funktionen verschiedener GPU-Modelle vergleichen. Eine detailliertere Übersicht über die beschleunigungsoptimierte Maschinenfamilie, einschließlich Informationen zu CPU-Plattformen, Speicheroptionen und Netzwerkfunktionen, sowie den spezifischen Maschinentyp, der zu Ihrer Arbeitslast passt, finden Sie unter Beschleunigungsoptimierte Maschinenfamilie.
Weitere Informationen zu GPUs in Compute Engine finden Sie unter GPUs.
Hinweis: Informationen zu den verfügbaren Regionen und Zonen für GPUs in Compute Engine finden Sie unter Verfügbarkeit von GPU-Regionen und -Zonen.
Übersicht
Die Compute Engine bietet verschiedene Maschinentypen, um Ihre unterschiedlichen Arbeitslasten zu unterstützen.
Einige Maschinentypen unterstützen NVIDIA RTX Virtual Workstations (vWS). Wenn Sie eine Instanz erstellen, die NVIDIA RTX Virtual Workstation verwendet, fügt Compute Engine automatisch eine vWS-Lizenz hinzu. Informationen zu Preisen für virtuelle Workstations finden Sie auf der Seite „GPU-Preise”.
| GPU-Maschinentypen | |||
|---|---|---|---|
| KI- und ML-Arbeitslasten | Grafiken und Visualisierung | Andere GPU-Arbeitslasten | |
|
Beschleunigeroptimierte Maschinentypen der A-Serie sind für Arbeitslasten aus den Bereichen Hochleistungs-Computing (HPC), künstliche Intelligenz (KI) und maschinelles Lernen (ML) konzipiert.
Die A-Serie der neueren Generation eignet sich ideal für das Vortrainieren und Feinabstimmen von Foundation Models, die große Cluster von Beschleunigern umfassen. Die A2-Serie kann für das Training kleinerer Modelle und die Inferenz auf einem einzelnen Host verwendet werden. Bei diesen Maschinentypen wird das GPU-Modell automatisch an die Instanz angehängt. |
Beschleunigungsoptimierte Maschinentypen der G-Serie sind für Arbeitslasten wie NVIDIA Omniverse-Simulationsarbeitslasten, grafikintensive Anwendungen, Videotranscodierung und virtuelle Desktops konzipiert. Diese Maschinentypen unterstützen NVIDIA RTX Virtual Workstations (vWS).
Die G-Serie kann auch für das Training kleinerer Modelle und für die Inferenz auf einem einzelnen Host verwendet werden. Bei diesen Maschinentypen wird das GPU-Modell automatisch an die Instanz angehängt. |
An N1-Maschinentypen für allgemeine Zwecke, mit Ausnahme des N1-Maschinentyps mit gemeinsam genutztem Kern ( |
|
|
Die folgenden GPU-Modelle können an N1-Maschinentypen für allgemeine Zwecke angehängt werden:
|
||
Sie können auch einige GPU-Maschinentypen auf AI Hypercomputer verwenden. AI Hypercomputer ist ein Supercomputing-System, das Ihre Arbeitslasten im Bereich künstliche Intelligenz (KI) und maschinelles Lernen (ML) unterstützt. Diese Option wird empfohlen, um eine eng zugewiesene, leistungsoptimierte Infrastruktur zu erstellen, die Integrationen für Google Kubernetes Engine- (GKE) und Slurm-Scheduler bietet.
A4X Max- und A4X-Maschinenserien
Die Maschinenreihen A4X Max und A4X werden auf einer Exascale-Plattform ausgeführt, die auf der Rack-Scale-Architektur von NVIDIA basiert. Sie sind für rechen- und speicherintensive, netzwerkgebundene ML-Trainings und HPC-Arbeitslasten optimiert. A4X Max und A4X unterscheiden sich hauptsächlich in ihren GPU- und Netzwerkkomponenten. A4X Max ist nur als Bare-Metal-Instanzen verfügbar, die direkten Zugriff auf die CPU und den Arbeitsspeicher des Hostservers bieten, ohne die Hypervisor-Ebene von Compute Engine.
A4X Max-Maschinentypen (NVIDIA GB300)
Beschleunigeroptimierte A4X Max-Maschinentypen
verwenden NVIDIA GB300 Grace Blackwell Ultra Superchips (nvidia-gb300) und sind ideal für das Trainieren und Bereitstellen von Foundation Models. A4X Max-Maschinentypen sind als Bare-Metal-Instanzen verfügbar.
A4X Max ist eine Exascale-Plattform, die auf NVIDIA GB300 NVL72 basiert. Jede Maschine hat zwei Sockets mit NVIDIA Grace-CPUs mit Arm Neoverse V2-Kernen. Diese CPUs sind mit vier NVIDIA B300 Blackwell-GPUs mit schneller Chip-zu-Chip-Kommunikation (NVLink-C2C) verbunden. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter Einschränkungen für A4X Max und A4X.
| Maschinentyp | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA GB300-GPUs | GPU-Arbeitsspeicher (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-maxgpu-4g-metal |
144 | 960 | 12.000 | 6 | 3.600 | 4 | 1.116 |
Hinweise zu A4X Max-Maschinentypen
Für die vorherige Tabelle gelten die folgenden Hinweise:
- vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
- Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
A4X-Maschinentyp (NVIDIA GB200)
Beschleunigungsoptimierte A4X-Maschinentypen verwenden NVIDIA GB200 Grace Blackwell Superchips (nvidia-gb200) und sind ideal für das Trainieren und Bereitstellen von Foundation Models.
A4X ist eine Exascale-Plattform, die auf NVIDIA GB200 NVL72 basiert. Jede Maschine hat zwei Sockets mit NVIDIA Grace-CPUs mit Arm Neoverse V2-Kernen. Diese CPUs sind mit vier NVIDIA B200 Blackwell-GPUs mit schneller Chip-zu-Chip-Kommunikation (NVLink-C2C) verbunden. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter Einschränkungen für A4X Max und A4X.
| Maschinentyp | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA GB200-GPUs | GPU-Arbeitsspeicher (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4x-highgpu-4g |
140 | 884 | 12.000 | 6 | 2.000 | 4 | 744 |
Hinweise zu A4X-Maschinentypen
Für die vorherige Tabelle gelten die folgenden Hinweise:
- vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
- Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
A4-Maschinenserie (NVIDIA B200)
Beschleunigungsoptimierte A4-Maschinentypen haben NVIDIA B200 Blackwell-GPUs (nvidia-b200) angehängt und sind ideal für das Trainieren und Bereitstellen von Foundation Models. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter A4-Einschränkungen.
| Maschinentyp | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA B200 Blackwell-GPUs | GPU-Arbeitsspeicher (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a4-highgpu-8g |
224 | 3.968 | 12.000 | 10 | 3.600 | 8 | 1.440 |
Hinweise zu A4-Maschinentypen
Für die vorherige Tabelle gelten die folgenden Hinweise:
- vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
- Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
A3-Maschinenserie
An beschleunigungsoptimierte A3-Maschinentypen sind NVIDIA H100 SXM- oder NVIDIA H200 SXM-GPUs angehängt.
A3 Ultra-Maschinentyp (NVIDIA H200)
An A3 Ultra-Maschinentypen sind NVIDIA H200 SXM-GPUs (nvidia-h200-141gb) angehängt. Sie bieten die höchste Netzwerkleistung in der A3-Serie. A3 Ultra-Maschinentypen sind ideal für das Training und die Bereitstellung von Foundation Models. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter A3 Ultra-Einschränkungen.
| Maschinentyp | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA H200-GPUs | GPU-Arbeitsspeicher (GB HBM3e) |
|---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
224 | 2.952 | 12.000 | 10 | 3.600 | 8 | 1128 |
Hinweise zu A3 Ultra-Maschinentypen
Für die vorherige Tabelle gelten die folgenden Hinweise:
- vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
- Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
A3 Mega-, High- und Edge-Maschinentypen (NVIDIA H100)
Wenn Sie NVIDIA H100 SXM-GPUs verwenden möchten, haben Sie die folgenden Optionen:
- A3 Mega: An diese Maschinentypen sind H100-SXM-GPUs (
nvidia-h100-mega-80gb) angehängt. Sie sind ideal für umfangreiche Trainings- und Bereitstellungsarbeitslasten. - A3 High: An diese Maschinentypen sind H100 SXM-GPUs (
nvidia-h100-80gb) angehängt. Sie eignen sich sowohl für Trainings- als auch für Bereitstellungsaufgaben. - A3 Edge: An diese Maschinentypen sind H100 SXM-GPUs (
nvidia-h100-80gb) angehängt. Sie sind speziell für die Bereitstellung konzipiert und in einer begrenzten Anzahl von Regionen verfügbar.
A3 Mega
| Maschinentyp | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA H100-GPUs | GPU-Arbeitsspeicher (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
208 | 1.872 | 6.000 | 9 | 1.800 | 8 | 640 |
A3 High
| Maschinentyp | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA H100-GPUs | GPU-Arbeitsspeicher (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
26 | 234 | 750 | 1 | 25 | 1 | 80 |
a3-highgpu-2g |
52 | 468 | 1.500 | 1 | 50 | 2 | 160 |
a3-highgpu-4g |
104 | 936 | 3.000 | 1 | 100 | 4 | 320 |
a3-highgpu-8g |
208 | 1.872 | 6.000 | 5 | 1.000 | 8 | 640 |
A3 Edge
| Maschinentyp | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA H100-GPUs | GPU-Arbeitsspeicher (GB HBM3) |
|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
208 | 1.872 | 6.000 | 5 | 600 (asia-south1 und northamerica-northeast2) oder 400 (alle anderen A3 Edge-Regionen) |
8 | 640 |
Hinweise zu A3 Mega-, High- und Edge-Maschinentypen
Für die vorherige Tabelle gelten die folgenden Hinweise:
- vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
- Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
A2-Maschinenserie (NVIDIA A100)
An beschleunigungsoptimierte A2-Maschinentypen sind NVIDIA A100-GPUs angehängt. Sie eignen sich ideal für die Feinabstimmung von Modellen, große Modelle und kostenoptimierte Inferenzen.
Die A2-Maschinenserie bietet zwei Typen:
- A2 Ultra: Bei diesen Maschinentypen sind A100-GPUs (
nvidia-a100-80gb) mit 80 GB und eine lokale SSD angehängt. - A2 Standard: An diese Maschinentypen sind A100-GPUs (
nvidia-tesla-a100) mit 40 GB angehängt. Sie können auch beim Erstellen einer A2-Standardinstanz lokale SSD-Laufwerke hinzufügen. Informationen zur Anzahl der Laufwerke, die Sie anhängen können, finden Sie unter Maschinentypen, bei denen Sie eine bestimmte Anzahl von lokalen SSD-Laufwerken auswählen müssen.
A2-Ultra
| Maschinentyp | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA A100-GPUs mit 80 GB | GPU-Arbeitsspeicher (GB HBM2e) |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
12 | 170 | 375 | 24 | 1 | 80 |
a2-ultragpu-2g |
24 | 340 | 750 | 32 | 2 | 160 |
a2-ultragpu-4g |
48 | 680 | 1.500 | 50 | 4 | 320 |
a2-ultragpu-8g |
96 | 1.360 | 3.000 | 100 | 8 | 640 |
A2-Standard
| Maschinentyp | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Unterstützung lokaler SSDs | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA A100-GPUs mit 40 GB | GPU-Arbeitsspeicher (GB HBM2) |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
12 | 85 | Ja | 24 | 1 | 40 |
a2-highgpu-2g |
24 | 170 | Ja | 32 | 2 | 80 |
a2-highgpu-4g |
48 | 340 | Ja | 50 | 4 | 160 |
a2-highgpu-8g |
96 | 680 | Ja | 100 | 8 | 320 |
a2-megagpu-16g |
96 | 1.360 | Ja | 100 | 16 | 640 |
Hinweise zu A2-Maschinentypen
Für die vorherige Tabelle gelten die folgenden Hinweise:
- vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
- Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
G4-Maschinenserie (NVIDIA RTX PRO 6000)
Beschleunigungsoptimierte G4-Maschinentypen verwenden
NVIDIA RTX PRO 6000 Blackwell Server Edition-GPUs (nvidia-rtx-pro-6000) und eignen sich für NVIDIA Omniverse-Simulationsarbeitslasten, grafikintensive Anwendungen, Videotranscodierung und virtuelle Desktops. G4-Maschinentypen bieten im Vergleich zu Maschinentypen der A-Serie auch eine kostengünstige Lösung für die Ausführung von Single-Host-Inferenz und Modellabstimmung.
Sie können auch Titanium-SSD-Laufwerke hinzufügen, wenn Sie eine G4-Instanz erstellen. Informationen zur Anzahl der Laufwerke, die Sie anhängen können, finden Sie unter Maschinentypen, bei denen Sie eine bestimmte Anzahl von lokalen SSD-Laufwerken auswählen müssen. Informationen zu Einschränkungen bei Maschinentypen finden Sie unter G4-Einschränkungen.
Ein wichtiges Feature der G4-Serie ist die Unterstützung der direkten GPU-Peer-to-Peer-Kommunikation (P2P) auf Maschinentypen mit mehreren GPUs (g4-standard-96, g4-standard-192, g4-standard-384). Dadurch können GPUs innerhalb derselben Instanz Daten direkt über den PCIe-Bus austauschen, ohne den CPU-Host einzubeziehen. Weitere Informationen zur G4-GPU-Peer-to-Peer-Kommunikation finden Sie unter G4-GPU-Peer-to-Peer-Kommunikation.
| Maschinentyp | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Maximal unterstützte Titanium SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA RTX PRO 6000-GPUs | GPU-Arbeitsspeicher (GB GDDR7) |
|---|---|---|---|---|---|---|---|
g4-standard-6 |
6 | 22 | 0 | 1 | 20 | 1/8 | 12 |
g4-standard-12 |
12 | 45 | 375 | 1 | 20 | 1/4 | 24 |
g4-standard-24 |
24 | 90 | 750 | 1 | 20 | 1/2 | 48 |
g4-standard-48 |
48 | 180 | 1.500 | 1 | 50 | 1 | 96 |
g4-standard-96 |
96 | 360 | 3.000 | 1 | 100 | 2 | 192 |
g4-standard-192 |
192 | 720 | 6.000 | 1 | 200 | 4 | 384 |
g4-standard-384 |
384 | 1.440 | 12.000 | 2 | 400 | 8 | 768 |
Hinweise zu G4-Maschinentypen
Für die vorherige Tabelle gelten die folgenden Hinweise:
- vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
- Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
G2-Maschinenserie (NVIDIA L4)
An beschleunigungsoptimierte G2-Maschinentypen sind NVIDIA L4-GPUs angehängt. Sie eignen sich ideal für kostenoptimierte Inferenz-, grafikintensive und Hochleistungs-Computing-Arbeitslasten.
Jeder G2-Maschinentyp hat auch einen Standardarbeitsspeicher und einen benutzerdefinierten Arbeitsspeicherbereich. Der benutzerdefinierte Arbeitsspeicherbereich definiert die Größe des Arbeitsspeichers, den Sie Ihrer Instanz für jeden Maschinentyp zuweisen können. Sie können beim Erstellen einer G2-Instanz auch lokale SSD-Laufwerke hinzufügen. Informationen zur Anzahl der Laufwerke, die Sie anhängen können, finden Sie unter Maschinentypen, bei denen Sie eine bestimmte Anzahl von lokalen SSD-Laufwerken auswählen müssen.
Informationen zu Einschränkungen für Maschinentypen finden Sie unter G2-Einschränkungen.
| Maschinentyp | vCPU Anzahl | Standard-Instanzarbeitsspeicher (GB) | Benutzerdefinierter Instanzarbeitsspeicherbereich (GB) | Maximal unterstützte lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s) | Anzahl der NVIDIA L4-GPUs | GPU-Arbeitsspeicher (GB GDDR6) |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
4 | 16 | 16 bis 32 | 375 | 10 | 1 | 24 |
g2-standard-8 |
8 | 32 | 32 bis 54 | 375 | 16 | 1 | 24 |
g2-standard-12 |
12 | 48 | 48 bis 54 | 375 | 16 | 1 | 24 |
g2-standard-16 |
16 | 64 | 54 bis 64 | 375 | 32 | 1 | 24 |
g2-standard-24 |
24 | 96 | 96 bis 108 | 750 | 32 | 2 | 48 |
g2-standard-32 |
32 | 128 | 96 bis 128 | 375 | 32 | 1 | 24 |
g2-standard-48 |
48 | 192 | 192 bis 216 | 1.500 | 50 | 4 | 96 |
g2-standard-96 |
96 | 384 | 384 bis 432 | 3.000 | 100 | 8 | 192 |
Hinweise zu G2-Maschinentypen
Für die vorherige Tabelle gelten die folgenden Hinweise:
- vCPU-Anzahl: Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
- Maximale Netzwerkbandbreite: Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Weitere Informationen zur Netzwerkbandbreite finden Sie unter Netzwerkbandbreite.
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
N1-Maschinenserie
Sie können die folgenden GPU-Modelle an N1-Maschinentypen anhängen, mit Ausnahme des Maschinentyps N1 mit gemeinsam genutztem Kern.
Im Gegensatz zu den Maschinentypen in den beschleunigungsoptimierten Maschinenreihen haben N1-Maschinentypen keine festgelegte Anzahl von angehängten GPUs. Stattdessen geben Sie beim Erstellen der Instanz die Anzahl der anzuhängenden GPUs an.
N1-Instanzen mit weniger GPUs begrenzen die maximale Anzahl von vCPUs. Im Allgemeinen ermöglicht es Ihnen eine höhere Anzahl von GPUs, Instanzen mit einer größeren Anzahl von vCPUs und mehr Arbeitsspeicher zu erstellen.
N1+T4-GPUs
Sie können NVIDIA T4-GPUs mit den folgenden Instanzkonfigurationen an N1-Instanzen für allgemeine Zwecke anhängen.
| Beschleunigertyp | Anzahl der NVIDIA T4-GPUs | GPU-Arbeitsspeicher (GB GDDR6) | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Unterstützung lokaler SSDs |
|---|---|---|---|---|---|
nvidia-tesla-t4 oder nvidia-tesla-t4-vws |
1 | 16 | 1 bis 48 | 1 bis 312 | Ja |
nvidia-tesla-t4 oder nvidia-tesla-t4-vws |
2 | 32 | 1 bis 48 | 1 bis 312 | Ja |
nvidia-tesla-t4 oder nvidia-tesla-t4-vws |
4 | 64 | 1 bis 96 | 1 bis 624 | Ja |
Hinweise zu N1+T4-Maschinentypen
Der folgende Hinweis gilt für die obige Tabelle:
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
N1+P4-GPUs
Sie können NVIDIA P4-GPUs mit den folgenden Instanzkonfigurationen an N1-Instanzen für allgemeine Zwecke anhängen.
Für Instanzen mit angehängten NVIDIA P4-GPUs werden lokale SSD-Laufwerke nur in den Zonen us-central1-c und northamerica-northeast1-b unterstützt.
| Beschleunigertyp | Anzahl der NVIDIA P4-GPUs | GPU-Arbeitsspeicher (GB GDDR5) | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Unterstützung lokaler SSDs |
|---|---|---|---|---|---|
nvidia-tesla-p4 oder nvidia-tesla-p4-vws |
1 | 8 | 1 bis 24 | 1 bis 156 | Ja (nur us-central1-c und northamerica-northeast1-b) |
nvidia-tesla-p4 oder nvidia-tesla-p4-vws |
2 | 16 | 1 bis 48 | 1 bis 312 | Ja (nur us-central1-c und northamerica-northeast1-b) |
nvidia-tesla-p4 oder nvidia-tesla-p4-vws |
4 | 32 | 1 bis 96 | 1 bis 624 | Ja (nur us-central1-c und northamerica-northeast1-b) |
Hinweise zu N1+P4-Maschinentypen
Der folgende Hinweis gilt für die obige Tabelle:
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
N1+V100-GPUs
Sie können NVIDIA V100-GPUs mit den folgenden Instanzkonfigurationen an N1-Instanzen für allgemeine Zwecke anhängen.
Für Instanzen mit angehängten NVIDIA V100-GPUs werden lokale SSD-Laufwerke in der Zone us-east1-c nicht unterstützt.
| Beschleunigertyp | Anzahl der NVIDIA V100-GPUs | GPU-Arbeitsspeicher (GB HBM2) | vCPU Anzahl | Instanzarbeitsspeicher (GB) | Unterstützung lokaler SSDs |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | 1 bis 12 | 1 bis 78 | Ja (außer us-east1-c) |
nvidia-tesla-v100 |
2 | 32 | 1 bis 24 | 1 bis 156 | Ja (außer us-east1-c) |
nvidia-tesla-v100 |
4 | 64 | 1 bis 48 | 1 bis 312 | Ja (außer us-east1-c) |
nvidia-tesla-v100 |
8 | 128 | 1 bis 96 | 1 bis 624 | Ja (außer us-east1-c) |
Hinweise zu N1+V100-Maschinentypen
Der folgende Hinweis gilt für die obige Tabelle:
- GPU-Arbeitsspeicher: GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Er ist vom Arbeitsspeicher der Instanz getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
Wartung für N1-Instanzen mit GPUs
Während des Lebenszyklus einer Compute Engine-Instanz durchläuft der Hostcomputer, auf dem Ihre Instanz ausgeführt wird, mehrere Hostereignisse. Ein Hostereignis kann die reguläre Wartung der Compute Engine-Infrastruktur oder in seltenen Fällen einen Hostfehler umfassen. Compute Engine wendet auch einfache, unterbrechungsfreie Upgrades für den Hypervisor und das Netzwerk im Hintergrund an.
In der folgenden Tabelle werden die Hostwartungsfunktionen für N1-Maschinentypen mit angehängter GPU beschrieben:
| Maschinentyp | Anzahl der GPUs | Typische Häufigkeit geplanter Wartungsereignisse | Wartungsverhalten | Vorankündigung für geplante Wartung | On-Demand-Wartung | Wartung simulieren |
|---|---|---|---|---|---|---|
| N1+T4 | 1 oder 2 | Mindestens 15 Tage | Beenden und neu starten | 7 Tage | Nein | Ja |
| N1+T4 | 4 | Mindestens 30 Tage | Beenden und neu starten | 7 Tage | Ja | Ja |
| N1+P4 | 1 oder 2 | Mindestens 15 Tage | Beenden und neu starten | 7 Tage | Nein | Ja |
| N1+P4 | 4 | Mindestens 30 Tage | Beenden und neu starten | 7 Tage | Ja | Ja |
| N1+V100 | 1, 2 oder 4 | Mindestens 15 Tage | Beenden und neu starten | 7 Tage | Nein | Ja |
| N1+V100 | 8 | Mindestens 30 Tage | Beenden und neu starten | 7 Tage | Ja | Ja |
Für die vorherige Tabelle gelten die folgenden Hinweise:
- Typische Häufigkeit geplanter Wartungsereignisse:
Die in der vorherigen Tabelle gezeigten Wartungshäufigkeiten sind Näherungswerte und keine Garantien. Für Compute Engine wird zeitweise eine Wartung häufiger durchgeführt.
Allgemeine Vergleichstabelle
In der folgenden Tabelle werden die GPU-Arbeitsspeichergröße, die Feature-Verfügbarkeit und die idealen Arbeitslasttypen verschiedener GPU-Modelle in Compute Engine beschrieben.
In der folgenden Tabelle bedeutet N/A, dass der Messwert für dieses GPU-Modell nicht zutreffend oder nicht verfügbar ist.
| Maschinentyp (GPU-Modell) | GPU-Arbeitsspeicher und -Bandbreite | Interconnect | Unterstützung für NVIDIA RTX Virtual Workstation (vWS) | Geeignete Anwendungsfälle |
|---|---|---|---|---|
| A4X Max (GB300) | 279 GB HBM3e (8 TB/s) | NVLink Full Mesh (1.800 GB/s) | Nein | Umfangreiches verteiltes Training und Inferenz von MoE-LLMs, Empfehlungssystemen, HPC |
| A4X (GB200) | 186 GB HBM3e (8 TB/s) | NVLink Full Mesh (1.800 GB/s) | Nein | Umfangreiches verteiltes Training und Inferenz von LLMs, Empfehlungssystemen, HPC |
| A4 (B200) | 180 GB HBM3e (8 TB/s) | NVLink Full Mesh (1.800 GB/s) | Nein | Umfangreiches verteiltes Training und Inferenz von LLMs, Empfehlungssystemen, HPC |
| A3 Ultra (H200) | 141 GB HBM3e (4,8 TB/s) | NVLink Full Mesh (900 GB/s) | Nein | Große Modelle mit großen Datentabellen für ML-Training, Inferenz, HPC, BERT und DLRM |
| A3 Mega, A3 High, A3 Edge (H100) | 80 GB HBM3 (3,35 TB/s) | NVLink Full Mesh (900 GB/s) | Nein | Große Modelle mit großen Datentabellen für ML-Training, Inferenz, HPC, BERT und DLRM |
| A2 Ultra (A100 80GB) | 80 GB HBM2e (1,9 TB/s) | NVLink Full Mesh (600 GB/s) | Nein | Große Modelle mit großen Datentabellen für ML-Training, Inferenz, HPC, BERT und DLRM |
| A2 Standard (A100 40GB) | 40 GB HBM2 (1,6 TB/s) | NVLink Full Mesh (600 GB/s) | Nein | ML-Training, Inferenz, HPC |
| G4 (RTX PRO 6000) | 96 GB GDDR7 (1,597 TB/s) | – | Ja | ML-Inferenz, Training, Remote-Workstations zur Visualisierung, Videotranscodierung, HPC |
| G2 (L4) | 24 GB GDDR6 (300 GB/s) | – | Ja | ML-Inferenz, Training, Remote-Workstations zur Visualisierung, Videotranscodierung, HPC |
| N1 (T4) | 16 GB GDDR6 (320 GB/s) | – | Ja | ML-Inferenz, Training, Remote-Workstations zur Visualisierung, Videotranscodierung |
| N1 (P4) | 8 GB GDDR5 (192 GB/s) | – | Ja | Remote-Workstations zur Visualisierung, ML-Inferenz und Videotranscodierung |
| N1 (V100) | 16 GB HBM2 (900 GB/s) | NVLink Ring (300 GB/s) | Nein | ML-Training, Inferenz, HPC |
Informationen zum Vergleichen der GPU-Preise für die verschiedenen GPU-Modelle und -Regionen, die in Compute Engine verfügbar sind, finden Sie unter GPU-Preise.
Tensor Core- und Standard-CUDA-Core-Leistung
In den folgenden Abschnitten finden Sie Leistungsmesswerte für jede GPU-Architektur, aufgeteilt in Vektor- oder Standard-CUDA-Kerne und Tensor Core-Leistung.
Tensor Cores: Die Tensor-Leistung bezieht sich auf den Durchsatz, den spezialisierte Tensor Cores erreichen. Dies sind dedizierte Hardwareeinheiten (oft als Matrixeinheiten bezeichnet), die speziell für die Beschleunigung der großen Matrixmultiplikations- und Akkumulationsvorgänge entwickelt wurden, die das Rückgrat von Deep Learning, Training und Inferenz bilden.
Diese Art von Leistung eignet sich am besten für Deep Learning, Large Language Models (LLMs) und alle Arbeitslasten, die als dichte Matrixvorgänge ausgedrückt werden können. Tensor-Kerne bieten einen deutlich höheren Durchsatz als CUDA-Kerne für denselben Datentyp.
Vektor- oder Standard-CUDA-Kerne: Die Vektorleistung bezieht sich auf den Durchsatz, den Standard-CUDA-Kerne erreichen. Dies sind Einheiten für allgemeine Zwecke, die mit einem SIMT-Modell (Single Instruction, Multiple Threads) arbeiten und in der Regel Vorgänge für einzelne Datenelemente oder Vektoren ausführen.
Diese Art von Leistung eignet sich am besten für allgemeine Rechenaufgaben, Grafikrendering und Arbeitslasten, die keine dichte Matrixmathematik beinhalten.
Blackwell-Architektur
Die Maschinentypen A4X Max, A4X, A4 und G4 werden auf der Blackwell-Architektur von NVIDIA ausgeführt.
Tensor Core
Die Blackwell-Architektur von NVIDIA, die von diesen Maschinentypen verwendet wird, bietet Tensor Core-Unterstützung für FP4-Präzision und erweiterte INT4-Funktionen für eine hohe Leistung bei der Inferenz großer Modelle.
In der folgenden Tabelle gibt N/A an, dass der Messwert für dieses GPU-Modell nicht zutreffend oder nicht verfügbar ist. Beachten Sie außerdem Folgendes:
- TF32, gemischte FP16/32, INT8, FP8 und FP4: Die Blackwell-Architektur unterstützt strukturelle dünne Besetzung für diese Genauigkeitsmesswerte, wodurch sich der Rechendurchsatz verdoppeln kann. Die Leistungswerte in dieser Tabelle gehen von einer dichten Matrixmultiplikation aus. Wenn Sie strukturelle dünne Besetzung verwenden, wird die Leistung verdoppelt.
- Gemischtes FP16/32: Für das Mixed Precision Training unterstützen GPUs, die auf der Blackwell-Architektur ausgeführt werden, auch den Datentyp
bfloat16.
| Maschinentyp (GPU-Modell) | FP64 (TFLOPS) | TF32 (TFLOPS) | Gemischte FP16/32 (TFLOPS) | INT8 (TFLOPS) | FP8 (TFLOPS) | FP4 (TFLOPS) |
|---|---|---|---|---|---|---|
| A4X Max (GB300) | 1.3 | 1.250 | 2.500 | 5.000 | 5.000 | 15.000 |
| A4X (GB200) | 45 | 1.250 | 2.500 | 5.000 | 5.000 | 10.000 |
| A4 (B200) | 40 | 1.100 | 2.250 | 4.500 | 4.500 | 9.000 |
| G4 (RTX PRO 6000) | – | 233,90 | 467,8 | 935,6 | 935,6 | 1871,20 EGP |
Standard-CUDA-Kerne
Die Maschinentypen, die die Blackwell-Architektur verwenden, bieten leistungsstarke FP64- und FP32-Vorgänge für anspruchsvolle HPC- und KI-Arbeitslasten.
Bei A4X Max, A4X und A4 werden FP16-Vorgänge durch Tensor-Kerne beschleunigt. Bei G4 ist die FP16-Leistung auf Standard-CUDA-Kernen enthalten, da Grafikarbeitslasten wie Rendering und Visualisierung von der reduzierten Arbeitsspeichernutzung und den Bandbreitenanforderungen der FP16-Präzision profitieren können, auch wenn keine Tensor-Kerne verwendet werden.
In der folgenden Tabelle gibt N/A an, dass der Messwert für dieses GPU-Modell nicht zutreffend oder nicht verfügbar ist. Beachten Sie außerdem Folgendes:
- A4X Max (GB300) FP64: Die FP64-Leistung auf GB300 wird reduziert, um die FP4-Leistung zu priorisieren.
| Maschinentyp (GPU-Modell) | FP64 (TFLOPS) | FP32 (TFLOPS) | FP16 (TFLOPS) |
|---|---|---|---|
| A4X Max (GB300) | 1,39 | 45 | – |
| A4X (GB200) | 45 | 45 | – |
| A4 (B200) | 40 | 80 | – |
| G4 (RTX PRO 6000) | 1.8 | 117 | 117 |
Hopper-, Ada Lovelace- und Ampere-Architekturen
Die A3-Serie verwendet die Hopper-Architektur, die spezielle Engines für Transformer-Modelle eingeführt hat. Die A2-Serie verwendet die Ampere-Architektur und bietet eine ausgewogene Grundlage für leistungsstarkes Training und Inferenz. Die G2-Serie verwendet die Ada Lovelace-Architektur, die eine vielseitige und energieeffiziente Beschleunigung für KI-Inferenz, Videotranscodierung und Grafikarbeitslasten bietet.
Tensor Core
Die Hopper-, Ada Lovelace- und Ampere-Architekturen bieten erweiterte Tensor Cores, die die Datentypen TF32, FP16, FP8 und INT8 beschleunigen und einen hohen Durchsatz für Training und Inferenz mit gemischter Genauigkeit bieten.
In der folgenden Tabelle gibt N/A an, dass der Messwert für dieses GPU-Modell nicht zutreffend oder nicht verfügbar ist. Beachten Sie außerdem Folgendes:
- TF32, gemischtes FP16/32, INT8 und FP8: Die Hopper-, Ada Lovelace- und Ampere-Architekturen unterstützen strukturelle dünne Besetzung für diese Genauigkeitsmesswerte (und INT4), was den Rechendurchsatz verdoppeln kann. Die Leistungswerte in dieser Tabelle gehen von einer dichten Matrixmultiplikation aus. Wenn Sie strukturelle dünne Besetzung verwenden, wird die Leistung verdoppelt.
- Gemischtes FP16/32: Für das Mixed Precision Training unterstützen NVIDIA H200-, H100-, A100- und L4-GPUs auch den Datentyp
bfloat16.
| Maschinentyp (GPU-Modell) | FP64 (TFLOPS) | TF32 (TFLOPS) | Gemischte FP16/32 (TFLOPS) | INT8 (TOPS) | FP8 (TFLOPS) |
|---|---|---|---|---|---|
| A3 Ultra (H200) | 67 | 494,5 | 989,5 | 1.979 | 1.979 |
| A3 Mega/High/Edge (H100) | 67 | 494,5 | 989,5 | 1.979 | 1.979 |
| A2 Ultra (A100 80GB) | 19,5 | 156 | 312 | 624 | – |
| A2 Standard (A100 40GB) | 19,5 | 156 | 312 | 624 | – |
| G2 (L4) | – | 60 | 121 | 242,5 | 121 |
Standard-CUDA-Kerne
Die Maschinentypen, die die Hopper-, Ada Lovelace- und Ampere-Architekturen verwenden, bieten leistungsstarke FP64- und FP32-Vorgänge für anspruchsvolle HPC- und KI-Arbeitslasten.
In der folgenden Tabelle gibt N/A an, dass der Messwert für dieses GPU-Modell nicht zutreffend oder nicht verfügbar ist.
| Maschinentyp (GPU-Modell) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| A3 Ultra (H200) | 34 | 67 |
| A3 Mega, High, Edge (H100) | 34 | 67 |
| A2 Ultra (A100 80GB) | 9,7 | – |
| A2 Standard (A100 40GB) | 9,7 | – |
| G2 (L4) | – | 30,3 |
Volta-, Pascal- und Turing-Architekturen
Die N1-Maschinentypen verwenden die folgenden GPU-Architekturen:
Tensor Core
Die Turing- und Volta-Architekturen von NVIDIA, die auf N1-Instanzen verfügbar sind, bieten Tensor Core-Unterstützung für Vorgänge mit gemischter Genauigkeit, INT8 und INT4 und bieten eine grundlegende Beschleunigung für Deep-Learning-Inferenz.
Diese GPUs führten die ersten Generationen von Tensor Cores ein, die hauptsächlich für das FP16-Training und die INT8- und INT4-Quantisierung bei der Inferenz verwendet werden. In dieser Tabelle ist der Maschinentyp N1 (P4) nicht enthalten, da er keine Tensor-Kerne hat.
In der folgenden Tabelle gibt N/A an, dass der Messwert für dieses GPU-Modell nicht zutreffend oder nicht verfügbar ist.
| Maschinentyp (GPU-Modell) | Gemischte FP16/32 (TFLOPS) | INT8 (TOPS) | INT4 (TOPS) |
|---|---|---|---|
| N1 (V100) | 125 | – | – |
| N1 (T4) | 65 | 130 | 260 |
Standard-CUDA-Kerne
Die Maschinentypen, die die Volta-, Pascal- und Turing-Architekturen verwenden, sind mit FP64- und FP32-CUDA-Kernen ausgestattet, um eine Reihe von HPC- und KI-Arbeitslasten zu beschleunigen.
In der folgenden Tabelle gibt N/A an, dass der Messwert für dieses GPU-Modell nicht zutreffend oder nicht verfügbar ist.
| Maschinentyp (GPU-Modell) | FP64 (TFLOPS) | FP32 (TFLOPS) |
|---|---|---|
| N1 (V100) | 7.8 | 15,6 |
| N1 (T4) | – | 8.1 |
| N1 (P4) | 0,2 | 5,5 |
Nächste Schritte
- Weitere Informationen zu Compute Engine-GPUs
- Verfügbarkeit von GPU-Regionen und -Zonen prüfen
- Lesen Sie die Informationen unter Netzwerkbandbreiten und GPUs.
- Preisinformationen zu GPUs