Die Trainingscluster der Gemini Enterprise Agent Platform unterstützen eine Vielzahl von Maschinentypen, um unterschiedliche Arbeitslasten zu bewältigen. Sie können beim Konfigurieren der Clusterknotenpools aus den folgenden Optionen auswählen.
Beschleunigungsoptimierte Maschinentypen
| Maschinentyp | GPU | GPUs pro Knoten |
|---|---|---|
a4x-highgpu-4g |
NVIDIA GB200 | 4 |
a4-highgpu-8g |
NVIDIA B200 | 8 |
a3-ultragpu-8g |
NVIDIA H200 | 8 |
a3-megagpu-8g |
NVIDIA H100 | 8 |
a3-highgpu-8g |
NVIDIA H100 | 8 |
g4-standard-48 |
NVIDIA RTX PRO 6000 Blackwell | 1 |
g4-standard-96 |
NVIDIA RTX PRO 6000 Blackwell | 2 |
g4-standard-192 |
NVIDIA RTX PRO 6000 Blackwell | 4 |
g4-standard-384 |
NVIDIA RTX PRO 6000 Blackwell | 8 |
CPU- und HPC-Maschinentypen
| Maschinentyp | Beschreibung |
|---|---|
N2-Familie: n2-standard-*, n2-highmem-*, n2-highcpu-* |
Knoten für allgemeine Zwecke für die Datenvorverarbeitung, Joborchestrierung und andere Aufgaben, die keinen Beschleuniger erfordern. N2 wird auch für Slurm-Login-Knoten unterstützt. |
N4-Familie: n4-standard-*, n4-highmem-*, n4-highcpu-* |
Knoten für allgemeine Zwecke für dieselben Arbeitslasten wie N2. Sie können N4 auch für Slurm-Login-Knoten verwenden. N4 unterstützt nur Hyperdisk Balanced-Bootlaufwerke (hyperdisk-balanced). Wenn Sie boot_disk.boot_disk_type nicht festlegen, wird hyperdisk-balanced verwendet. |
N4D-Familie: n4d-standard-*, n4d-highmem-*, n4d-highcpu-* |
AMD EPYC-Knoten für allgemeine Zwecke für dieselben Arbeitslasten wie N2. N4D wird auch für Slurm-Login-Knoten unterstützt. N4D unterstützt nur Google Cloud Hyperdisk Balanced-Bootlaufwerke (hyperdisk-balanced). Dies ist die Standardeinstellung, wenn boot_disk.boot_disk_type nicht festgelegt ist. |
C4-Familie: c4-standard-*, c4-highmem-*, c4-highcpu-* |
Knoten für allgemeine Zwecke für rechenintensive Vorverarbeitung, Orchestrierung und CPU-Arbeitslasten. C4 wird auch für Slurm-Login-Knoten unterstützt. C4 unterstützt nur Google Cloud Hyperdisk Balanced-Bootlaufwerke (hyperdisk-balanced). Dies ist die Standardeinstellung, wenn boot_disk.boot_disk_type nicht festgelegt ist. Die Varianten -lssd und -metal werden nicht unterstützt. |
C4D-Familie: c4d-standard-*, c4d-highmem-*, c4d-highcpu-* |
AMD EPYC-Knoten für allgemeine Zwecke für rechenintensive Vorverarbeitung, Orchestrierung und CPU-Arbeitslasten. C4D unterstützt nur Google Cloud Hyperdisk Balanced-Bootlaufwerke (hyperdisk-balanced). Dies ist die Standardeinstellung, wenn boot_disk.boot_disk_type nicht festgelegt ist. Die Varianten -lssd und -metal werden nicht unterstützt. |
C4A-Familie: c4a-standard-*, c4a-highmem-*, c4a-highcpu-* |
Arm-basierte (Axion) Knoten, die nur für Slurm-Anmeldeknoten und nur in Clustern unterstützt werden, deren Compute-Knotenpools ebenfalls Arm-basiert sind. Die Varianten -lssd und -metal werden nicht unterstützt. |
H4D-Familie: h4d-standard-*, h4d-highmem-* |
HPC-optimierte Knoten mit RDMA-Netzwerk für eng gekoppelte Simulations- und Vorverarbeitungsarbeitslasten. |
C4A-Login-Knoten
C4A-Anmeldeknoten sind ARM-basiert und werden nur in Clustern unterstützt, in denen jeder Compute-Knotenpool ebenfalls ARM-basiert ist, z. B. A4X. Ein Cluster, der einen C4A-Login-Knoten mit einem x86-Compute-Knotenpool wie N2 oder A3 koppelt, wird beim Erstellen abgelehnt.
Da der Login-Knoten und die Compute-Knoten dieselbe Architektur haben, werden Binärdateien und Container-Images, die Sie auf dem Login-Knoten erstellen, auf den Compute-Knoten ausgeführt, an die Sie sie senden.
C4A unterstützt nur ein hyperdisk-balanced-Bootlaufwerk, das standardmäßig verwendet wird.
A4X-Maschinentyp
Die Trainingscluster der Gemini Enterprise Agent Platform unterstützen den beschleunigungsoptimierten Maschinentyp A4X (a4x-highgpu-4g), eine Exascale-Plattform, die auf der Rack-Scale-Architektur NVIDIA GB200 NVL72 basiert.
Architekturvergleich
In der folgenden Tabelle sind die grundlegenden Hardwareunterschiede zwischen der A4X-Familie und anderen beschleunigungsoptimierten Familien aufgeführt.
| Funktion | A4X (a4x-highgpu-4g) | A3 / A4H |
|---|---|---|
| CPU-Architektur | ARM | X86 |
| GPU-Anzahl | 4 GPUs pro Knoten | 8 GPUs pro Knoten |
| Reservierungstyp | Modus „Gesamte Kapazität“ | Verwalteter Modus |
| Platzierungsrichtlinie | Strikt (kompakt) | Flexibel |
A4X-spezifische Richtlinien
- Die Anzahl der VMs im A4X-Knotenpool muss ein Vielfaches von 18 sein (z. B. 18, 36, 54). Dies ist erforderlich, da die A4X-Kapazität in festen, nicht gemeinsam nutzbaren 18-Knoten-Blöcken, sogenannten NVLink-Domains, bereitgestellt wird. Diese Domains unterliegen einer strengen Richtlinie für kompakte Platzierung. Teilweise zugewiesene Blöcke können nicht von anderen Clustern verwendet werden.
- Aufgrund der ARM-basierten Architektur von A4X-Knoten müssen Sie zwei wichtige Änderungen an Ihren Trainingsarbeitslasten vornehmen:
- ARM-kompatible Images verwenden: Alle Trainingsjobs müssen ein Container-Image verwenden, das für die ARM-Architektur erstellt wurde.
- Anpassung für 4 GPUs: Ihre Logik für verteiltes Training muss aktualisiert werden, damit die 4 GPUs, die auf jedem A4X-Knoten verfügbar sind, korrekt erkannt und verwendet werden.
- Prozess zur Meldung von Hostfehlern und Ausfallzeiten
Wenn Sie einen Host als fehlerhaft melden, beachten Sie den folgenden Wiederherstellungsprozess:
- Keine Stand-by-Kapazität: Das System verwendet keinen Stand-by-Ersatzpool für einen sofortigen Knotenaustausch.
- Reparaturbasierte Wiederherstellung: Der Knoten bleibt nicht verfügbar, bis der zugrunde liegende physische Host repariert ist.
- Längere Ausfallzeit: Diese Reparatur dauert in der Regel 3 bis 14 Tage.
Kapazitätsbereitstellung
Die Auswahl des richtigen Bereitstellungsmodells ist entscheidend, um Kosten, Geschwindigkeit und Ressourcenverfügbarkeit in Einklang zu bringen. Hier finden Sie die folgenden Bereitstellungsoptionen:
RESERVATION: Weist Knoten aus einer bestimmten Compute Engine-Reservierung zu, die Sie im Voraus erstellt haben. Dieses Modell sichert Kapazität und ist die empfohlene Wahl für Ressourcen mit hoher Nachfrage.FLEX_START: Verwendet den Dynamic Workload Scheduler, um Ihren Job in die Warteschlange zu stellen. Der Job beginnt automatisch, sobald die angeforderten Rechenressourcen verfügbar sind. So ist die Startzeit flexibel und es ist keine Reservierung erforderlich.SPOT: Stellt den Knotenpool mit Spot-VMs bereit. Dies ist die kostengünstigste Option, sollte aber nur für Arbeitslasten verwendet werden, die fehlertolerant sind und Unterbrechungen verarbeiten können, da die VMs jederzeit vorzeitig beendet werden können.ON_DEMAND: Dies ist die Standardoption für Knotenpools, die nur CPUs enthalten, und eignet sich am besten für Maschinentypen, die nicht knapp sind. Sie bietet Standard-VM-Instanzen mit vorhersehbaren „Pay as you go“-Preisen.
Beachten Sie bei der Auswahl die folgenden Hinweise:
Für stark nachgefragte GPU-Ressourcen (wie A3 und A4): Das Modell
RESERVATIONwird dringend empfohlen. So haben Sie dedizierten Zugriff auf die Kapazität, die Sie für wichtige Trainingsjobs benötigen.Für unregelmäßige oder flexible Arbeitslasten: Ziehen Sie
FLEX_STARToderSPOTin Betracht.FLEX_STARTstellt Ihren Job in die Warteschlange, bis Ressourcen verfügbar sind, währendSPOTerhebliche Kosteneinsparungen für fehlertolerante Jobs bietet, die mit einer vorzeitigen Beendigung umgehen können.Für gängige Maschinentypen: Das Modell
ON_DEMANDist die bevorzugte Wahl. Verwenden Sie sie für Maschinentypen, die nicht knapp sind und bei denen die sofortige Verfügbarkeit kein Problem darstellt.
Freigegebene Reservierung verwenden (optional)
Wenn Sie eine freigegebene Reservierung anstelle einer lokalen Reservierung verwenden möchten, müssen Sie zusätzliche Schritte ausführen, bevor Sie einen Cluster erstellen können.
Bevor Sie eine freigegebene Reservierung mit Gemini Enterprise Agent Platform-Trainingsclustern verwenden, sollten Sie prüfen, ob die freigegebene Reservierung funktioniert. Erstellen Sie dazu manuell eine VM, die die freigegebene Reservierung verwendet.
Wenn die VM-Erstellung funktioniert, fahren Sie mit dem nächsten Schritt fort.
Verwenden Sie in der Konfiguration für die Clustererstellung den Reservierungsnamen im folgenden Format: projects/RESERVATION_HOST_PROJECT_ID/zones/RESERVATION_ZONE/reservations/RESERVATION_NAME.
Nächste Schritte
Nachdem Sie die Computing- und Bereitstellungsoptionen für Ihren Trainingscluster ausgewählt haben, können Sie den Cluster erstellen und eine Arbeitslast darauf ausführen.
- Compute Engine-Reservierung erstellen: Das Modell
RESERVATIONwird für die Zuweisung von Ressourcen mit hoher Nachfrage wie GPUs verwendet. Hier erfahren Sie, wie Sie eine neue Reservierung in Compute Engine erstellen, um dedizierten Zugriff auf die erforderlichen Ressourcen zu erhalten. - Trainingscluster erstellen: Wenden Sie die Konfigurationen an, die Sie kennengelernt haben, und folgen Sie der detaillierten Anleitung, um Ihren ersten persistenten Trainingscluster mit der Agent Platform API oder
gcloudzu erstellen. - Trainingsjob an den Cluster senden: Sobald der Cluster aktiv ist, besteht der nächste Schritt darin, eine Arbeitslast auszuführen. Senden Sie einen
CustomJob, der auf Ihren persistenten Cluster für die Ausführung abzielt. - Code für verteiltes Training anpassen: Wenn Sie einen Cluster mit mehreren Knoten optimal nutzen möchten, passen Sie Ihren Trainingscode für eine verteilte Umgebung an.