Ressourcen berechnen

Wenn Sie sich für Trainingscluster der Gemini Enterprise Agent Platform interessieren, wenden Sie sich an Ihren Vertriebsmitarbeiter, um Zugriff zu erhalten.

Trainingscluster der Gemini Enterprise Agent Platform unterstützen eine Vielzahl von Maschinentypen, um unterschiedlichen Arbeitslasten gerecht zu werden. Bei der Konfiguration der Knotenpools Ihres Clusters können Sie aus den folgenden Optionen auswählen.

Beschleunigungsoptimierte Maschinentypen

Maschinentyp GPU GPUs pro Knoten
a4x-highgpu-4g NVIDIA GB200 4
a4-highgpu-8g NVIDIA B200 8
a3-ultragpu-8g NVIDIA H200 8
a3-megagpu-8g NVIDIA H100 8
g4-standard-48 NVIDIA RTX PRO 6000 Blackwell 1
g4-standard-96 NVIDIA RTX PRO 6000 Blackwell 2
g4-standard-192 NVIDIA RTX PRO 6000 Blackwell 4
g4-standard-384 NVIDIA RTX PRO 6000 Blackwell 8

CPU- und HPC-Maschinentypen

Maschinentyp Beschreibung
N2-Familie: n2-standard-*, n2-highmem-*, n2-highcpu-* Knoten für allgemeine Zwecke für die Datenvorverarbeitung, Job-Orchestrierung und andere Aufgaben, für die kein Beschleuniger erforderlich ist. N2 ist auch die Maschinenfamilie, die für Slurm-Anmeldeknoten verwendet wird.
H4D-Familie: h4d-standard-*, h4d-highmem-* Für HPC optimierte Knoten mit RDMA-Netzwerk für eng gekoppelte Simulations- und Vorverarbeitungsarbeitslasten.

A4X-Maschinentyp

Trainingscluster der Gemini Enterprise Agent Platform unterstützen den beschleunigungsoptimierten Maschinentyp A4X (`a4x-highgpu-4g`), eine Exascale-Plattform, die auf der NVIDIA GB200 NVL72 Rack-Scale-Architektur basiert.

Architekturvergleich

In der folgenden Tabelle sind die grundlegenden Hardwareunterschiede zwischen der A4X-Familie und anderen beschleunigungsoptimierten Familien aufgeführt.

Funktion A4X (`a4x-highgpu-4g`) A3 / A4H
CPU-Architektur ARM X86
GPU-Anzahl 4 GPUs pro Knoten 8 GPUs pro Knoten
Reservierungstyp Modus „Gesamte Kapazität“ Verwalteter Modus
Platzierungsrichtlinie Strikt (kompakt) Flexibel

Spezifische Richtlinien für A4X

  • Die Anzahl der VMs im A4X-Knotenpool muss ein Vielfaches von 18 sein (z. B. 18, 36, 54). Dies ist erforderlich, da die A4X-Kapazität in festen, nicht freigabefähigen 18-Knoten-Blöcken bereitgestellt wird, die als NVLink-Domains bezeichnet werden. Für diese Domains gilt eine strikte Richtlinie für kompakte Platzierung, und teilweise zugewiesene Blöcke können nicht von anderen Clustern verwendet werden.
  • Aufgrund der ARM-basierten Architektur von A4X-Knoten müssen Sie zwei wichtige Änderungen an Ihren Trainingsarbeitslasten vornehmen:
    • ARM-kompatible Images verwenden: Für alle Trainingsjobs muss ein Container-Image verwendet werden, das für die ARM-Architektur erstellt wurde.
    • An 4 GPUs anpassen: Ihre verteilte Trainingslogik muss aktualisiert werden, um die 4 GPUs, die auf jedem A4X-Knoten verfügbar sind, korrekt zu erkennen und zu verwenden.
  • Prozess zur Meldung von Hostfehlern und Ausfallzeiten: Wenn Sie einen Host als fehlerhaft melden, beachten Sie den folgenden Wiederherstellungsprozess:
    • Keine Standby-Kapazität: Das System verwendet keinen Standby-Ersatzpool für einen sofortigen Knotenaustausch.
    • Reparaturbasierte Wiederherstellung: Der Knoten ist erst wieder verfügbar, wenn der zugrunde liegende physische Host repariert wurde.
    • Längere Ausfallzeiten: Dieser Reparaturprozess dauert in der Regel 3 bis 14 Tage.

Kapazitätsbereitstellung

Die Auswahl des richtigen Bereitstellungsmodells ist entscheidend, um ein Gleichgewicht zwischen Kosten, Geschwindigkeit und Ressourcenverfügbarkeit zu finden. Die folgenden Bereitstellungsoptionen sind verfügbar:

  • RESERVATION: Weist Knoten aus einer bestimmten Compute Engine-Reservierung zu, die Sie im Voraus erstellt haben. Dieses Modell sorgt für Kapazität und ist die empfohlene Wahl für Ressourcen mit hoher Nachfrage.

  • FLEX_START: Verwendet den Dynamic Workload Scheduler, um Ihren Job in die Warteschlange zu stellen. Der Job wird automatisch gestartet, sobald die angeforderten Rechenressourcen verfügbar sind. So ist eine flexible Startzeit ohne Reservierung möglich.

  • SPOT: Stellt den Knotenpool mit Spot-VMs bereit. Dies ist die kostengünstigste Option, sollte aber nur für Arbeitslasten verwendet werden, die fehlertolerant sind und Unterbrechungen verarbeiten können, da die VMs jederzeit vorzeitig beendet werden können.

  • ON_DEMAND: Dies ist die Standardoption für Knotenpools, die nur CPUs verwenden, und eignet sich am besten für Maschinentypen, die nicht knapp sind. Sie bietet Standard-VM-Instanzen mit vorhersehbaren Pay-as-you-go-Preisen.

Verwenden Sie die folgende Anleitung, um eine Auswahl zu treffen:

  • Für GPU-Ressourcen mit hoher Nachfrage (z. B. A3 und A4): Das Modell RESERVATION wird dringend empfohlen. So haben Sie dedizierten Zugriff auf die Kapazität, die Sie für wichtige Trainingsjobs benötigen.

  • Für Arbeitslasten mit schwankender oder flexibler Nachfrage: Erwägen Sie FLEX_START oder SPOT. Mit FLEX_START wird Ihr Job in die Warteschlange gestellt, bis Ressourcen verfügbar sind, während SPOT erhebliche Kosteneinsparungen für fehlertolerante Jobs bietet, die mit vorzeitigen Beendigungen umgehen können.

  • Für reichlich verfügbare Maschinentypen: Das Modell ON_DEMAND ist die bevorzugte Wahl. Verwenden Sie es für Maschinentypen, die nicht knapp sind und bei denen die sofortige Verfügbarkeit keine Rolle spielt.

Freigegebene Reservierung verwenden (optional)

Wenn Sie eine freigegebene Reservierung anstelle einer lokalen Reservierung verwenden möchten, sind zusätzliche Schritte erforderlich, bevor Sie einen Cluster erstellen können.

Bevor Sie eine freigegebene Reservierung mit Trainingsclustern der Gemini Enterprise Agent Platform verwenden, prüfen Sie, ob sie funktioniert, indem Sie manuell eine VM erstellen, die die freigegebene Reservierung verwendet. Wenn die VM erstellt wurde, fahren Sie mit dem nächsten Schritt fort. Verwenden Sie in der Konfiguration zur Clustererstellung den Reservierungsnamen im folgenden Format: projects/RESERVATION_HOST_PROJECT_ID/zones/RESERVATION_ZONE/reservations/RESERVATION_NAME.

Nächste Schritte

Nachdem Sie die Compute- und Bereitstellungsoptionen für Ihren Trainingscluster ausgewählt haben, können Sie den Cluster erstellen und eine Arbeitslast darauf ausführen.

  • Compute Engine-Reservierung erstellen: Das Modell RESERVATION wird verwendet, um Ressourcen mit hoher Nachfrage wie GPUs zuzuweisen. Informationen zum Erstellen einer neuen Reservierung in Compute Engine, um dedizierten Zugriff auf die benötigten Ressourcen zu erhalten
  • Trainingscluster erstellen: Wenden Sie die Konfigurationen an, die Sie kennengelernt haben, indem Sie der Schritt-für-Schritt-Anleitung folgen, um Ihren ersten persistenten Trainingscluster mit der Agent Platform API oder gcloud zu erstellen.
  • Trainingsjob an den Cluster senden: Sobald Ihr Cluster aktiv ist, besteht der nächste Schritt darin, eine Arbeitslast auszuführen. Senden Sie einen CustomJob, der auf Ihren persistenten Cluster ausgerichtet ist.
  • Code für verteiltes Training anpassen: Um die Vorteile eines Clusters mit mehreren Knoten voll auszuschöpfen, passen Sie Ihren Trainingscode für eine verteilte Umgebung an.