Accelerator-Infrastruktur auswählen

In diesem Dokument erfahren Sie, wie Sie die optimale Beschleunigerinfrastruktur für Ihre Arbeitslasten für künstliche Intelligenz (KI) und maschinelles Lernen (ML) basierend auf der Lebenszyklusphase ermitteln, z. B. Prototyping im kleinen Maßstab, Echtzeit-Inferenz und umfangreiches verteiltes Training. Der AI Hypercomputer unterteilt die Beschleunigerangebote in zwei Kategorien: allgemeine GPUs und geclusterte GPUs.

GPU-Infrastruktur

AI Hypercomputer bietet zwei verschiedene Kategorien von GPUs. Jede Kategorie hat ein eigenes Verwaltungsmodell, das bestimmt, wie das System Lebenszyklusereignisse verarbeitet, die Wartung verwaltet und das Netzwerk für Ihre Arbeitslast optimiert:

Allgemeines GPU-Verwaltungsmodell

Das allgemeine GPU-Verwaltungsmodell ist für Arbeitslasten konzipiert, bei denen Ressourcenunabhängigkeit und Hochverfügbarkeit im Vordergrund stehen. Dieses Modell verwendet die standardmäßige Google Cloud -Verwaltungsebene und bietet Teams, die bereits Compute Engine oder GKE verwenden, eine vertraute Umgebung.

  • Wartung: asynchron. Einzelne Instanzen werden unabhängig voneinander aktualisiert. In einer Bereitstellungs-Flotte mit mehreren Knoten hat ein Wartungsereignis auf einem Knoten keine Auswirkungen auf die Verfügbarkeit anderer Knoten. Der Traffic kann an fehlerfreie Knoten weitergeleitet werden, ohne dass der gesamte Job angehalten wird.

  • Primäre Anwendungsfälle: Empfohlen für gängige Aufgaben wie Echtzeit-Inferenz, Modellbereitstellung, Prototyping in kleinem Umfang und Entwicklungsumgebungen, in denen keine Supercomputing-Skalierung erforderlich ist.

Allgemeine GPU-Maschinenserien

Die folgenden Maschinenserien sind allgemeine GPUs:

  • A3 High mit 1, 2 oder 4 GPUs
  • A3 Edge
  • A2
  • G4
  • G2
  • N1+T4
  • N1+V100

Technische Informationen zu den einzelnen allgemeinen GPU-Maschinen finden Sie unter GPU-Maschinentypen.

Verwaltungsmodell für geclusterte GPUs

Das geclusterte GPU-Verwaltungsmodell ist eine Supercomputing-Umgebung, die für umfangreiches verteiltes Training entwickelt wurde. Ressourcen werden mithilfe eines geclusterten GPU-Stacks als einzelnes, eng gekoppeltes System verwaltet.

  • Wartung: koordiniert. Dieses Modell koordiniert Wartungsereignisse, um eng gekoppelte Arbeitslasten zu unterstützen. Für verteiltes Training können Sie die synchronisierte Wartung verwenden, bei der Updates auf allen Knoten gleichzeitig angewendet werden. Dieser Ansatz verhindert, dass Jobs durch Neustarts von Knoten blockiert werden, und maximiert den Goodput. Dieses Modell bietet auch 90-tägige Wartungsbenachrichtigungen.

  • Primäre Anwendungsfälle: Entwickelt für das Training von Exascale-Foundation-Modellen mit Billionen von Parametern oder für die Ausführung komplexer Hochleistungs-Computing-Simulationen (HPC), z. B. für die Medikamentenentwicklung und Proteinfaltung.

Geclusterte GPU-Maschinenserien

Die folgenden Maschinenserien sind geclusterte GPUs:

  • A5X
  • A4X Max
  • A4X
  • A4
  • A3 Ultra
  • A3 Mega
  • A3 High mit 8 GPUs

Technische Informationen zu den einzelnen geclusterten GPU-Maschinen finden Sie unter GPU-Maschinentypen.

Funktionsmatrix

Vergleichen Sie die technischen und betrieblichen Merkmale der allgemeinen GPU- und geclusterten GPU-Verwaltungsmodelle:

Merkmal Allgemeines GPU-Verwaltungsmodell Verwaltungsmodell für geclusterte GPUs
Primäre Anwendungsfälle Inferenz, Modellbereitstellung, Prototyping und Entwicklung Umfangreiches verteiltes Training und HPC
Wartung Asynchron: Unabhängige Knotenupdates ermöglichen die Umleitung von Traffic, ohne dass Jobs ins Stocken geraten. Koordiniert: Unterstützt clusterweite koordinierte (synchronisierte) Updates, um Knoten synchron zu halten und den Goodput zu maximieren
Zielhardware A3 High (1, 2 oder 4 GPUs), A3 Edge, G4, G2, A2, N1+T4 und N1+V100 A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs)
Netzwerk Standard-VPC-Netzwerk über gVNIC-Schnittstellen (mit Ausnahme von A3 Edge, das GPUDirect-TCPX über mehrere VPCs verwendet) Spezialisierte Fabrics mit niedriger Latenz (RDMA, RoCE, TCPX oder NVIDIA NVLink)
Verwaltungs-Stack Standard- Google Cloud -Ebene (Compute Engine oder GKE) Spezialisierter Verwaltungsstack (z. B. Cluster Director)
Zuverlässigkeit Automatische Standardknotenreparatur und Verfügbarkeit auf Pod-Ebene Spezialisierte Suite für Ressourcen und Wiederherstellung

Entscheidungsmatrix

Anhand dieser Matrix können Sie feststellen, welche Hardwarefamilien für Ihre spezifische Arbeitslast geeignet sind:

Wenn Ihre Arbeitslast Folgendes umfasst… Empfohlene GPU-Infrastruktur Empfohlene Maschinenserie
Prototyping und Entwicklung Allgemeine GPUs A3 High (1, 2 oder 4 GPUs), A3 Edge, A2, G4, G2, N1+T4, N1+V100
Inferenz in Echtzeit (< 100 Mrd. Parameter) Allgemeine GPUs A3 High (1, 2 oder 4 GPUs), A3 Edge, A2, G4, G2, N1+T4, N1+V100
Inferenz über mehrere GPUs hinweg Geclusterte GPUs A4, A3 Ultra, A3 Mega, A3 High (8 GPUs)
Umfangreiches Training und Inferenz Geclusterte GPUs A4, A3 Ultra, A3 Mega, A3 High (8 GPUs)
Umfangreiches Training (> 500 Mrd. Parameter) und disaggregierte Inferenz Geclusterte GPUs A5X, A4X Max, A4X, A4

Einen detaillierten Entscheidungsbaum, der Modellarchitekturen direkt der Hardware zuordnet, finden Sie unter Beschleuniger auswählen.

Nachdem Sie diese primären Kriterien festgelegt haben, wählen Sie eine Orchestrierungsplattform aus. Diese Entscheidung hängt davon ab, ob Ihr Team eine automatisierte Verwaltung oder eine detaillierte Kontrolle über das Betriebssystem und die Treiber bevorzugt.

Nächste Schritte