Accelerator-Infrastruktur auswählen

In diesem Dokument erfahren Sie, wie Sie die optimale Beschleunigerinfrastruktur für Ihre Arbeitslasten für künstliche Intelligenz (KI) und maschinelles Lernen (ML) basierend auf Ihrer Lebenszyklusphase ermitteln, z. B. Prototyping im kleinen Maßstab, Echtzeit-Inferenz und massives verteiltes Training. AI Hypercomputer unterteilt Beschleunigerangebote in zwei Kategorien: Allgemeine GPUs und geclusterte GPUs.

GPU-Infrastruktur

AI Hypercomputer bietet zwei verschiedene Kategorien von GPUs. Jede Kategorie hat ein eigenes Verwaltungsmodell, das bestimmt, wie das System Lebenszyklusereignisse verarbeitet, die Wartung verwaltet und das Netzwerk für Ihre Arbeitslast optimiert:

Allgemeines GPU-Verwaltungsmodell

Das allgemeine GPU-Verwaltungsmodell ist für Arbeitslasten konzipiert, bei denen Ressourcenunabhängigkeit und hohe Verfügbarkeit Priorität haben. Dieses Modell verwendet die Standard- Google Cloud -Steuerungsebene und bietet Teams, die bereits Compute Engine oder GKE verwenden, eine vertraute Umgebung.

  • Wartung:asynchron. Einzelne Instanzen werden unabhängig voneinander aktualisiert. In einer Serving-Flotte mit mehreren Knoten wirkt sich ein Wartungsereignis auf einem Knoten nicht auf die Verfügbarkeit anderer Knoten aus. Der Traffic kann an fehlerfreie Knoten weitergeleitet werden, ohne dass der gesamte Job unterbrochen wird.

  • Primäre Anwendungsfälle:Empfohlen für gängige Aufgaben wie Echtzeitinferenz, Modellbereitstellung, Prototypenentwicklung in kleinem Umfang und Entwicklungsumgebungen, in denen keine Supercomputer-Skalierung erforderlich ist.

Allgemeine GPU-Maschinenserien

Die folgenden Maschinenserien sind allgemeine GPUs:

  • A3 High mit 1, 2 oder 4 GPUs
  • A3 Edge
  • A2
  • G4
  • G2
  • N1+T4
  • N1+V100

Technische Informationen zu den einzelnen allgemeinen GPU-Maschinen finden Sie unter GPU-Maschinentypen.

Clustered GPU-Verwaltungsmodell

Das Modell für die Verwaltung von GPU-Clustern ist eine Umgebung der Supercomputerklasse, die für umfangreiches verteiltes Training entwickelt wurde. Ressourcen werden als einzelnes, eng gekoppeltes System mithilfe eines geclusterten GPU-Stacks verwaltet.

  • Wartung:koordiniert. Dieses Modell koordiniert Wartungsereignisse, um eng gekoppelte Arbeitslasten zu unterstützen. Für verteiltes Training können Sie die synchronisierte Wartung verwenden, bei der Updates gleichzeitig auf alle Knoten angewendet werden. Dieser Ansatz verhindert, dass durch Neustarts von Knoten Jobs ins Stocken geraten, und maximiert den Goodput. Dieses Modell bietet auch Wartungsbenachrichtigungen 90 Tage im Voraus.

  • Primäre Anwendungsfälle:Entwickelt für das Training von Fundamentmodellen im Exascale-Bereich mit Billionen von Parametern oder für die Ausführung komplexer HPC-Simulationen (High Performance Computing), z. B. für die Medikamentenforschung und Proteinfaltung.

GPU-Maschinenserien mit Clustern

Die folgenden Maschinenserien sind Cluster-GPUs:

  • A4X Max
  • A4X
  • A4
  • A3 Ultra
  • A3 Mega
  • A3 High mit 8 GPUs

Technische Informationen zu den einzelnen gruppierten GPU-Maschinen finden Sie unter GPU-Maschinentypen.

Funktionsmatrix

Vergleichen Sie die technischen und betrieblichen Merkmale der allgemeinen GPU- und der geclusterten GPU-Verwaltungsmodelle:

Merkmal Allgemeines GPU-Verwaltungsmodell Clustered GPU-Verwaltungsmodell
Primäre Anwendungsfälle Inferenz, Modellbereitstellung, Prototyping und Entwicklung Umfangreiches verteiltes Training und HPC
Wartung Asynchron:Unabhängige Knotenaktualisierungen ermöglichen die Umleitung von Traffic, ohne dass Jobs angehalten werden. Koordiniert:Unterstützt clusterweite koordinierte (synchronisierte) Updates, um Knoten synchron zu halten und den Durchsatz zu maximieren.
Zielhardware A3 High (1, 2 oder 4 GPUs), A3 Edge, G4, G2, A2, N1+T4 und N1+V100 A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs)
Netzwerk Standard-VPC-Netzwerk über gVNIC-Schnittstellen (mit Ausnahme von A3 Edge, das GPUDirect-TCPX über mehrere VPCs verwendet) Spezialisierte Fabrics mit niedriger Latenz (RDMA, RoCE, TCPX oder NVIDIA NVLink)
Verwaltungs-Stack Standard Google Cloud ebene (Compute Engine oder GKE) Spezialisierter Verwaltungsstack (z. B. Cluster Director)
Zuverlässigkeit Standardmäßige automatische Knotenreparatur und Pod-Uptime Spezialisierte Suite für Ressourcen und Wiederherstellung

Entscheidungsmatrix

Anhand dieser Matrix können Sie ermitteln, welche Hardwarefamilien zu Ihrer spezifischen Arbeitslast passen:

Wenn Ihre Arbeitslast Folgendes umfasst… Empfohlene GPU-Infrastruktur Empfohlene Maschinenserie
Prototyping und Entwicklung Allgemeine GPUs A3 High (1, 2 oder 4 GPUs), A3 Edge, A2, G4, G2, N1+T4, N1+V100
Inferenz in Echtzeit (< 100 Mrd. Parameter) Allgemeine GPUs A3 High (1, 2 oder 4 GPUs), A3 Edge, A2, G4, G2, N1+T4, N1+V100
Inferenz über mehrere GPUs hinweg Clustered GPUs A4, A3 Ultra, A3 Mega, A3 High (8 GPUs)
Umfangreiches Training und Inferenz Clustered GPUs A4, A3 Ultra, A3 Mega, A3 High (8 GPUs)
Umfangreiches Training (> 500 Mrd. Parameter) und disaggregierte Inferenz Clustered GPUs A4X Max, A4X, A4

Einen detaillierten Entscheidungsbaum, in dem Modellarchitekturen direkt Hardware zugeordnet werden, finden Sie unter Beschleuniger auswählen.

Nachdem Sie diese primären Kriterien festgelegt haben, wählen Sie eine Orchestrierungsplattform aus. Diese Entscheidung hängt von der Präferenz Ihres Teams für die automatisierte Verwaltung oder die detaillierte Kontrolle über das Betriebssystem und die Treiber ab.

Nächste Schritte