Google Cloud konzentriert sich auf die Bereitstellung einer erstklassigen Infrastruktur für künstliche Intelligenz (KI), um Ihre anspruchsvollsten GPU-beschleunigten Arbeitslasten in einer Vielzahl von Segmenten zu unterstützen. Sie können GPUs auf Google Cloud verwenden, um KI-, Machine-Learning- (ML), wissenschaftliche, Analyse-, Engineering-, Consumer- und Unternehmensanwendungen auszuführen.
Durch unsere Partnerschaft mit NVIDIA Google Cloud werden die neuesten GPUs bereitgestellt und gleichzeitig der Softwarestack mit einer Vielzahl von Speicher- und Netzwerkoptionen optimiert. Eine vollständige Liste der verfügbaren GPUs finden Sie unter GPU-Plattformen.
In den folgenden Abschnitten werden die Vorteile von GPUs auf Google Cloudbeschrieben.
GPU-beschleunigte VMs
Auf Google Cloudkönnen Sie auf GPUs zugreifen und sie so bereitstellen, wie es Ihren Anforderungen am besten entspricht. Es ist eine spezielle beschleunigungsoptimierte Maschinenfamilie verfügbar, die mit vorab angehängten GPUs und Netzwerkfunktionen ausgestattet ist, die sich ideal zur Maximierung der Leistung eignen. Diese sind in den Maschinenreihen A4X, A4, A3, A2 und G2 verfügbar.
Mehrere Bereitstellungsoptionen
Sie können Cluster mit der beschleunigungsoptimierten Maschinenfamilie mit einem der folgenden Open-Source- oder Google Cloud -Produkte bereitstellen.
Vertex AI
Vertex AI ist eine vollständig verwaltete ML-Plattform, mit der Sie ML-Modelle und KI-Anwendungen trainieren und bereitstellen können. In Vertex AI-Anwendungen können Sie GPU-beschleunigte VMs verwenden, um die Leistung auf folgende Weise zu verbessern:
- GPU-fähige VMs in benutzerdefinierten GKE-Worker-Pools für das Training verwenden
- Open-Source-LLM-Modelle aus dem Vertex AI Model Garden verwenden
- Vorhersagelatenz reduzieren.
- Leistung von Vertex AI Workbench-Notebook-Code verbessern.
- Leistung einer Colab Enterprise-Laufzeit verbessern
AI Hypercomputer
AI Hypercomputer ist ein Supercomputing-System, das für die Unterstützung Ihrer Arbeitslasten für künstliche Intelligenz (KI) und maschinelles Lernen (ML) optimiert ist. Es ist ein integriertes System aus leistungsoptimierter Hardware, Open-Source-Software, ML-Frameworks und flexiblen Nutzungsmodellen. AI Hypercomputer bietet Funktionen und Dienste, mit denen Sie eine große Anzahl von Beschleuniger- und Netzwerkressourcen (bis zu Zehntausende) bereitstellen und verwalten können, die als eine homogene Einheit fungieren. Diese Option ist ideal für die Erstellung einer dicht zugewiesenen, leistungsoptimierten Infrastruktur mit Integrationen für Google Kubernetes Engine (GKE) und Slurm-Scheduler. Weitere Informationen finden Sie in der Übersicht zum AI Hypercomputer.
Bereitstellungsstrategie auswählen
Compute Engine
Sie können auch einzelne VMs oder kleine VM-Cluster mit angehängten GPUs in Compute Engine erstellen und verwalten. Diese Methode wird hauptsächlich für grafikintensive Arbeitslasten, Simulationsarbeitslasten oder das Training von ML-Modellen in kleinem Umfang verwendet.
In der folgenden Tabelle sind die Methoden aufgeführt, mit denen Sie VMs mit angehängten GPUs erstellen können:
Bereitstellungsoption |
Bereitstellungshandbücher |
VM für Serving- und Einzelknoten-Arbeitslasten erstellen |
|
Verwaltete Instanzgruppen (MIGs) erstellen |
|
VMs im Bulk erstellen |
|
Einzelne VM erstellen |
|
Virtuelle Workstations erstellen |
Cloud Run
Sie können GPUs für Ihre Cloud Run-Instanzen konfigurieren. GPUs sind ideal für die Ausführung von KI-Inferenzarbeitslasten mit Large Language Models in Cloud Run.
Informationen zum Ausführen von KI-Arbeitslasten auf GPUs in Cloud Run finden Sie in den folgenden Ressourcen:
- GPUs für einen Cloud Run-Dienst konfigurieren
- Große ML-Modelle in Cloud Run mit GPUs laden
- Anleitung: LLM-Inferenzen auf Cloud Run-GPUs mit Ollama ausführen