Google Cloud konzentriert sich auf die Bereitstellung einer erstklassigen Infrastruktur für künstliche Intelligenz (KI), um Ihre anspruchsvollsten GPU-beschleunigten Arbeitslasten in einer Vielzahl von Segmenten zu unterstützen. Sie können GPUs auf Google Cloud verwenden, um KI-, Machine-Learning- (ML), wissenschaftliche, Analyse-, Engineering-, Consumer- und Unternehmensanwendungen auszuführen.
Durch unsere Partnerschaft mit NVIDIA Google Cloud werden die neuesten GPUs bereitgestellt und gleichzeitig der Softwarestack mit einer Vielzahl von Speicher- und Netzwerkoptionen optimiert. Eine vollständige Liste der verfügbaren GPUs finden Sie unter GPU-Plattformen.
In den folgenden Abschnitten werden die Vorteile von GPUs auf Google Cloudbeschrieben.
GPU-beschleunigte VMs
Auf Google Cloudkönnen Sie auf GPUs zugreifen und sie so bereitstellen, wie es Ihren Anforderungen am besten entspricht. Es ist eine spezielle beschleunigungsoptimierte Maschinenfamilie verfügbar, die mit vorab angehängten GPUs und Netzwerkfunktionen ausgestattet ist, die sich ideal für die Leistungsmaximierung eignen. Diese sind in den Maschinenreihen A4X Max, A4X, A4, A3, A2, G4 und G2 verfügbar.
Mehrere Bereitstellungsoptionen
Sie können Cluster mit der beschleunigungsoptimierten Maschinenfamilie mit einem der folgenden Open-Source- oder Google Cloud -Produkte bereitstellen.
Vertex AI
Vertex AI ist eine vollständig verwaltete ML-Plattform, mit der Sie ML-Modelle und KI-Anwendungen trainieren und bereitstellen können. In Vertex AI-Anwendungen können Sie GPU-beschleunigte VMs verwenden, um die Leistung auf folgende Weise zu verbessern:
- GPU-fähige VMs in benutzerdefinierten GKE-Worker-Pools für das Training verwenden
- Open-Source-LLM-Modelle aus dem Vertex AI Model Garden verwenden
- Vorhersagelatenz reduzieren.
- Leistung von Vertex AI Workbench-Notebook-Code verbessern.
- Leistung einer Colab Enterprise-Laufzeit verbessern
AI Hypercomputer
AI Hypercomputer ist ein Supercomputing-System, das Ihre Arbeitslasten im Bereich künstliche Intelligenz (KI) und maschinelles Lernen (ML) unterstützt. und leistungsoptimierte Hardware, offene Software, ML-Frameworks und flexible Nutzungsmodelle umfasst. AI Hypercomputer bietet Funktionen und Dienste, mit denen Sie eine große Anzahl von Beschleuniger- und Netzwerkressourcen (bis zu Zehntausende) bereitstellen und verwalten können, die als einzelne homogene Einheit fungieren. Diese Option ist ideal, um eine dicht zugewiesene, leistungsoptimierte Infrastruktur mit Integrationen für Google Kubernetes Engine (GKE) und Slurm-Scheduler zu erstellen. Weitere Informationen finden Sie in der Übersicht zum AI Hypercomputer.
Compute Engine
Sie können auch einzelne VMs oder kleine VM-Cluster mit angehängten GPUs in Compute Engine erstellen und verwalten. Diese Methode wird hauptsächlich für grafikintensive Arbeitslasten, Simulationsarbeitslasten oder das Training von ML-Modellen in kleinem Umfang verwendet.
In der folgenden Tabelle sind die Methoden aufgeführt, mit denen Sie VMs mit angehängten GPUs erstellen können:
Bereitstellungsoption |
Bereitstellungshandbücher |
VM für Serving- und Einzelknoten-Arbeitslasten erstellen |
|
Verwaltete Instanzgruppen (MIGs) erstellen |
|
VMs im Bulk erstellen |
|
Einzelne VM erstellen |
|
Virtuelle Workstations erstellen |
Cloud Run
Sie können GPUs für Ihre Cloud Run-Instanzen konfigurieren. GPUs sind ideal für die Ausführung von KI-Inferenz-Arbeitslasten mit Large Language Models auf Cloud Run.
Informationen zum Ausführen von KI-Arbeitslasten auf GPUs in Cloud Run finden Sie in den folgenden Ressourcen:
- GPUs für einen Cloud Run-Dienst konfigurieren
- Große ML-Modelle in Cloud Run mit GPUs laden
- Anleitung: LLM-Inferenzen auf Cloud Run-GPUs mit Ollama ausführen