In diesem Dokument werden die wichtigsten Computing-Optionen verglichen Google Cloud , damit Sie die beste Lösung oder das beste Tool für die Architektur, Skalierung und andere Anforderungen Ihrer Anwendung auswählen können.
Für die Bereitstellung von Arbeitslasten in Google Cloudkönnen Sie aus einer Reihe von Lösungen oder Tools wählen, die ein Gleichgewicht zwischen Ihrer Kontrolle über die Infrastruktur und der automatisierten Verwaltung durch Google bieten. Die von Ihnen ausgewählte Computing-Option kann sich erheblich auf Leistung, Kosten und den täglichen Wartungsaufwand auswirken. Weitere Informationen zu diesen Optionen finden Sie unter Übersicht über die Computing-Optionen von Google.
Computing-Option auswählen
Die beste Computing-Lösung oder das beste Tool für Ihre Arbeitslast hängt möglicherweise von mehreren Faktoren ab. Wenn Sie beispielsweise Ihre VMware-Umgebung zu Google Cloudmigrieren möchten, dann verwenden Sie die VMware Engine.
Mit dem folgenden Flussdiagramm können Sie die Kompromisse zwischen Infrastrukturverwaltung, Containern und Compute Engine-Instanzen besser verstehen. Wenn Sie Funktionen schnell zwischen verschiedenen Computing-Optionen vergleichen möchten, sehen Sie sich die Vergleichstabelle in diesem Dokument an.
Die Fragen im vorherigen Flussdiagramm sind:
Soll Google die gesamte Infrastruktur verwalten?
Nein: Fahren Sie mit Frage 2 fort.
Möchten Sie die Clusterorchestrierung für Ihre Arbeitslasten verwenden (z. B. Kubernetes oder Slurm)?
Ja: Fahren Sie mit Frage 4 fort.
Nein: Fahren Sie mit Frage 3 fort.
Möchten Sie VMs oder Bare-Metal-Instanzen selbst verwalten?
Nein: Verwenden Sie Batch.
Möchten Sie containerisierte Standardanwendungen ausführen (z. B. Mikrodienste oder APIs)?
Ja: Verwenden Sie GKE.
Nein: Fahren Sie mit Frage 5 fort.
Soll Google den Clusterlebenszyklus verwalten?
Batch verwenden
Wählen Sie Batch für Arbeitslasten wie asynchrone Datenanalysen, Videokonvertierungsaufgaben oder wissenschaftliche Simulationen aus. Mit Batch, verwaltet Google die Infrastruktur, sodass Sie Batch-Computing-Jobs in planen, in die Warteschlange stellen und ausführen können Google Cloud. Sie müssen keine Server selbst bereitstellen oder verwalten, sondern senden ausführbare Skripts oder containerisierte Arbeitslasten an eine Jobwarteschlange.
Batch bietet die folgenden Funktionen:
Unterstützung für Beschleuniger: Batch unterstützt NVIDIA-GPUs bis zu RTX PRO 6000 für Batch- und Hochleistungs-Computing-Arbeitslasten (HPC), die einen hohen Durchsatz erfordern. Batch unterstützt keine Google-TPUs.
Betriebssystem- und Kernelsteuerung: Google verwaltet das Betriebssystem und die Ausführungsumgebung für Ihre Jobs.
Orchestrierung: Die Jobwarteschlange plant Aufgaben und wiederholt sie, wenn ein Fehler auftritt. Um die Kapazität zu skalieren, stellt der Dienst VMs bereit und startet sie basierend auf der Anzahl der in die Warteschlange gestellten Jobs. Die VMs werden beendet, wenn diese Jobs abgeschlossen sind.
Weitere Informationen finden Sie unter Erste Schritte mit Batch.
Cloud Run verwenden
Wählen Sie Cloud Run aus, um containerisierte Webanwendungen oder Jobs ohne Serververwaltung bereitzustellen. Cloud Run ist eine serverlose Plattform, mit der Sie containerisierte Anwendungen ohne Server- oder Clusterverwaltung ausführen können. Google übernimmt die gesamte Infrastrukturverwaltung für Sie, einschließlich Betriebssystem, Kernel, Netzwerkeinrichtung und Kapazitätsverwaltung.
Cloud Run bietet die folgenden Funktionen:
Unterstützung für Beschleuniger: Cloud Run unterstützt NVIDIA RTX PRO 6000 Blackwell- und L4-GPUs. Cloud Run unterstützt keine anderen GPU-Modelle oder Google-TPUs.
Betriebssystem- und Kernelsteuerung: Sie packen Ihre Arbeitslasten als Container und führen sie als Webdienste, asynchrone Aufgaben oder Batchjobs aus.
Orchestrierung: Als serverlose Plattform startet, führt und skaliert Google Ihre Containerinstanzen ohne manuellen Eingriff. Für Webdienste fügt Cloud Run Containerinstanzen basierend auf eingehenden Anfragen oder der CPU-Auslastung hinzu oder entfernt sie.
Weitere Informationen finden Sie unter Was ist Cloud Run.
Cluster Director verwenden
Wählen Sie Cluster Director aus, wenn Sie KI-Modelle trainieren oder von Slurm geplante Simulationsjobs ausführen möchten, ohne dass Sie Aufgaben zur Netzwerkeinrichtung oder zur Konfiguration des Clusterbetriebssystems ausführen müssen. Cluster Director ist ein verwalteter Dienst, der die Bereitstellung und den Lebenszyklus von KI-, ML- und HPC-Clustern automatisiert.
Cluster Director bietet die folgenden Funktionen:
Unterstützung für Beschleuniger: Cluster Director unterstützt NVIDIA-GPUs, einschließlich GB300 Ultra Superchips, GB200 Superchips, B200, H200, und H100, für KI-, ML- und HPC-Arbeitslasten. Cluster Director unterstützt keine Google-TPUs.
Betriebssystem- und Kernelsteuerung: Google verwaltet den Clusterlebenszyklus und richtet ein benutzerdefiniertes Ubuntu-Betriebssystem ein, das für ML entwickelt wurde. Der Dienst bietet eine sofort einsatzbereite Umgebung mit Anmeldeknoten, Compute-Knotensätzen und Bereitstellungsvorlagen, die für KI-Arbeitslasten entwickelt wurden.
Orchestrierung: Um die Kapazität zu skalieren, erstellt Slurm Knoten, wenn die CPU-Auslastung steigt, und löscht Knoten, wenn sie für einen bestimmten Zeitraum inaktiv sind, um unnötige Kosten zu vermeiden.
Weitere Informationen finden Sie unter Cluster Director – Übersicht.
Cluster Toolkit verwenden
Wählen Sie Cluster Toolkit aus, wenn Sie automatisierte Bereitstellungsvorlagen verwenden und gleichzeitig die administrative Kontrolle über Ihr Betriebssystem und Ihren Softwarestack behalten möchten. Cluster Toolkit ist ein Open-Source-Tool, mit dem Sie KI-, ML- und HPC-Cluster in bereitstellen und konfigurieren können Google Cloud.
Cluster Toolkit bietet die folgenden Funktionen:
Unterstützung für Beschleuniger: Cluster Toolkit unterstützt NVIDIA-GPUs und Google-TPUs, die Sie mit Bereitstellungsvorlagen, sogenannten Blueprints , bereitstellen und konfigurieren. Mit diesen automatisierten Konfigurationsdateien stellen Sie eine standardisierte, wiederholbare Clusterinfrastruktur basierend auf den Prinzipien von Infrastructure as Code (IaC) bereit.
Betriebssystem- und Kernelsteuerung: Cluster Toolkit stellt Compute Instanzen oder GKE-Ressourcen in Ihrem Google Cloud Projekt bereit. Nachdem Sie diese Ressourcen bereitgestellt haben, behalten Sie die administrative Kontrolle über das Betriebssystem, die Softwareeinstellungen und den Clusterlebenszyklus.
Orchestrierung: Um die Kapazität zu skalieren, konfigurieren Sie verwaltete Instanzgruppen (MIGs) oder GKE-Tools, um Knoten basierend auf Ihren Vorlageneinstellungen hinzuzufügen oder zu entfernen.
Weitere Informationen finden Sie unter Cluster Toolkit – Übersicht.
Compute Engine verwenden
Wählen Sie die Compute Engine aus, wenn Ihre Anwendungen benutzerdefinierte Architekturkonfigurationen, spezielle Kerneleinstellungen oder administrative Kontrolle über virtuelle Server erfordern. Die Compute Engine ist die zentrale Google CloudInfrastructure-Infrastructure as a Service (IaaS)-Plattform (IaaS) von, mit der Sie VM- und Bare-Metal-Instanzen auf der physischen Hardware von Google erstellen und ausführen können.
Die Compute Engine bietet die folgenden Funktionen:
Unterstützung für Beschleuniger: Die Compute Engine unterstützt NVIDIA-GPUs und Google-TPUs, die Sie an Ihre Compute-Instanzen anhängen können.
Betriebssystem- und Kernelsteuerung: Sie behalten die vollständige Kontrolle über das Betriebssystem, die Kernel einstellungen und die Startdateien und wählen CPU-Prozessoren, Speicher konfigurationen, Speichertypen und Gastbetriebssystem aus.
Orchestrierung: Da die Orchestrierung manuell erfolgt, richten Sie Ihre eigenen Compute-Instanzen, Netzwerkregeln, Traffic-Routen und Sicherungssysteme für die Zuverlässigkeit ein und verwalten sie. Um die Kapazität zu skalieren, fügen Sie nach Bedarf Compute-Instanzen hinzu oder entfernen sie, verwenden benutzerdefinierte Tools oder konfigurieren MIGs, um die Clusterkapazität anzupassen.
Weitere Informationen finden Sie unter Compute Engine – Übersicht.
GKE verwenden
Wählen Sie die Google Kubernetes Engine (GKE) aus, wenn Sie eine robuste, containerbasierte Orchestrierungsplattform für verteilte Anwendungen oder Mikrodienste für allgemeine Zwecke benötigen. GKE ist eine branchenübliche verwaltete Kubernetes-Plattform zum Bereitstellen, Skalieren und Orchestrieren containerisierter Anwendungen. Google verwaltet die Kubernetes-Steuerungsebene für Sicherheit und Systemverfügbarkeit.
GKE bietet die folgenden Funktionen:
Unterstützung für Beschleuniger: GKE unterstützt NVIDIA GPUs und Google-TPUs für containerisierte Arbeitslasten.
Betriebssystem- und Kernelsteuerung: Google verwaltet das Betriebssystem sowohl im Autopilot als auch im Standardmodus. Im Autopilot-Modus verwaltet Google Clusterknoten und Kapazitätsanpassungen ohne manuellen Eingriff. Im Standardmodus verwalten Sie Clusterknotenpools.
Orchestrierung: Um die Kapazität an die sich ändernde Nachfrage anzupassen, fügt GKE mit horizontalem und vertikalem Pod-Autoscaling (HPA und VPA) Container hinzu oder entfernt sie und fügt mit dem Cluster-Autoscaler Knoten hinzu oder entfernt sie. GKE orchestriert auch Batchjobs über Kueue.
Weitere Informationen finden Sie unter GKE – Übersicht.
VMware Engine verwenden
Wählen Sie die VMware Engine aus, um Ihre lokalen VMware-Arbeitslasten zu Google Cloud migrieren und dabei nur minimale betriebliche Änderungen vorzunehmen. Die VMware Engine ist ein verwalteter Dienst, mit dem Sie VMware-VMs auf Google-Hardware ausführen können, ohne dass Sie Anwendungen ändern müssen.
Die VMware Engine bietet die folgenden Funktionen:
Unterstützung für Beschleuniger: Die VMware Engine unterstützt keine GPUs oder TPUs.
Betriebssystem- und Kernelsteuerung: Sie führen VMware-Anwendungen in Google Cloud so aus, wie sie in Ihrer vorhandenen Einrichtung ausgeführt werden. Google verwaltet die physische Hardware, die Netzwerkinfrastruktur und die VMware-Softwareplattform, z. B. vSphere, vCenter, vSAN und NSX-T. Sie behalten die administrative Kontrolle über Ihre VMs, das Gastbetriebssystem und die VMware-Verwaltungstools.
Orchestrierung: Um die Größe Ihrer privaten Cloud anzupassen, fügen Sie dedizierte ESXi-Knoten hinzu oder entfernen sie.
Weitere Informationen finden Sie unter Google Cloud VMware Engine – Übersicht.
Computing-Optionen vergleichen
Vergleichen Sie in der folgenden Tabelle die technischen Funktionen der verschiedenen Computing-Optionen, um die Computing-Lösung oder das Tool zu finden, das zu Ihrer Arbeitslast passt:
| Computing-Option | GPUs | TPUs | Betriebssystem- und Kernelsteuerung | Orchestrierung | Skalierung |
|---|---|---|---|---|---|
| Batch | Bis zu NVIDIA RTX PRO 6000 | Nein | Von Google verwaltet | Jobwarteschlange | Automatisch basierend auf in die Warteschlange gestellten Jobs |
| Cloud Run | NVIDIA RTX PRO 6000 Blackwell und L4 | Nein | Von Google verwaltet | Serverlos | Automatisch basierend auf Anfragen oder CPU-Auslastung |
| Cluster Director | NVIDIA GB300 Ultra Superchips, GB200 Superchips, B200, H200 und H100 | Nein | Von Google verwaltet (benutzerdefiniertes Ubuntu) | Slurm | Automatisch basierend auf der CPU-Auslastung |
| Cluster Toolkit | Alle verfügbaren NVIDIA-GPUs | Alle verfügbaren Google-TPUs | Selbstverwaltet | Automatisierte Konfigurationsdateien (IaC) | Anpassbar mit MIGs oder GKE-Tools |
| Compute Engine | Alle verfügbaren NVIDIA-GPUs | Alle verfügbaren Google-TPUs | Selbstverwaltet | Manuell | Manuell oder automatisch mit MIGs |
| Google Kubernetes Engine (GKE) | Alle verfügbaren NVIDIA-GPUs | Alle verfügbaren Google-TPUs | Von Google verwaltet (Autopilot) oder teilweise verwaltet (Standard) | Kubernetes | Automatisches Pod- und Knotenscaling |
| VMware Engine | Nein | Nein | Von Google verwaltet | VMware-Plattform | Manuell mit ESXi-Knoten |
Funktionen des AI Hypercomputer für KI und ML
Der AI Hypercomputer ist eine integrierte Architektur, die speziell entwickelte Hardware, Open-Source-Software und flexible Nutzungsmodelle kombiniert. Diese Architektur wurde speziell entwickelt, um die ML-Produktivität zu steigern und den Goodput, die Rate der übertragenen Nutzdaten, für anspruchsvolle KI Arbeitslasten zu maximieren.
Der AI Hypercomputer bietet die folgenden Funktionen:
Unterstützung für Beschleuniger: Der AI Hypercomputer unterstützt alle NVIDIA-GPUs und Google-TPUs. Beschleuniger sind über ein Netzwerk mit hoher Bandbreite verbunden, um den Durchsatz für KI-Modelle auf Tausenden von Compute-Instanzen zu optimieren.
Betriebssystem- und Kernelsteuerung: Ihre Kontrolle über das Betriebssystem und den Kernel hängt vom ausgewählten Bereitstellungstool ab:
Von Google verwaltete Umgebungen: Wenn Sie Cluster Director auswählen, verwaltet Google die Clusterumgebung und den Lebenszyklus. Wenn Sie GKE im Autopilot-Modus auswählen, verwaltet Google die Containerumgebung.
Selbstverwaltete Umgebungen: Wenn Sie Cluster Toolkit, Compute Engine oder GKE im Standardmodus auswählen, verwalten Sie die Clusterressourcen und das Betriebssystem.
Orchestrierung: Sie können Slurm, GKE oder benutzerdefinierte Orchestratoren verwenden, um Compute-Instanzen, Pods oder Container in Ihrem Cluster hinzuzufügen oder zu entfernen, wenn sich der Bedarf an Rechenleistung ändert.
Weitere Informationen finden Sie unter AI Hypercomputer – Übersicht.