Slurm in GKE

In diesem Dokument erfahren Sie mehr über die Vorteile, das Modell der gemeinsamen Verantwortung und die Optionen für die Arbeitslastmischung bei der Bereitstellung und Verwaltung von Slurm-Clustern in der Google Kubernetes Engine (GKE).

Slurm ist ein hochgradig skalierbarer, Open-Source-Workload Manager und Jobplaner für Arbeitslasten aus den Bereichen künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing (HPC). Wenn Sie Slurm in GKE ausführen, wird die Slurm-Schnittstelle für Batchjobs in die Skalierbarkeit und das dynamische Ressourcenmanagement von GKE eingebunden.

Dieses Dokument richtet sich an Plattformtechniker, die Slurm-Cluster mit dem Slurm Operator-Add-on für GKE bereitstellen und konfigurieren und Rechenressourcen für Slurm- und Kubernetes-Arbeitslasten freigeben möchten.

Vorteile von Slurm in GKE

Wenn Sie Slurm in GKE ausführen, können Sie Umgebungen einrichten, in denen Slurm-Trainingsjobs parallel zu anderen Kubernetes-Arbeitslasten wie Inferenz oder Bereitstellung im selben freigegebenen Knotenpool ausgeführt werden können.

Das Slurm Operator-Add-on für GKE bietet eine verwaltete Installation des Open-Source- Slurm-Operators Slinky, der den Best Practices von Google folgt. Mit dem Slurm Operator-Add-on für GKE können Sie benutzerdefinierte Plattformen erstellen, auf denen Arbeitslasten aus den Bereichen künstliche Intelligenz (KI), maschinelles Lernen (ML) und HPC auf beschleuniger- und computingoptimierten Maschinen ausgeführt werden. Dabei haben Sie die vollständige Kontrolle über Slurm-Konfigurationen und benutzerdefinierte Container.

Das Slurm Operator-Add-on für GKE bietet folgende Vorteile:

  • Einheitliche Infrastruktur:Sie können einen einzelnen GKE-Cluster sowohl für HPC-Batchjobs als auch für Mikrodienste verwalten. Dadurch werden betriebliche Silos reduziert.
  • Effiziente Skalierung:Das Slurm Operator-Add-on für GKE nutzt die schnelle Knotenbereitstellung und das effiziente Bin-Packing von GKE, um die Ressourcennutzung zu optimieren.
  • Leistungsstarke Hardware: Sie können mit Slurm-Befehlen auf die neuesten Beschleuniger von Google CloudGoogle Cloud zugreifen, z. B. TPUs und GPUs.

Infrastrukturebene

Normalerweise wird Slurm direkt auf Bare-Metal-Servern oder VMs bereitgestellt. In diesen Setups geht Slurm von einer relativ statischen Gruppe von Knoten aus, die während des gesamten Lebenszyklus verwaltet werden.

GKE hingegen ist ein verwalteter Dienst, der die zugrunde liegenden VMs abstrahiert, indem er sie als Knoten in einem dynamischen Pool darstellt. GKE übernimmt automatisch die Planung und Skalierung dieser Knoten.

Mit dem Slurm Operator-Add-on für GKE wird Slurm als Arbeitslast in GKE ausgeführt. In diesem Modell bieten GKE und Slurm die folgenden Funktionen:

  • GKE als Infrastrukturmanager:GKE stellt die zugrunde liegenden Knoten, das Netzwerk und die Sicherheit bereit und verwaltet sie.
  • Slurm als Workload Manager:Slurm bietet die Schnittstelle, über die Nutzer Batchjobs senden und verwalten können.

Durch diese Konvergenz entsteht ein heterogener Stack, in dem Slurm-Jobs dieselbe zugrunde liegende Hardware (z. B. GPUs und TPUs) mit Kubernetes-Anwendungen wie Inferenz oder Bereitstellung gemeinsam nutzen können.

Funktionsweise des Slurm Operator-Add-ons

Wenn Sie das Slurm Operator-Add-on für GKE in Ihren GKE-Clustern aktivieren, führt GKE die folgenden Schritte aus:

  1. GKE installiert und hostet den Slurm-Operator. Dieser Operator wird in der GKE-Steuerungsebene ausgeführt und verwaltet den Lebenszyklus der in Ihrem Cluster bereitgestellten Slurm-Komponenten. Dieser Operator verarbeitet automatisch Voraussetzungen wie die Zertifikaterstellung und die Verwaltung benutzerdefinierter Ressourcen.
  2. Nachdem der Operator ausgeführt wird, definieren Sie die Slurm-Clustertopologie mithilfe benutzerdefinierter Kubernetes-Ressourcen.
  3. Der Operator stellt die erforderlichen Pods (z. B. Controller, Anmelde- und Worker-Pods) entsprechend den Spezifikationen Ihrer Arbeitslast bereit.

Benutzerdefinierte Ressourcen

Das Slurm Operator-Add-on für GKE verwendet die folgenden benutzerdefinierten Ressourcen, um den Slurm-Cluster zu verwalten:

  • NodeSet:Definiert eine Gruppe homogener Worker-Knoten. Sie können Slurm-Worker bestimmten GKE-Knotenpools oder Hardwaretypen zuordnen. Sie können beispielsweise ein NodeSet für H100-GPUs und ein weiteres für TPUs erstellen.
  • Controller:Stellt die Slurm-Controllerkomponente (slurmctld) bereit und verwaltet sie, die den Clusterstatus, die Partitionen und die Jobplanung orchestriert.
  • LoginSet:Definiert die Anmeldeknoten, bei denen sich Nutzer anmelden, um Jobs zu senden.
  • Restapi:Stellt die Komponente slurmrestd bereit, die eine REST API-Schnittstelle zum Slurm-Cluster bietet.
  • Accounting:Wenn konfiguriert, wird die Komponente slurmdbd bereitgestellt, um die Jobabrechnung und die Nutzungsnachverfolgung zu verarbeiten. Sie ist in der Regel mit einer Cloud SQL-Datenbank verbunden.

Gemeinsame Verantwortung für das Slurm Operator-Add-on

Wenn Sie Slurm in GKE mit dem Slurm Operator-Add-on für GKE ausführen, Google Cloud teilen Sie sich die gemeinsame Verantwortung. Diese Integration bietet Ihnen die Flexibilität, die Umgebung anzupassen, während Google die Orchestrierungsebene verwaltet.

Verantwortlichkeiten von Google

  • Lebenszyklus des Operators:Installieren und verwalten Sie den Slurm-Operator und seinen Webhook in der GKE-Steuerungsebene.
  • GKE-Steuerungsebene:Verwalten Sie die Zuverlässigkeit und Betriebszeit der GKE-Steuerungsebene.
  • Benutzerdefinierte Kubernetes-Ressourcendefinition:Installieren und verwalten Sie die für Slurm erforderlichen benutzerdefinierten Ressourcendefinitionen.
  • Basis-Images:Stellen Sie optimierte, von Google entwickelte Container-Images für Slurm-Komponenten bereit. Die Verwendung dieser Images ist optional. Wenn Sie Ihren Slurm-Cluster konfigurieren, können Sie diese von Google bereitgestellten Images oder Ihre eigenen Images verwenden.

Verantwortlichkeiten des Kunden

  • Slurm-Konfiguration:Definieren Sie die Slurm-Clustertopologie, Partitionen, Limits und Plug-ins mithilfe von Helm-Werten und YAML-Dateien.
  • Jobübermittlung:Verwalten Sie den Nutzerzugriff und die Workflows für die Jobübermittlung.
  • Benutzerdefinierte Images:Verwalten Sie benutzerdefinierte Container-Images, die für Anmelde- oder Worker-Knoten verwendet werden, wenn die Standard-Images von Google bestimmte Anforderungen nicht erfüllen.
  • Externe Abhängigkeiten:Verwalten Sie externe Ressourcen wie Cloud SQL für die Abrechnung oder Filestore für freigegebenen Speicher.

Weitere Informationen finden Sie unter GKE-Modell der gemeinsamen Verantwortung.

Arbeitslastmischung in GKE

Mit der Arbeitslastmischung können Sie GKE-Rechenressourcen wie GPUs, TPUs und CPUs dynamisch zwischen Slurm-Batchjobs und Kubernetes-Arbeitslasten, die nicht auf Slurm basieren (z. B. Inferenz oder Bereitstellung), im selben Cluster freigeben. Anstatt separate, statisch partitionierte Knotenpools für Slurm und Kubernetes zu verwalten, können Sie die Beschleuniger- und Rechennutzung optimieren, indem Sie die Clusterkapazität dynamisch basierend auf der Arbeitslastnachfrage und -priorität neu zuweisen.

Je nach Planungsmodell und Plattformanforderungen können Sie die Arbeitslastmischung in GKE entweder mit Slurm Bridge oder K8s Bridge implementieren.

Slurm Bridge

Slurm Bridge ist ein Open-Source- Scheduler-Plug-in aus dem Slinky-Projekt, das Slurm als primären Scheduler für freigegebene Ressourcen verwendet. Wenn Sie Kubernetes-Arbeitslasten an einen konfigurierten Namespace senden, fängt Slurm Bridge die Pods ab, registriert sie als externe Jobs in Slurm und bindet die Pods an GKE-Knoten, nachdem Slurm die erforderliche Kapazität zugewiesen hat.

Verwenden Sie Slurm Bridge, wenn Ihr Anwendungsfall die folgenden Bedingungen erfüllt:

  • Sie betreiben eine Slurm-First-Umgebung mit dedizierten oder statischen Knotenpools.
  • Sie möchten, dass ein einzelner Slurm-Scheduler alle Arbeitslasten verwaltet.
  • Sie verlassen sich auf die Slurm-Planungsfunktionen wie die Priorität mit mehreren Faktoren, die Fair-Share-Planung, die Backfill-Planung und die Jobaussetzung.

Weitere Informationen finden Sie in der Slurm Bridge-Dokumentation.

K8s Bridge

K8s Bridge ist ein von Google entwickelter Open-Source-Kubernetes-Controller, der Kueue als zentralen Zugangs-Controller für Slurm- und Kubernetes-Arbeitslasten verwendet. Mit K8s Bridge können Sie Batch- und interaktive Jobs mit Standard-Slurm-Befehlen (z. B. sbatch, salloc und srun) senden, ohne umfassende Kubernetes-Kenntnisse zu benötigen. Wenn ein Job an eine konfigurierte Slurm-Partition gesendet wird, übersetzt K8s Bridge ihn in eine von Kueue verwaltete Kubernetes-Arbeitslast, stellt dedizierte Worker-Pods im freigegebenen Knotenpool bereit, nachdem Kueue den Job zugelassen hat, und gibt die Ressourcen frei, wenn der Job abgeschlossen ist.

Da K8s Bridge pro Slurm-Partition konfiguriert wird, können Sie auch dedizierte reine Slurm-Partitionen und freigegebene Partitionen im selben Cluster kombinieren.

Neben der dynamischen Arbeitslastmischung erweitert K8s Bridge das Slurm Operator-Add-on um die folgenden GKE-Vorteile:

  • Einheitliche Kontingente, Prioritäten und bidirektionales vorzeitiges Beenden:Verwalten Sie Kontingente für mehrere Mandanten, Fair Sharing und Prioritäten zentral in Kueue. Kubernetes-Arbeitslasten mit hoher Priorität (z. B. Skalierung von Inferenzdiensten) können Slurm-Jobs mit niedrigerer Priorität vorzeitig beenden, wobei die Jobs automatisch in die Warteschlange gestellt werden. Umgekehrt können Slurm-Jobs mit hoher Priorität auch Kubernetes-Arbeitslasten mit niedrigerer Priorität vorzeitig beenden.
  • Warteschlangenbasiertes und Alles-oder-Nichts-Autoscaling: Aktivieren Sie das warteschlangenbasierte, topologie- und arbeitslastabhängige Autoscaling mit dem GKE Cluster-Autoscaler, einschließlich Unterstützung für die Alles-oder-Nichts-Bereitstellung mit flexiblem Start. Sie können Knoten automatisch bereitstellen, wenn Jobs in die Warteschlange gestellt werden, und auf null herunterskalieren, wenn sie nicht verwendet werden.
  • Ressourcenfungibilität und -verfügbarkeit: Verbessern Sie die Flexibilität, Effizienz und Verfügbarkeit der Rechenkapazität über Maschinentypen und Nutzungsoptionen (Reservierungen, Spot-VMs und Flex-Start) hinweg mit ComputeClasses und Kueue ResourceFlavor Objekten sowie die multiregionale und Multi-Cluster-Verfügbarkeit mit MultiKueue.
  • Benutzerdefinierte Pods und Sidecars pro Job:Passen Sie Worker-Pod-Vorlagen pro Slurm-Partition an, um Container-Images, freigegebenen Arbeitsspeicher, Speicherbereitstellungen (z. B. Filestore, Managed Lustre oder Cloud Storage FUSE) und isolierte Sidecar-Container pro Job zu konfigurieren.
  • Einheitliche GKE-Beobachtbarkeit: Zentralisieren Sie die Sichtbarkeit von Slurm- und Kubernetes-Arbeitslasten sowie Clusterressourcen in der Google Cloud Console, Cloud Logging und Cloud Monitoring, während Slurm-Jobs in Slurm sichtbar bleiben.

Nächste Schritte

So legen Sie mit dem Slurm Operator-Add-on für GKE los: