Questo documento ti aiuta a comprendere i vantaggi, il modello di responsabilità condivisa e le opzioni di combinazione dei carichi di lavoro per il deployment e la gestione dei cluster Slurm su Google Kubernetes Engine (GKE).
Slurm è un Workload Manager e uno scheduler di job open source altamente scalabile per carichi di lavoro di intelligenza artificiale (AI), machine learning (ML) e computing ad alte prestazioni (HPC). L'esecuzione di Slurm su GKE integra l'interfaccia Slurm per i job batch con la scalabilità e la gestione dinamica delle risorse di GKE.
Questo documento è destinato agli ingegneri di piattaforma che vogliono eseguire il deployment e configurare i cluster Slurm con il componente aggiuntivo Slurm Operator per GKE e condividere le risorse di calcolo tra i carichi di lavoro Slurm e Kubernetes.
Perché utilizzare Slurm su GKE
L'esecuzione di Slurm su GKE consente di configurare ambienti in cui i job di addestramento Slurm possono essere eseguiti in parallelo con altri carichi di lavoro Kubernetes, come l'inferenza o la gestione, nello stesso pool di nodi condiviso.
Il componente aggiuntivo Slurm Operator per GKE offre un'installazione gestita di Slinky Slurm Operator open source che segue le best practice di Google. Il componente aggiuntivo Slurm Operator per GKE ti aiuta a creare piattaforme personalizzate che eseguono carichi di lavoro di intelligenza artificiale (AI), machine learning (ML) e HPC su macchine ottimizzate per acceleratori e ottimizzate per il calcolo, con il controllo completo delle configurazioni Slurm e dei container personalizzati.
Il componente aggiuntivo Slurm Operator per GKE offre i seguenti vantaggi:
- Infrastruttura unificata: puoi gestire un singolo cluster GKE sia per i job batch HPC sia per i microservizi. In questo modo si riducono i silos operativi.
- Scalabilità efficiente: il componente aggiuntivo Slurm Operator per GKE utilizza il provisioning rapido dei nodi e il bin-packing efficiente di GKE per ottimizzare l'utilizzo delle risorse.
- Hardware ad alte prestazioni: puoi accedere agli acceleratori più recenti di Google Cloud, come TPU e GPU, utilizzando i comandi Slurm.
Informazioni sul livello dell'infrastruttura
In genere, Slurm viene eseguito il deployment direttamente su server bare metal o VM. In queste configurazioni, Slurm presuppone un insieme di nodi relativamente statico che gestisce per la durata del suo ciclo di vita.
GKE, d'altra parte, è un servizio gestito che nasconde le VM sottostanti presentandole come nodi in un pool dinamico. GKE gestisce automaticamente la pianificazione e la scalabilità di questi nodi.
Con il componente aggiuntivo Slurm Operator per GKE, Slurm viene eseguito come carico di lavoro su GKE. In questo modello, GKE e Slurm forniscono le seguenti funzionalità:
- GKE come gestore dell'infrastruttura: GKE fornisce e gestisce i nodi, il networking e la sicurezza sottostanti.
- Slurm come Workload Manager: Slurm fornisce l'interfaccia per consentire agli utenti di inviare e gestire i job batch.
Questa convergenza crea uno stack eterogeneo in cui i job Slurm possono condividere lo stesso hardware sottostante (come GPU e TPU) con le applicazioni Kubernetes, come l'inferenza o la gestione.
Come funziona il componente aggiuntivo Slurm Operator
Quando abiliti il componente aggiuntivo Slurm Operator per GKE nei cluster GKE, GKE esegue i seguenti passaggi:
- GKE installa e ospita Slurm Operator. Questo operatore viene eseguito nel piano di controllo GKE e gestisce il ciclo di vita dei componenti Slurm di cui è stato eseguito il deployment nel cluster. Questo operatore gestisce automaticamente i prerequisiti, come la generazione di certificati e la gestione delle risorse personalizzate.
- Una volta eseguito l'operatore, definisci la topologia del cluster Slurm utilizzando le risorse personalizzate di Kubernetes.
- L'operatore esegue il deployment dei pod necessari (come controller, accesso e worker) in base alle specifiche del carico di lavoro.
Risorse personalizzate
Il componente aggiuntivo Slurm Operator per GKE utilizza le seguenti risorse personalizzate per gestire il cluster Slurm:
- NodeSet: definisce un insieme di nodi worker omogenei. Puoi mappare i worker Slurm a node pool o tipi di hardware GKE specifici. Ad esempio, puoi creare un NodeSet per le GPU H100 e un altro per le TPU.
- Controller: esegue il deployment e gestisce il componente del controller Slurm (
slurmctld), che orchestra lo stato del cluster, le partizioni e la pianificazione dei job. - LoginSet: definisce i nodi di accesso in cui gli utenti accedono per inviare i job.
- Restapi: esegue il deployment del componente
slurmrestd, che fornisce un'interfaccia API REST al cluster Slurm. - Accounting: se configurato, esegue il deployment del componente
slurmdbdper gestire la contabilità dei job e il monitoraggio dell'utilizzo, in genere connesso a un database Cloud SQL.
Responsabilità condivise del componente aggiuntivo Slurm Operator
Quando scegli di eseguire Slurm su GKE con il componente aggiuntivo Slurm Operator per GKE, Google Cloud e condividi le responsabilità. Questa integrazione ti offre la flessibilità di personalizzare l'ambiente, mentre Google gestisce il livello di orchestrazione.
Responsabilità di Google
- Ciclo di vita dell'operatore: installa e gestisci Slurm Operator e il relativo webhook nel piano di controllo GKE.
- Piano di controllo GKE: gestisci l'affidabilità e l'uptime del piano di controllo GKE.
- CustomResourceDefinition di Kubernetes: installa e gestisci le CustomResourceDefinitions richieste per Slurm.
- Immagini di base: fornisci immagini container ottimizzate di proprietà di Google per i componenti Slurm. L'utilizzo di queste immagini è facoltativo. Quando configuri il cluster Slurm, puoi utilizzare queste immagini fornite da Google o utilizzare le tue immagini.
Responsabilità del cliente
- Configurazione Slurm: definisci la topologia, le partizioni, i limiti e i plug-in del cluster Slurm utilizzando i valori Helm e i file YAML.
- Invio dei job: gestisci l'accesso degli utenti e i flussi di lavoro di invio dei job.
- Immagini personalizzate: gestisci le immagini container personalizzate utilizzate per i nodi di accesso o worker se le immagini predefinite di Google non soddisfano requisiti specifici.
- Dipendenze esterne: gestisci le risorse esterne, come Cloud SQL per la contabilità o Filestore per lo spazio di archiviazione condiviso.
Per ulteriori informazioni, consulta Responsabilità condivisa di GKE.
Combinazione dei carichi di lavoro su GKE
La combinazione dei carichi di lavoro consente di condividere dinamicamente le risorse di calcolo GKE, come GPU, TPU e CPU, tra i job batch Slurm e i carichi di lavoro Kubernetes non Slurm (come l'inferenza o la gestione) nello stesso cluster. Anziché gestire node pool separati e partizionati staticamente per Slurm e Kubernetes, puoi ottimizzare l'utilizzo di acceleratori e calcolo riassegnando dinamicamente la capacità del cluster in base alla domanda e alla priorità del carico di lavoro.
A seconda del modello di pianificazione e dei requisiti della piattaforma, puoi implementare la combinazione dei carichi di lavoro su GKE utilizzando Slurm Bridge o K8s Bridge.
Slurm Bridge
Slurm Bridge è un plug-in dello scheduler open source del progetto Slinky che utilizza Slurm come scheduler principale per le risorse condivise. Quando invii carichi di lavoro Kubernetes a uno spazio dei nomi configurato, Slurm Bridge intercetta i pod, li registra come job esterni in Slurm e li associa ai nodi GKE dopo che Slurm ha allocato la capacità richiesta.
Utilizza Slurm Bridge se il tuo caso d'uso soddisfa le seguenti condizioni:
- Gestisci un ambiente Slurm-first con node pool dedicati o statici.
- Vuoi che un singolo scheduler Slurm gestisca tutti i carichi di lavoro.
- Ti affidi alle funzionalità di pianificazione di Slurm, come la priorità a più fattori, la pianificazione fair-share, la pianificazione di backfill e la sospensione dei job.
Per ulteriori informazioni, consulta la documentazione di Slurm Bridge.
K8s Bridge
K8s Bridge è un controller Kubernetes
open source sviluppato da Google che utilizza
Kueue come controller di ammissione centrale
per i carichi di lavoro Slurm e Kubernetes. Con K8s Bridge, puoi inviare job batch e interattivi utilizzando i comandi Slurm standard (come sbatch, salloc e srun) senza dover imparare concetti Kubernetes approfonditi. Quando un job viene inviato a una partizione Slurm configurata, K8s Bridge lo traduce in un carico di lavoro Kubernetes gestito da Kueue, esegue il provisioning dei pod worker dedicati nel pool di nodi condiviso dopo che Kueue ha ammesso il job e rilascia le risorse al termine del job.
Poiché K8s Bridge è configurato per partizione Slurm, puoi anche combinare partizioni dedicate solo a Slurm e partizioni condivise all'interno dello stesso cluster.
Oltre alla combinazione dinamica dei carichi di lavoro, K8s Bridge estende il componente aggiuntivo Slurm Operator con i seguenti vantaggi di GKE:
- Quote, priorità e precedenza bidirezionale unificate: gestisci centralmente le quote multi-tenant, la condivisione equa e le priorità in Kueue. I carichi di lavoro Kubernetes con priorità elevata (come i servizi di inferenza di scalabilità) possono avere la precedenza sui job Slurm con priorità inferiore con la rimessa in coda automatica. Al contrario, i job Slurm con priorità elevata possono anche avere la precedenza sui carichi di lavoro Kubernetes con priorità inferiore.
- Scalabilità automatica basata su code e all-or-nothing: abilita la scalabilità automatica basata su code, consapevole della topologia e dei carichi di lavoro con GKE Cluster Autoscaler, incluso il supporto per il provisioning all-or-nothing con avvio flessibile. Puoi eseguire automaticamente il provisioning dei nodi quando i job vengono messi in coda e fare lo scale down a zero quando sono inattivi.
- Fungibilità e disponibilità delle risorse: migliora la flessibilità,
l'efficienza e la disponibilità della capacità di calcolo tra i tipi di macchine e le
opzioni di consumo (prenotazioni, VM spot e
avvio flessibile) utilizzando
ComputeClasses
e gli oggetti Kueue
ResourceFlavor, nonché la disponibilità multi-regione e multi-cluster con MultiKueue. - Personalizzazione di pod e sidecar per job: personalizza i modelli di pod worker per partizione Slurm per configurare immagini container, memoria condivisa, montaggi di archiviazione (come Filestore, Managed Lustre o Cloud Storage FUSE) e container sidecar isolati per job.
- Osservabilità GKE unificata: centralizza la visibilità dei carichi di lavoro Slurm e Kubernetes e delle risorse del cluster nella Google Cloud console, in Cloud Logging e in Cloud Monitoring, mantenendo i job Slurm visibili in Slurm.
Passaggi successivi
Per iniziare a utilizzare il componente aggiuntivo Slurm Operator per GKE:
- Scopri come eseguire il deployment di un cluster Slurm su GKE.
- Scopri come abilitare il componente aggiuntivo Slurm Operator.