I cluster di addestramento di Gemini Enterprise Agent Platform utilizzano Simple Linux Utility for Resource Management (Slurm) come orchestratore per la gestione e la pianificazione dei job sul cluster.
Slurm è un sistema di gestione dei cluster e pianificazione dei job open source ampiamente utilizzato, noto per la sua scalabilità e tolleranza di errore.
Funzionalità principali di Slurm
- Slurm assegna un insieme di nodi di computing per l'uso esclusivo di un job specifico per un periodo definito. In questo modo, un job ha accesso dedicato alle risorse necessarie per l'esecuzione senza interferenze.
- Slurm fornisce un framework per la gestione dell'intero ciclo di vita di un job, dall'invio e l'esecuzione al monitoraggio e al completamento. Questo sistema è progettato specificamente per gestire job paralleli eseguiti su un insieme di nodi allocati.
- Slurm gestisce una coda di job in attesa, utilizzando un sofisticato motore di definizione delle priorità per arbitrare l'accesso alle risorse di computing. Considerando fattori come le dimensioni del job, la priorità dell'utente e il tempo di attesa, questo sistema garantisce un utilizzo equo ed efficiente delle risorse nel cluster.
Configurazione di base del cluster
Prima di poter eseguire i job, devi definire la struttura fondamentale del tuo cluster Slurm. Questa sezione descrive in dettaglio le impostazioni di configurazione essenziali, tra cui come organizzare i nodi di computing in partizioni, specificare un pool di nodi di accesso dedicato e configurare una home directory condivisa per gli utenti.
Partizioni
Le partizioni raggruppano i nodi in insiemi logici, che possono essere utili per gestire
diversi tipi di macchine o livelli di accesso. Sono definiti come un elenco all'interno del campo partitions di slurm_spec.
Ogni oggetto Partition ha i seguenti campi obbligatori:
id: un identificatore univoco per la partizione.node_pool_ids: un elenco contenente gli ID di uno o più node pool che appartengono a questa partizione.
Ad esempio:
"partitions": [
{
"id": "a4",
"node_pool_ids": [ "a4" ]
}
]
I job inviati senza --partition vengono eseguiti sulla partizione predefinita. Per specificare la partizione predefinita, imposta default_partition_id in slurm_spec su id di una delle tue partizioni. Se non la imposti, la prima partizione nell'elenco è quella predefinita.
Nodi di accesso
Il pool di nodi di accesso fornisce nodi dedicati che fungono da punto di accesso principale per consentire agli utenti di interagire con il cluster. Il campo login_node_pool_id specifica l'identificatore univoco di questo pool.
Ad esempio:
"login_node_pool_id": "login"
Spazio di archiviazione della home directory
Il campo home_directory_storage specifica l'istanza Filestore da montare come directory /home su tutti i nodi del cluster. In questo modo, viene fornita una home directory condivisa e permanente per tutti gli utenti.
Per questo valore devi fornire il nome completo della risorsa dell'istanza Filestore.
Ad esempio:
"home_directory_storage": "projects/PROJECT_ID/locations/REGION-ZONE/instances/FILESTORE_INSTANCE_NAME"
Versione del controller Slurm
Il campo facoltativo controller_version specifica la versione di Slurm utilizzata dal nodo controller del cluster. I valori supportati sono "26.05" e "25.05". Se non viene impostato, i nuovi cluster utilizzano "26.05" per impostazione predefinita. Non puoi modificare la versione del controller Slurm dopo aver creato un cluster.
Ad esempio:
"controller_version": "25.05"
Configurazione avanzata di Slurm
I cluster di addestramento di Gemini Enterprise Agent Platform ti consentono di impostare i parametri slurm.conf e di modificarli su un cluster in esecuzione. Consulta
Configmap di Slurm.
Contabilità, prerilascio e priorità
La contabilità Slurm è abilitata su ogni cluster, in modo da poter monitorare l'utilizzo delle risorse per job, come il tempo di CPU e la memoria. Puoi anche applicare limiti di contabilità, ponderare la priorità dei job e attivare il prerilascio tramite config, come nella specifica del cluster di esempio. Per informazioni su come funzionano, consulta la documentazione di Slurm su accounting, plug-in di priorità multifattore e prerilascio.
Script di prologo ed epilogo
Puoi configurare script Bash personalizzati da eseguire automaticamente all'inizio (prologo) e alla fine (epilogo) di ogni job utilizzando i seguenti campi:
prolog_bash_scripts: un elenco di stringhe, in cui ogni stringa contiene i contenuti completi di uno script Bash da eseguire prima dell'inizio del job.epilog_bash_scripts: un elenco di stringhe, in cui ogni stringa contiene i contenuti completi di uno script Bash da eseguire dopo il completamento del job.
Questo è utile per configurare un ambiente di job univoco o eseguire attività di pulizia automatizzate.
Esempio di specifica del cluster
L'esempio seguente mostra una configurazione JSON per la creazione di un cluster di addestramento. Puoi adattare questa specifica alle tue esigenze.
{ // ... other cluster configurations ... "orchestratorSpec": { "slurmSpec": { "partitions": [ { "id": "a4", "node_pool_ids": ["a4"] } ], "login_node_pool_id": "login", "home_directory_storage": "projects/PROJECT_ID/locations/REGION-ZONE/instances/FILESTORE_INSTANCE_ID", "config": { "AccountingStorageEnforce": "associations,limits,qos", "PriorityType": "priority/multifactor", "PriorityWeightAge": "1000", "PriorityWeightFairshare": "10000", "PreemptType": "preempt/partition_prio", "PreemptMode": "REQUEUE", "PreemptExemptTime": "00:10:00" }, "prolog_bash_scripts": [ "#!/bin/bash\necho 'First prolog script running'", "#!/bin/bash\necho 'Second prolog script running'" ], "epilog_bash_scripts": [ "#!/bin/bash\necho 'Epilog script running'" ] // ... other Slurm settings ... } } }
Gestione e operazioni dei cluster
Gestione di un cluster in esecuzione
Una volta creato il cluster con le impostazioni di accounting e prerilascio scelte, puoi utilizzare gli strumenti a riga di comando di Slurm per gestire gli account utente e monitorare la pianificazione dei job.
Gestione dell'account con sacctmgr
Il comando sacctmgr è lo strumento principale per la gestione delle informazioni
su utenti e account nel database Slurm. Ad esempio, per aggiungere un nuovo utente a un account e concedergli l'accesso a una partizione, esegui questo comando:
sudo sacctmgr add User Accounts=<account> Partition=<partition> <user>
Per un elenco completo di tutte le opzioni sacctmgr, consulta la
documentazione ufficiale di Slurm Accounting.
Controllo della priorità dei job
Per controllare i componenti con priorità di ogni job in coda, utilizza l'utilità sprio. Questo è utile per capire perché alcuni job sono pianificati per essere eseguiti prima di altri.
Per informazioni dettagliate sull'utilizzo, consulta la documentazione dell'utilità sprio.
Esempi di prerilascio
La documentazione ufficiale di Slurm fornisce diversi esempi pratici di diverse strategie di prerilascio. Puoi trovarli nella pagina Prerilascio di Slurm.
Passaggi successivi
Di seguito vengono descritti i passaggi finali del ciclo di vita del machine learning: gestione, deployment e monitoraggio dei modelli addestrati.
- Esegui il deployment del modello per l'inferenza: esegui il deployment del modello addestrato su un endpoint di Gemini Enterprise Agent Platform per gestire le richieste di inferenza online su larga scala.
- Gestisci il ciclo di vita del tuo modello: utilizza Model Registry di Gemini Enterprise Agent Platform per creare versioni, confrontare e gestire i tuoi modelli. Una pipeline può essere configurata per registrare automaticamente un nuovo modello dopo un addestramento riuscito.
- Monitora le esecuzioni della pipeline e le prestazioni del modello:
- Monitoraggio della pipeline: monitora il grafico di esecuzione, gli artefatti e le prestazioni delle esecuzioni della pipeline per eseguire il debug dei problemi e ottimizzare l'orchestrazione.
- Monitoraggio dei modelli di Gemini Enterprise Agent Platform: dopo il deployment, configura il monitoraggio per rilevare deviazioni e anomalie nelle prestazioni di previsione del modello, in modo da mantenerne l'accuratezza nel tempo.
- Ottimizza i costi e gestisci il ciclo di vita del cluster: quando utilizzi pipeline automatizzate, gestisci il ciclo di vita del cluster considerando la frequenza di esecuzione.
- Per le esecuzioni non frequenti, aggiungi un passaggio finale della pipeline per eliminare il cluster e risparmiare sui costi. In genere, questo comporta la creazione di un componente della pipeline personalizzato che chiama la funzione di eliminazione.
- Per esecuzioni frequenti, lascia il cluster attivo per ridurre il tempo di avvio del job.