Crea un cluster Slurm completamente gestito per i carichi di lavoro di AI

Questo documento spiega come configurare ed eseguire il deployment di un cluster Slurm completamente gestito che utilizza i tipi di macchine A4X, A4, A3 Ultra, A3 Mega o A3 High. Per saperne di più su questi tipi di macchine ottimizzate per l'acceleratore, consulta Tipi di macchine GPU.

I passaggi descritti in questo documento mostrano come creare un cluster Slurm utilizzando Cluster Director. Cluster Director è un prodotto Google Cloud che automatizza la configurazione e l'impostazione dei cluster Slurm. È progettato per amministratori IT e ricercatori di AI che vogliono evitare l'overhead della gestione di un cluster e concentrarsi sull'esecuzione dei workload. Se vuoi avere un maggiore controllo sul deployment e sulla gestione del cluster, crealo utilizzando Cluster Toolkit.

Limitazioni

A seconda del tipo di macchina utilizzato dalle istanze Compute Engine nel cluster, si applicano le seguenti limitazioni:

A4X

A4

  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A4.
  • Puoi utilizzare un tipo di macchina A4 solo in alcune regioni e zone.
  • Non puoi utilizzare Persistent Disk (a livello di regione o di zona). Puoi utilizzare solo Google Cloud Hyperdisk.
  • Il tipo di macchina A4 è disponibile solo sulla piattaforma CPU Emerald Rapids.
  • Non puoi modificare il tipo di macchina di un'istanza in o da un tipo di macchina A4. Devi creare una nuova istanza con questo tipo di macchina.
  • I tipi di macchine A4 non supportano la modalità single-tenancy.
  • Non puoi eseguire sistemi operativi Windows su un tipo di macchina A4.
  • Per le istanze A4, quando utilizzi ethtool -S per monitorare il networking GPU, i contatori delle porte fisiche che terminano con _phy non vengono aggiornati. Si tratta di un comportamento previsto per le istanze che utilizzano l'architettura della funzione virtuale (VF) MRDMA. Per saperne di più, consulta Funzioni MRDMA e strumenti di monitoraggio della rete.
  • Non puoi collegare dischi Hyperdisk ML creati prima del 4 febbraio 2026 ai tipi di macchina A4.

A3 Ultra

  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A3 Ultra.
  • Puoi utilizzare un tipo di macchina A3 Ultra solo in alcune regioni e zone.
  • Non puoi utilizzare Persistent Disk (a livello di regione o di zona). Puoi utilizzare solo Google Cloud Hyperdisk.
  • Il tipo di macchina A3 Ultra è disponibile solo sulla piattaforma CPU Emerald Rapids.
  • Le modifiche al tipo di macchina non sono supportate per il tipo di macchina A3 Ultra. Per passare a questo tipo di macchina o viceversa, devi creare una nuova istanza.
  • Non puoi eseguire sistemi operativi Windows su un tipo di macchina A3 Ultra.
  • I tipi di macchine A3 Ultra non supportano la modalità single-tenancy.
  • Per le istanze A3 Ultra, quando utilizzi ethtool -S per monitorare il networking GPU, i contatori delle porte fisiche che terminano con _phy non vengono aggiornati. Questo è il comportamento previsto per le istanze che utilizzano l'architettura della funzione virtuale (VF) MRDMA. Per saperne di più, consulta Funzioni MRDMA e strumenti di monitoraggio della rete.

A3 Mega

A3 High

  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A3 High.
  • Puoi utilizzare un tipo di macchina A3 High solo in alcune regioni e zone.
  • Non puoi utilizzare i Persistent Disk a livello di regione su un'istanza che utilizza un tipo di macchina A3 High.
  • Il tipo di macchina A3 High è disponibile solo sulla piattaforma CPU Sapphire Rapids.
  • Le modifiche al tipo di macchina non sono supportate per il tipo di macchina A3 High. Per passare a questo tipo di macchina o viceversa, devi creare una nuova istanza.
  • Non puoi eseguire sistemi operativi Windows su un tipo di macchina A3 High.
  • Puoi utilizzare solo a3-highgpu-8g. I tipi di macchine A3 High con meno di 8 GPU non sono supportati.

Prima di iniziare

Prima di creare un cluster Slurm, se non l'hai ancora fatto, completa i seguenti passaggi:

  1. Scegli un'opzione di consumo: l'opzione di consumo scelta determina come ottenere e utilizzare le risorse GPU. Per saperne di più, consulta Scegliere un'opzione di consumo.
  2. Ottenere capacità: la procedura per ottenere capacità varia a seconda dell'opzione di consumo. Per scoprire di più sulla procedura per ottenere la capacità per l'opzione di consumo scelta, consulta Panoramica della capacità.
  3. Verifica di disporre di una quota di capacità Filestore sufficiente: devi disporre di una quota Filestore sufficiente nella regione di destinazione prima del deployment. La capacità minima richiesta dipende dai tipi di macchina nel cluster:
    • A4X Max, A4X, A4, A3 Ultra e A3 Mega: richiedono un minimo di 10 TiB (10.240 GiB) di capacità HIGH_SCALE_SSD (zonale).
    • A3 High: richiede un minimo di 2,5 TiB (2560 GiB) di capacità BASIC_SSD (standard).

    Per controllare la quota o richiedere un aumento della quota, consulta quanto segue:

  4. Verifica la policy per immagini attendibili: se l'organizzazione in cui esiste il tuo progetto ha una criteri per l'utilizzo di immagini attendibili (constraints/compute.trustedImageProjects), verifica che il progetto clusterdirector-public-images sia incluso nell'elenco dei progetti consentiti. Per saperne di più, consulta Configurazione delle policy per immagini attendibili.

Ruoli obbligatori

Per creare un cluster Slurm, devi disporre dei seguenti ruoli e autorizzazioni IAM:

Crea un cluster Slurm

Per creare un cluster ottimizzato per l'AI utilizzando Cluster Director, completa i seguenti passaggi:

  1. Configurare le configurazioni delle risorse di computing

  2. Configura la rete

  3. Configura le risorse di archiviazione

  4. Configura l'ambiente Slurm

Configura le configurazioni delle risorse di calcolo

Per configurare le configurazioni delle risorse di calcolo durante la creazione di un cluster, completa i seguenti passaggi:

  1. Nella console Google Cloud , vai alla pagina Cluster Director.

    Vai a Cluster Director

  2. Fai clic su Crea cluster.

  3. Nella finestra di dialogo visualizzata, fai clic su Architettura di riferimento. Viene visualizzata la pagina Crea un cluster.

  4. Fai clic su uno dei modelli disponibili. Se vuoi, puoi modificare il modello per adattarlo alle esigenze del tuo workload.

  5. Fai clic su Personalizza.

  6. Nella sezione Compute, nel campo Nome cluster, inserisci un nome per il cluster. Il nome può contenere fino a 10 caratteri e può utilizzare solo numeri o lettere minuscole (a-z).

  7. Per aggiungere informazioni alla configurazione preconfigurata delle risorse di calcolo o modificare il numero e il tipo di istanze di computing specificati dalle configurazioni, svolgi le seguenti operazioni:

    1. Nella sezione Compute, fai clic su Modifica configurazione risorse. Viene visualizzato il riquadro Aggiungi configurazione delle risorse.

    2. (Facoltativo) Per modificare il nome della configurazione della risorsa di calcolo, inserisci un nuovo nome nel campo Nome.

    3. (Facoltativo) Per modificare il numero e il tipo di istanze di computing utilizzate dal cluster, nella sezione Configurazione macchina, segui le istruzioni per aggiornare le risorse di computing.

    4. Nella sezione Opzioni di consumo, specifica l'opzione di consumo che vuoi utilizzare per ottenere le risorse:

      • Per creare istanze di computing utilizzando una prenotazione, segui questi passaggi:

        1. Fai clic sulla scheda Utilizza prenotazione.

        2. Fai clic su Seleziona prenotazione. Viene visualizzato il riquadro Scegli una prenotazione. Se vuoi utilizzare una prenotazione di VM A4X, puoi scegliere facoltativamente il blocco o il sottoblocco per controllare il posizionamento delle VM.

        3. Seleziona la prenotazione che vuoi utilizzare. Poi, fai clic su Scegli. Questa azione imposta automaticamente la regione e la zona delle risorse di computing.

      • Per creare VM Flex-start, segui questi passaggi:

        1. Fai clic sulla scheda Avvio flessibile.

        2. Nella sezione Limite di tempo per la VM, specifica la durata di esecuzione delle istanze di computing. Il valore deve essere compreso tra 10 minuti e 7 giorni.

        3. Nella sezione Località, seleziona la regione in cui vuoi creare le VM con avvio flessibile. La consoleGoogle Cloud filtra automaticamente le regioni disponibili in modo da mostrare solo quelle che supportano le VM con avvio flessibile per il tipo di macchina selezionato.

      • Per creare VM spot:

        1. Fai clic sulla scheda Usa spot.

        2. Nell'elenco Alla terminazione della VM, seleziona una delle seguenti opzioni:

          • Per eliminare le VM spot durante il prerilascio, seleziona Elimina.

          • Per arrestare le VM spot durante il prerilascio, seleziona Arresta.

        3. Nella sezione Località, seleziona la Regione e la Zona in cui vuoi creare le VM spot. La consoleGoogle Cloud filtra automaticamente le regioni disponibili in modo da mostrare solo quelle che supportano le VM spot per il tipo di macchina selezionato.

    5. Fai clic su Fine.

    6. (Facoltativo) Per creare configurazioni di risorse di calcolo aggiuntive per una partizione, fai clic su Aggiungi configurazione risorsa, quindi segui le istruzioni per specificare le risorse di calcolo.

  8. Fai clic su Continua.

Configura la rete

Per configurare la rete utilizzata dal cluster, completa i seguenti passaggi:

  1. Nella sezione Scegli una rete Virtual Private Cloud (VPC), esegui una delle seguenti operazioni:

    • Consigliato: per consentire ad AI Hypercomputer di creare automaticamente una rete VPC preconfigurata per il tuo cluster, procedi nel seguente modo:

      1. Seleziona Crea una nuova rete VPC.

      2. Nel campo Nome rete, inserisci un nome per la rete VPC.

    • Per utilizzare una rete VPC o VPC condiviso esistente, procedi nel seguente modo:

      1. Seleziona Utilizza una rete VPC nel progetto attuale o Utilizza una rete VPC condiviso ospitata in un altro progetto.

      2. Nell'elenco Seleziona rete VPC o Rete VPC condivisa, seleziona una rete VPC o VPC condiviso che soddisfi le configurazioni richieste.

      3. Nell'elenco Seleziona subnet, seleziona una subnet esistente.

  2. Fai clic su Continua.

Configura le risorse di archiviazione

Per configurare le risorse di archiviazione utilizzate dal cluster, nella sezione Archiviazione, completa i seguenti passaggi:

  1. (Facoltativo) Per modificare una risorsa di archiviazione, fai clic su Modifica piano di archiviazione, quindi segui le istruzioni per aggiornare la configurazione della risorsa di archiviazione.

  2. (Facoltativo) Per aggiungere risorse di archiviazione al cluster, fai clic su Aggiungi configurazione dell'archiviazione e poi segui le istruzioni per specificare la configurazione delle risorse di archiviazione.

  3. Fai clic su Continua.

Configura l'ambiente Slurm

Per configurare l'ambiente Slurm nel cluster, completa i seguenti passaggi:

  1. (Facoltativo) Per modificare il numero e il tipo di istanze di calcolo utilizzate dal nodo di accesso, espandi la sezione Nodo di accesso e segui le istruzioni per aggiornare le risorse di calcolo.

  2. (Facoltativo) Per modificare le partizioni del cluster per organizzare le risorse di calcolo, espandi la sezione Partizioni e poi segui una di queste operazioni:

    • Per aggiungere una partizione, fai clic su Aggiungi partizione e poi procedi nel seguente modo:

      1. Nel campo Nome partizione, inserisci un nome per la partizione.

      2. Per modificare un insieme di nodi, fai clic su Attiva/disattiva insieme di nodi. In caso contrario, per aggiungere un nodeset, fai clic su Aggiungi nodeset.

      3. Nel campo Nome del set di nodi, inserisci un nome per il set di nodi.

      4. Nel campo Configurazione risorse, seleziona una configurazione di risorse di calcolo che hai creato nei passaggi precedenti.

      5. Nell'elenco Immagine di origine, seleziona una delle immagini del sistema operativo supportate per AI Hypercomputer.

      6. Nel campo Numero di nodi statici, inserisci il numero minimo di istanze di calcolo che devono essere sempre in esecuzione nel cluster.

      7. Nel campo Numero di nodi dinamico, inserisci un numero massimo di istanze di calcolo a cui AI Hypercomputer può aumentare il cluster durante gli aumenti di traffico.

      8. Nell'elenco Tipo di disco di avvio e nel campo Dimensione del disco di avvio, inserisci il tipo e le dimensioni del disco di avvio da utilizzare per le istanze di Compute.

      9. Fai clic su Fine.

    • Per rimuovere una partizione, fai clic su Elimina partizione.

  3. (Facoltativo) Per aggiungere script di prologo o epilogo al tuo ambiente Slurm:

    1. Espandi la sezione Impostazioni di orchestrazione avanzate.

    2. Nella sezione Script, segui le istruzioni per aggiungere script.

  4. Fai clic su Crea. Viene visualizzata la pagina Cluster. La creazione del cluster può richiedere un po' di tempo. Il tempo di completamento dipende dal numero di istanze di computing richieste e dalla disponibilità delle risorse nella zona delle istanze di computing. Se le risorse richieste non sono disponibili, AI Hypercomputer mantiene attiva la richiesta di creazione fino a quando non diventano disponibili. Per visualizzare lo stato dell'operazione di creazione del cluster, visualizza i dettagli del cluster.

Connettiti al cluster Slurm

Quando AI Hypercomputer crea il nodo di accesso, lo stato del cluster cambia in Pronto. Puoi quindi connetterti al cluster, ma puoi eseguire i carichi di lavoro solo dopo che AI Hypercomputer crea i nodi di calcolo nel cluster.

Per connetterti al nodo di accesso di un cluster tramite SSH utilizzando la consoleGoogle Cloud , completa i seguenti passaggi:

  1. Nella console Google Cloud , vai alla pagina Cluster.

    Vai a Cluster

  2. Nella tabella Cluster, nella colonna Nome, fai clic sul nome del cluster che hai creato nella sezione precedente. Viene visualizzata una pagina con i dettagli del cluster e viene selezionata la scheda Dettagli.

  3. Fai clic sulla scheda Nodi.

  4. Nella sezione Nodi di accesso, nella colonna Connetti, individua il nodo di accesso del cluster, il cui nome è CLUSTER_NAME-login-001.

  5. Nella colonna Connetti del nodo di accesso, fai clic sul pulsante SSH. Si apre la finestra SSH nel browser.

  6. Se richiesto, fai clic su Autorizza. La connessione al nodo può richiedere fino a un minuto.

Verifica l'integrità del cluster Slurm

Prima di eseguire un job su un nodo di calcolo, Slurm esegue automaticamente un rapido controllo di integrità della GPU sul nodo. Se il nodo non supera il controllo, Slurm lo svuota e impedisce la pianificazione di nuovi job.

Per testare in modo più approfondito l'integrità della GPU e la larghezza di banda di rete nei nodi di calcolo di una partizione del cluster, puoi eseguire manualmente i test NVIDIA Collective Communications Library (NCCL). Se un test NCCL identifica nodi non integri, puoi ripararli o modificare il cluster. I test NCCL ti aiutano a verificare l'integrità di un cluster prima di eseguire carichi di lavoro critici. Per saperne di più, consulta Verificare l'integrità del cluster.

Elimina il cluster Slurm

Per eliminare un cluster Slurm nel tuo progetto, seleziona una delle seguenti opzioni:

  1. Nella console Google Cloud , vai alla pagina Cluster.

    Vai a Cluster

  2. Nella tabella Cluster, nella colonna Nome, fai clic sul nome del cluster che vuoi eliminare. Viene visualizzata una pagina con i dettagli del cluster e viene selezionata la scheda Dettagli.

  3. Fai clic su Elimina.

  4. Nella finestra di dialogo visualizzata, inserisci il nome del cluster e fai clic su Elimina per confermare. Viene visualizzata la pagina Cluster. L'eliminazione del cluster potrebbe richiedere del tempo.

Passaggi successivi