Questo documento riassume come creare un cluster per i workload di AI su AI Hypercomputer. In particolare, ti guida attraverso il processo e le scelte da fare quando avvii un cluster. In alternativa alla valutazione manuale, puoi chiedere a Gemini nella Google Cloud console di confrontare le opzioni di consumo per il tuo workload e il tuo budget. Per saperne di più, consulta Progettare l'infrastruttura AI con Compute Advisor.
Questo documento presuppone che tu abbia familiarità con la terminologia di uso comune per i workload di AI e ML, come l'addestramento e l'inferenza dei modelli. Presuppone inoltre che tu abbia identificato il workload di AI specifico per il quale devi determinare il tipo di macchina e le esigenze di capacità ottimali per il deployment, ad esempio il pre-addestramento, l'ottimizzazione o l'inferenza dei foundation model.
Avvia un cluster
L'avvio di un cluster prevede i seguenti passaggi:
- Determina il workload e scegli un tipo di macchina
- Scegli un'opzione di consumo e ottieni la capacità
- Scegli un'opzione di deployment
- Scegli un agente di orchestrazione
- Scegli l'immagine del sistema operativo e del cluster
- Crea il cluster
- Esegui il provisioning dell'archiviazione per il workload
Determina il workload e scegli un tipo di macchina
Seleziona un tipo di macchina per il tuo workload di AI. AI Hypercomputer supporta la creazione di cluster sia per le GPU in cluster sia per le GPU generali.
Per aiutarti a scegliere, determina i requisiti del workload e abbinali al tipo di macchina e al tipo di GPU consigliati:
- GPU in cluster: ideale per workload su larga scala e ad alte prestazioni, come il pre-addestramento dei foundation model, l'ottimizzazione di modelli di grandi dimensioni e l'inferenza su più host.
- GPU generali: ideale per l'inferenza e l'erogazione mainstream, la Retrieval-Augmented Generation (RAG) e l'addestramento e l'ottimizzazione di modelli di piccole e medie dimensioni a costi contenuti.
Per abbinare il workload al tipo di macchina consigliato, utilizza questa tabella:
| Tipo di GPU | Workload o caso d'uso | Tipi di macchine consigliati |
|---|---|---|
| GPU in cluster | Pre-addestramento dei foundation model e inferenza su più host | A4X Max (NVIDIA GB300)*, A4X (NVIDIA GB200)* |
| Addestramento, ottimizzazione e inferenza di modelli di grandi dimensioni | A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141GB) | |
| Inferenza e ottimizzazione di modelli mainstream | A3 Mega (NVIDIA H100 80GB), A3 High (NVIDIA H100 80GB) | |
| GPU generali | Inferenza ed erogazione edge a velocità effettiva elevata | A3 Edge (NVIDIA H100 80GB) |
| Erogazione ad alte prestazioni su un singolo nodo e ottimizzazione su piccola scala | A2 (NVIDIA A100) | |
| Inferenza di livello base con ottimizzazione dei costi | G4 (NVIDIA RTX PRO 6000), N1 (NVIDIA T4 o V100) | |
| Inferenza mainstream, RAG e addestramento di modelli di piccole e medie dimensioni | G2 (NVIDIA L4) |
Per informazioni dettagliate su ogni serie di macchine, consulta Informazioni sugli acceleratori GPU.
Scegli un'opzione di consumo e ottieni la capacità
Seleziona un'opzione di consumo per le risorse GPU in base al tipo di macchina scelto e al fatto che utilizzi GPU generali o GPU in cluster.
Opzioni di consumo per le GPU generali
| Opzione di consumo | Disponibile per | Ideale per | Come richiedere |
|---|---|---|---|
| On demand | Tutte le GPU generali. | Workload che non richiedono capacità garantita. | Crea un'istanza di computing o un cluster e specifica il modello di provisioning standard. Per istruzioni, consulta Creare istanze VM. Suggerimento: per aumentare le probabilità di ottenere la capacità delle GPU generali, utilizza l'avvio flessibile o le VM spot. |
| Prenotazioni standard e prenotazioni future standard | Tutte le GPU generali. | Workload che richiedono capacità garantita immediatamente (prenotazioni standard) o per una data futura specifica (prenotazioni future standard). | Crea una prenotazione on demand o una richiesta di prenotazione futura. Per istruzioni, consulta Riservare la capacità. |
| Avvio flessibile | Tutti i tipi di macchine GPU, ad eccezione di A4X Max e A4X. | Workload che richiedono cluster densi e di breve durata, fino a sette giorni. Offre un'allocazione densa delle risorse e uno sconto fino al 53% sui tipi di macchine supportati; in caso contrario, si applicano le tariffe on demand standard. | Crea una richiesta utilizzando Compute Engine, Cluster Director, Cluster Toolkit o GKE. Il provisioning delle risorse viene eseguito non appena diventano disponibili (l'ora di inizio non è immediata). Per istruzioni, consulta Ottenere la capacità. |
| Spot | Tutti i tipi di macchine GPU, ad eccezione di A4X Max e A4X. | Workload a tolleranza di errore, batch o di breve durata. Offre lo sconto più elevato (tra il 61% e il 90%), ma le risorse di calcolo possono essere prerilasciate in qualsiasi momento. | Crea immediatamente istanze o pool di nodi utilizzando il modello di provisioning spot. Per istruzioni, consulta Ottenere la capacità. |
Opzioni di consumo per le GPU in cluster
| Opzione di consumo | Disponibile per | Ideale per | Come richiedere |
|---|---|---|---|
| Prenotazioni future in AI Hypercomputer | Tutte le GPU in cluster e i tipi di macchine A3 Edge. | Workload che richiedono stabilità per un periodo di tempo prolungato, come il pre-addestramento dei foundation model o l'inferenza dei foundation model su più host. Offre un'allocazione densa delle risorse e uno sconto fino al 53% per le vCPU e le GPU. | Richiedi la capacità tramite il team degli Account Google per una data e un'ora di inizio future. |
| Prenotazioni future in modalità calendario | Tutte le GPU in cluster ad eccezione di A4X Max e A4X. | Workload che vengono eseguiti per un massimo di 90 giorni e richiedono stabilità, come il pre-addestramento o l'ottimizzazione dei modelli. Offre un'allocazione densa delle risorse e uno sconto fino al 53%. | Crea una richiesta di prenotazione self-service per una data e un'ora future; Google Cloud devi approvare la richiesta. Per istruzioni, consulta Riservare la capacità. |
| Avvio flessibile | Tutti i tipi di macchine GPU ad eccezione di A4X Max e A4X. | Workload che richiedono cluster densi e di breve durata, fino a sette giorni. Offre un'allocazione densa delle risorse e uno sconto fino al 53% sui tipi di macchine supportati; in caso contrario, si applicano le tariffe on demand standard. | Crea una richiesta utilizzando Compute Engine, Cluster Director, Cluster Toolkit o GKE. Il provisioning delle risorse viene eseguito non appena diventano disponibili (l'ora di inizio non è immediata). Per istruzioni, consulta Ottenere la capacità. |
| Spot | Tutti i tipi di macchine GPU ad eccezione di A4X Max e A4X. | Workload a tolleranza di errore, batch o di breve durata. Offre lo sconto più elevato (tra il 61% e il 90%), ma le risorse di calcolo possono essere prerilasciate in qualsiasi momento. | Crea immediatamente istanze o pool di nodi utilizzando il modello di provisioning spot modello. Per istruzioni, consulta Ottenere la capacità. |
Scegli un'opzione di deployment
A seconda del livello di controllo necessario sul deployment del cluster, scegli tra le seguenti opzioni:
- **Deployment altamente gestito**: i servizi gestiti automatizzano la configurazione, l'orchestrazione e la configurazione delle risorse di calcolo, networking e archiviazione.
- **Deployment meno gestito e con maggiore controllo**: crei e gestisci manualmente le VM, gli ambienti personalizzati e i livelli di orchestrazione.
Altamente gestito
Le opzioni di deployment altamente gestite automatizzano la configurazione e l'orchestrazione delle risorse di calcolo, networking e archiviazione, riducendo il carico operativo della gestione dei cluster. Per eseguire il deployment e configurare l'infrastruttura, utilizza Cluster Director, Cluster Toolkit o GKE.
Cluster Director: un Google Cloud prodotto che automatizza la configurazione complessa dei cluster, aiutandoti a configurare le risorse di calcolo, networking e archiviazione per i tuoi cluster in modo da massimizzare le prestazioni e ridurre al minimo i tempi di inattività. Cluster Director è progettato per gli amministratori IT e i ricercatori di AI che vogliono evitare il carico operativo della gestione di un cluster e concentrarsi invece sull'esecuzione dei workload.
Cluster Toolkit: uno strumento open source offerto da Google che semplifica la configurazione e il deployment dei cluster per GKE o Compute Engine. Utilizza progetti predefiniti per eseguire il deployment di configurazioni comuni, come i tipi di macchine A4 con Slurm. Puoi modificare i progetti per personalizzare i deployment e lo stack software.
GKE: un servizio Kubernetes gestito e una piattaforma di orchestrazione dei container open source platform. GKE offre funzionalità come la scalabilità automatica e l'alta disponibilità. È anche in grado di orchestrare applicazioni containerizzate, supportare hardware specializzato ed è compatibile con l' Google Cloud ecosistema, il che lo rende ideale per il deployment e la gestione di workload di AI o ML. Puoi eseguire il deployment dei cluster GKE utilizzando direttamente GKE o Cluster Toolkit.
Meno gestito e con maggiore controllo
Per un controllo più granulare sui cluster e sul software installato, crea un cluster Compute Engine utilizzando i gruppi di istanze gestite (MIG) di Compute Engine o creando istanze in blocco. Poi, installa manualmente il software chiave necessario sulle istanze.
Scegli un agente di orchestrazione
Un agente di orchestrazione automatizza la gestione dei cluster. Con un orchestratore, non devi gestire ogni istanza di computing nel cluster. Un agente di orchestrazione, come Slurm o GKE, gestisce attività come la messa in coda dei job, l'allocazione delle risorse, la scalabilità automatica (nel caso di GKE) e altre attività di gestione quotidiana dei cluster.
Slurm: Slurm è un agente di orchestrazione open source di uso comune per i workload di HPC, AI, o ML. Per un'esperienza Slurm gestita, puoi utilizzare Cluster Director. Per utilizzare Slurm in modo nativo, puoi utilizzare Cluster Toolkit (che offre progetti di cluster che installano automaticamente Slurm sui cluster) oppure puoi installare manualmente Slurm su un cluster Compute Engine.
GKE: GKE è un servizio gestito basato su Kubernetes, una piattaforma di orchestrazione dei container open source. GKE è ideale per il deployment e la gestione di workload di AI o ML, grazie alla sua capacità di orchestrare applicazioni containerizzate, al supporto di hardware specializzato e alla sua posizione nell' Google Cloud ecosistema. Puoi eseguire il deployment dei cluster GKE utilizzando direttamente GKE o Cluster Toolkit.
Utilizza il tuo agente di orchestrazione: per utilizzare altri agenti di orchestrazione, utilizza i cluster Compute Engine. La creazione di un cluster Compute Engine è l'opzione meno gestita offerta su Google Cloud. Questa scelta significa che sei responsabile della configurazione, della manutenzione e dell'aggiornamento delle istanze.
Scegli l'immagine di sistema
L'immagine da utilizzare dipende dall'infrastruttura GPU che stai utilizzando (GPU in cluster o GPU generali) e da come prevedi di eseguire il deployment dei cluster (GKE, Slurm o Compute Engine). Per i cluster GKE, utilizza Container-Optimized OS. Per i cluster Compute Engine e Slurm, seleziona un'immagine di sistema operativo ottimizzata per gli acceleratori, come le GPU. Inoltre, puoi selezionare un'immagine container del livello software di deep learning (DLSL) per il tuo workload.
Per informazioni dettagliate, consulta Immagini di AI Hypercomputer.
Immagini per i cluster GKE
Per creare cluster GKE, utilizza le immagini del sistema operativo container predefinite per le modalità Standard e Autopilot. Tuttavia, in modalità Standard, puoi anche scegliere di utilizzare altre immagini disponibili, come Ubuntu.
Se utilizzi Cluster Toolkit per eseguire il deployment del cluster, puoi utilizzare solo le immagini del sistema operativo container, in quanto sono le immagini integrate nei progetti del cluster. Per saperne di più su ogni immagine del nodo, consulta Immagini del nodo nella documentazione di GKE.
GKE offre anche immagini container del livello software di deep learning (DLSL) che installano pacchetti come NVIDIA CUDA e NCCL, nonché framework ML come PyTorch, fornendo un ambiente pronto all'uso per i workload di deep learning. Queste immagini container DLSL predefinite sono testate e verificate per funzionare senza problemi sui cluster GKE.
Immagini del sistema operativo per i cluster Compute Engine
AI Hypercomputer offre immagini ottimizzate per l'esecuzione di workload di AI e ML utilizzando Compute Engine. Scegli il sistema operativo con cui hai più familiarità:
- Acceleratore Rocky Linux 9
- Acceleratore Rocky Linux 8
- Acceleratore Ubuntu 24.04 LTS
- Acceleratore Ubuntu 22.04 LTS
Se utilizzi Cluster Toolkit, queste immagini dell'acceleratore sono già incluse nei progetti di Cluster Toolkit, perché Cluster Toolkit crea immagini personalizzate che estendono le immagini del sistema operativo dell'acceleratore Ubuntu LTS.
Per saperne di più su ogni immagine del sistema operativo, consulta Dettagli del sistema operativo nella documentazione di Compute Engine.
Crea il cluster
Dopo aver esaminato la procedura di creazione del cluster e aver preso decisioni preliminari per il tuo workload, crea il cluster utilizzando una di queste opzioni:
- Crea un cluster GKE:
- Crea un cluster Slurm:
- Crea istanze VM (singole, in blocco o MIG)
Esegui il provisioning dell'archiviazione per il workload
Scegli un servizio di archiviazione di cui eseguire il provisioning in base ai requisiti di prestazioni, costi e architettura di archiviazione.