Per aiutarti a eseguire workload AI/ML di proof of concept (POC), questa pagina fornisce una panoramica dei tutorial di AI Hypercomputer che descrivono il processo completo di deployment di modelli di AI comuni sui prodotti Google Cloud .
Questi tutorial sono progettati per ingegneri di machine learning (ML), ricercatori, amministratori e operatori di piattaforme e specialisti di dati e AI. Questi tutorial presuppongono che tu abbia una conoscenza di base dei concetti di ML e una buona padronanza dei servizi Google Cloud , dell'orchestrazione dei container e della gestione dei cluster.
Categorie di tutorial
I tutorial sui workload di AI sono organizzati nelle seguenti categorie:
- Esegui l'inferenza con vLLM su GKE: esegui il deployment e la distribuzione di modelli linguistici di grandi dimensioni (LLM) per l'inferenza utilizzando il framework di distribuzione vLLM su Google Kubernetes Engine (GKE).
- Esegui l'ottimizzazione degli LLM su GKE e Slurm: ottimizza gli LLM per attività specifiche su cluster GKE e Slurm utilizzando framework distribuiti come Hugging Face Accelerate, PyTorch Fully Sharded Data Parallel (FSDP) e Ray.
- Esegui l'addestramento degli LLM su cluster Slurm: addestra e preaddestra gli LLM su cluster Slurm multi-nodo utilizzando Cluster Toolkit e Hugging Face Accelerate.
Esegui l'inferenza con vLLM su GKE
Questi tutorial descrivono come eseguire il deployment e l'erogazione di LLM per l'inferenza utilizzando il framework di distribuzione vLLM su GKE. Imparerai a utilizzare le funzionalità di orchestrazione dei container di GKE per workload di inferenza efficienti. Questi tutorial illustrano l'accesso ai modelli utilizzando Hugging Face, la configurazione dei cluster GKE (ad esempio in modalità Autopilot), la gestione delle credenziali e il deployment dei container vLLM per l'interazione con LLM come Gemma 3, Llama 4 e Qwen3.
Esegui l'ottimizzazione degli LLM su GKE e Slurm
Questi tutorial descrivono come ottimizzare gli LLM per attività specifiche in vari tipi di clusterGoogle Cloud , tra cui GKE e Slurm. Ad esempio, puoi ottimizzare Gemma 3 su cluster GKE multi-nodo e multi-GPU (ad esempio, utilizzando istanze VM A4 con GPU NVIDIA B200) e cluster Slurm. Crei immagini VM personalizzate, configuri reti RDMA ed esegui job di ottimizzazione distribuita utilizzando Hugging Face Accelerate e FSDP per le attività di testo o il framework Ray per le attività di visione multimodale.
Esegui l'addestramento di LLM su cluster Slurm
Questi tutorial descrivono come addestrare o preaddestrare gli LLM su cluster ad alte prestazioni. Ad esempio, imparerai a pre-addestrare modelli come Qwen2 su cluster Slurm multi-nodo e multi-GPU con macchine virtuali A4. Esegui il deployment dei cluster Slurm utilizzando Google Cloud Cluster Toolkit, crei immagini VM personalizzate, configuri istanze Filestore condivise, configuri il networking RDMA ad alta velocità ed esegui job di pre-addestramento distribuito con Hugging Face Accelerate.
Passaggi successivi
Esplora i tutorial di AI Hypercomputer:
- Utilizza vLLM su GKE per l'inferenza di Gemma 3 27B
- Ottimizza Gemma 4 su un cluster GKE A4
- Ottimizza Gemma 4 su un cluster GKE A4 multi-host
- Addestra Qwen2 su un cluster Slurm A4
- Eroga Qwen2-72B con vLLM su TPU