Pour vous aider à exécuter des charges de travail d'IA/ML de démonstration de faisabilité, cette page présente les tutoriels AI Hypercomputer qui décrivent le processus complet de déploiement de modèles d'IA courants sur les produits Google Cloud .
Ces tutoriels sont destinés aux ingénieurs en machine learning (ML), aux chercheurs, aux administrateurs et opérateurs de plate-forme, ainsi qu'aux spécialistes des données et de l'IA. Ces tutoriels supposent que vous possédez des connaissances de base sur les concepts de ML et que vous maîtrisez les services Google Cloud , l'orchestration de conteneurs et la gestion de clusters.
Catégories de tutoriels
Les tutoriels sur les charges de travail d'IA sont organisés dans les catégories suivantes :
- Exécuter l'inférence avec vLLM sur GKE : déployez et diffusez des grands modèles de langage (LLM) pour l'inférence à l'aide du framework de diffusion vLLM sur Google Kubernetes Engine (GKE).
- Exécuter l'affinage de LLM sur GKE et Slurm : affinez les LLM pour des tâches spécifiques sur des clusters GKE et Slurm à l'aide de frameworks distribués tels que Hugging Face Accelerate, PyTorch Fully Sharded Data Parallel (FSDP) et Ray.
- Exécuter l'entraînement de LLM sur des clusters Slurm : entraînez et pré-entraînez des LLM sur des clusters Slurm multinœuds à l'aide de Cluster Toolkit et de Hugging Face Accelerate.
Exécuter l'inférence avec vLLM sur GKE
Ces tutoriels expliquent comment déployer et diffuser des LLM pour l'inférence à l'aide du framework de diffusion vLLM sur GKE. Vous apprendrez à utiliser les fonctionnalités d'orchestration de conteneurs de GKE pour des charges de travail d'inférence efficaces. Ces tutoriels expliquent comment accéder aux modèles à l'aide de Hugging Face, configurer des clusters GKE (par exemple, en mode Autopilot), gérer les identifiants et déployer des conteneurs vLLM pour interagir avec des LLM tels que Gemma 3, Llama 4 et Qwen3.
Exécuter l'affinage de LLM sur GKE et Slurm
Ces tutoriels expliquent comment affiner les LLM pour des tâches spécifiques sur différents types de clustersGoogle Cloud , y compris GKE et Slurm. Par exemple, vous pouvez affiner Gemma 3 sur des clusters GKE multinœuds et multi-GPU (par exemple, en utilisant des instances de VM A4 avec des GPU NVIDIA B200) et des clusters Slurm. Vous créez des images de VM personnalisées, configurez des réseaux RDMA et exécutez des jobs d'affinage distribués à l'aide de Hugging Face Accelerate et FSDP pour les tâches textuelles, ou du framework Ray pour les tâches de vision multimodale.
Exécuter l'entraînement de LLM sur des clusters Slurm
Ces tutoriels expliquent comment entraîner ou pré-entraîner des LLM sur des clusters hautes performances. Par exemple, vous apprendrez à pré-entraîner des modèles comme Qwen2 sur des clusters Slurm à nœuds et GPU multiples avec des machines virtuelles A4. Vous allez déployer des clusters Slurm à l'aide de Google Cloud Cluster Toolkit, créer des images de VM personnalisées, configurer des instances Filestore partagées, configurer un réseau RDMA à haut débit et exécuter des jobs de pré-entraînement distribués avec Hugging Face Accelerate.
Étapes suivantes
Découvrez les tutoriels sur AI Hypercomputer :
- Utiliser vLLM sur GKE pour diffuser l'inférence Gemma 3 27B
- Affiner Gemma 4 sur un cluster GKE A4
- Affiner Gemma 4 sur un cluster GKE A4 multi-hôte
- Entraîner Qwen2 sur un cluster Slurm A4
- Diffuser Qwen2-72B avec vLLM sur des TPU