Para ayudarte a ejecutar cargas de trabajo de IA y AA de prueba de concepto (POC), en esta página, se proporciona una descripción general de los instructivos de AI Hypercomputer que describen el proceso completo de implementación de modelos de IA comunes en productos de Google Cloud .
Estos instructivos están diseñados para ingenieros de aprendizaje automático (AA), investigadores, administradores y operadores de plataformas, y especialistas en datos y en IA. En estos instructivos, se supone que tienes conocimientos básicos de los conceptos de AA y que dominas los servicios de Google Cloud , la organización de contenedores y la administración de clústeres.
Categorías de instructivos
Los instructivos de cargas de trabajo de IA se organizan en las siguientes categorías:
- Ejecuta inferencias con vLLM y SGLang en GKE: Implementa y entrega modelos de lenguaje grandes (LLM) para la inferencia con los frameworks de entrega de vLLM y SGLang en Google Kubernetes Engine (GKE).
- Ejecuta el ajuste de LLM en GKE y Slurm: Ajusta los LLM para tareas específicas en clústeres de GKE y Slurm con frameworks distribuidos, como Hugging Face Accelerate, PyTorch Fully Sharded Data Parallel (FSDP) y Ray.
- Ejecuta el entrenamiento de LLM en clústeres de Slurm: Entrena y entrena previamente LLM en clústeres de Slurm de varios nodos con Cluster Toolkit y Hugging Face Accelerate.
Ejecuta inferencias con vLLM y SGLang en GKE
En estos instructivos, se describe cómo implementar y entregar LLM para la inferencia con los frameworks de entrega vLLM y SGLang en GKE. Aprenderás a usar las capacidades de organización de contenedores de GKE para cargas de trabajo de inferencia eficientes. En estos instructivos, se explica cómo acceder a los modelos con Hugging Face, configurar clústeres de GKE (por ejemplo, en el modo Autopilot), controlar las credenciales y, además, implementar contenedores de vLLM o SGLang para interactuar con LLM, como Gemma 4, Gemma 3, Llama 4 y Qwen3.
Ejecuta el ajuste de LLM en GKE y Slurm
En estos instructivos, se describe cómo ajustar los LLM para tareas específicas en varios tipos de clústeres deGoogle Cloud , incluidos GKE y Slurm. Por ejemplo, puedes ajustar Gemma 3 en clústeres de GKE de varios nodos y varias GPU (por ejemplo, con instancias de VM A4 con GPU NVIDIA B200) y clústeres de Slurm. Creas imágenes de VM personalizadas, configuras redes de RDMA y ejecutas trabajos de ajuste fino distribuidos con Hugging Face Accelerate y FSDP para tareas de texto, o el framework de Ray para tareas de visión multimodal.
Ejecuta el entrenamiento de LLM en clústeres de Slurm
En estos instructivos, se describe cómo entrenar o entrenar previamente LLM en clústeres de alto rendimiento. Por ejemplo, aprenderás a entrenar previamente modelos como Qwen2 en clústeres de Slurm de varios nodos y varias GPUs con máquinas virtuales A4. Implementarás clústeres de Slurm con el Google Cloud Cluster Toolkit, crearás imágenes de VM personalizadas, configurarás instancias de Filestore compartidas, configurarás redes RDMA de alta velocidad y ejecutarás trabajos de entrenamiento previo distribuidos con Hugging Face Accelerate.
¿Qué sigue?
Explora los instructivos de AI Hypercomputer:
- Entrega Qwen3-Coder-480B con SGLang TorchTPU de varios hosts en TPU7x
- Entrega Qwen3.5-397B con vLLM TorchTPU de varios hosts en TPU7x
- Entrega Gemma 4 26B con vLLM TorchTPU de varios hosts en TPU de Trillium
- Entrega Qwen3.5-397B con vLLM TorchTPU en TPU7x
- Ajusta Gemma 4 en un clúster de GKE A4 de varios hosts
- Ajusta Gemma 4 en un clúster de GKE A4
- Ejecuta el entrenamiento de RL de varios hosts para Gemma 4 26B en la TPU v6e
- Ejecuta SFT para Gemma 4 31B en TPU v6e de varios hosts
- Ejecuta el entrenamiento de RL de varios hosts para Qwen3-30B-A3B en la TPU v6e
- Ajusta Gemma 3 en un clúster de GKE A4 de varios hosts
- Ejecuta el entrenamiento de RL en una VM de TPU v6e-8
- Ejecuta un ajuste supervisado en una VM de TPU con MaxText