Para ayudarte a ejecutar cargas de trabajo de IA y AA de prueba de concepto (POC), en esta página, se proporciona una descripción general de los instructivos de AI Hypercomputer que describen el proceso completo de implementación de modelos de IA comunes en productos de Google Cloud .
Estos instructivos están diseñados para ingenieros de aprendizaje automático (AA), investigadores, administradores y operadores de plataformas, y especialistas en datos y en IA. En estos instructivos, se supone que tienes conocimientos básicos de los conceptos de AA y que dominas los servicios de Google Cloud , la organización de contenedores y la administración de clústeres.
Categorías de instructivos
Los instructivos de cargas de trabajo de IA se organizan en las siguientes categorías:
- Ejecuta inferencias con vLLM en GKE: Implementa y entrega modelos de lenguaje grandes (LLM) para la inferencia con el framework de entrega de vLLM en Google Kubernetes Engine (GKE).
- Ejecuta el ajuste de LLM en GKE y Slurm: Ajusta los LLM para tareas específicas en clústeres de GKE y Slurm con frameworks distribuidos, como Hugging Face Accelerate, PyTorch Fully Sharded Data Parallel (FSDP) y Ray.
- Ejecuta el entrenamiento de LLM en clústeres de Slurm: Entrena y entrena previamente LLM en clústeres de Slurm de varios nodos con Cluster Toolkit y Hugging Face Accelerate.
Ejecuta inferencias con vLLM en GKE
En estos instructivos, se describe cómo implementar y entregar LLM para la inferencia con el framework de entrega de vLLM en GKE. Aprenderás a usar las capacidades de organización de contenedores de GKE para cargas de trabajo de inferencia eficientes. En estos instructivos, se explica cómo acceder a los modelos con Hugging Face, configurar clústeres de GKE (por ejemplo, en el modo Autopilot), controlar las credenciales y, además, implementar contenedores de vLLM para interactuar con LLM, como Gemma 3, Llama 4 y Qwen3.
Ejecuta el ajuste de LLM en GKE y Slurm
En estos instructivos, se describe cómo ajustar los LLM para tareas específicas en varios tipos de clústeres deGoogle Cloud , incluidos GKE y Slurm. Por ejemplo, puedes ajustar Gemma 3 en clústeres de GKE de varios nodos y varias GPU (por ejemplo, con instancias de VM A4 con GPU NVIDIA B200) y clústeres de Slurm. Creas imágenes de VM personalizadas, configuras redes de RDMA y ejecutas trabajos de ajuste fino distribuidos con Hugging Face Accelerate y FSDP para tareas de texto, o el framework de Ray para tareas de visión multimodal.
Ejecuta el entrenamiento de LLM en clústeres de Slurm
En estos instructivos, se describe cómo entrenar o entrenar previamente LLM en clústeres de alto rendimiento. Por ejemplo, aprenderás a entrenar previamente modelos como Qwen2 en clústeres de Slurm de varios nodos y varias GPUs con máquinas virtuales A4. Implementarás clústeres de Slurm con el Google Cloud Cluster Toolkit, crearás imágenes de VM personalizadas, configurarás instancias de Filestore compartidas, configurarás redes RDMA de alta velocidad y ejecutarás trabajos de entrenamiento previo distribuidos con Hugging Face Accelerate.
¿Qué sigue?
Explora los instructivos de AI Hypercomputer:
- Usa vLLM en GKE para entregar la inferencia de Gemma 3 27B
- Ajusta Gemma 4 en un clúster de GKE A4
- Ajusta Gemma 4 en un clúster de GKE A4 de varios hosts
- Entrena Qwen2 en un clúster de Slurm A4
- Entrega Qwen2-72B con vLLM en TPU