为了帮助您运行概念验证 (POC) AI/机器学习工作负载，本页面简要介绍了 AI Hypercomputer 教程，这些教程介绍了在 Google Cloud 产品上部署常见 AI 模型的完整过程。
这些教程专为机器学习 (ML) 工程师、研究人员、平台管理员和运维人员以及数据和 AI 专家而设计。这些教程假定您对机器学习概念有基本的了解，并熟练掌握 Google Cloud 服务、容器编排和集群管理。
教程类别
AI 工作负载教程分为以下几类：
- 在 GKE 上使用 vLLM 和 SGLang 运行推理：在 Google Kubernetes Engine (GKE) 上使用 vLLM 和 SGLang 服务框架部署和应用大语言模型 (LLM) 进行推理。
- 在 GKE 和 Slurm 上运行 LLM 微调：使用 Hugging Face Accelerate、PyTorch Fully Sharded Data Parallel (FSDP) 和 Ray 等分布式框架，在 GKE 和 Slurm 集群上针对特定任务微调 LLM。
- 在 Slurm 集群上运行 LLM 训练：使用 Cluster Toolkit 和 Hugging Face Accelerate 在多节点 Slurm 集群上训练和预训练 LLM。
在 GKE 上使用 vLLM 和 SGLang 运行推理
这些教程介绍了如何在 GKE 上使用 vLLM 和 SGLang 服务框架部署和提供 LLM 以进行推理。您将学习如何使用 GKE 的容器编排功能来高效处理推理工作负载。这些教程涵盖了使用 Hugging Face 访问模型、设置 GKE 集群（例如，在 Autopilot 模式下）、处理凭证以及部署 vLLM 或 SGLang 容器以与 Gemma 4、Gemma 3、Llama 4 和 Qwen3 等 LLM 进行交互。
在 GKE 和 Slurm 上运行 LLM 微调
这些教程介绍了如何针对各种Google Cloud 集群类型（包括 GKE 和 Slurm）的特定任务微调 LLM。例如，您可以在多节点和多 GPU GKE 集群（例如，使用配备 NVIDIA B200 GPU 的 A4 虚拟机实例）以及 Slurm 集群上微调 Gemma 3。您将创建自定义虚拟机映像、配置 RDMA 网络，并使用 Hugging Face Accelerate 和 FSDP 运行分布式微调作业（针对文本任务），或使用 Ray 框架运行分布式微调作业（针对多模态视觉任务）。
在 Slurm 集群上运行 LLM 训练
这些教程介绍了如何对高性能集群上的大语言模型进行训练或预训练。例如，您将学习如何在具有 A4 虚拟机的多节点和多 GPU Slurm 集群上预训练 Qwen2 等模型。您将使用 Google Cloud Cluster Toolkit 部署 Slurm 集群、创建自定义虚拟机映像、配置共享 Filestore 实例、配置高速 RDMA 网络，并使用 Hugging Face Accelerate 运行分布式预训练作业。
后续步骤
探索 AI Hypercomputer 教程：
- 在 TPU7x 上使用多主机 SGLang TorchTPU 部署 Qwen3-Coder-480B
- 在 TPU7x 上使用多主机 vLLM TorchTPU 部署 Qwen3.5-397B
- 在 Trillium TPU 上使用多主机 vLLM TorchTPU 部署 Gemma 4 26B
- 在 TPU7x 上使用 vLLM TorchTPU 部署 Qwen3.5-397B
- 在多主机 A4 GKE 集群上微调 Gemma 4
- 在 A4 GKE 集群上微调 Gemma 4
- 在 TPU v6e 上为 Gemma 4 26B 运行多主机 RL 训练
- 在多主机 TPU v6e 上为 Gemma 4 31B 运行 SFT
- 在 TPU v6e 上为 Qwen3-30B-A3B 运行多主机 RL 训练
- 在多主机 A4 GKE 集群上微调 Gemma 3
- 在 v6e-8 TPU 虚拟机上运行强化学习训练
- 使用 MaxText 在 TPU 虚拟机上运行监督式微调