为了帮助您运行概念验证 (POC) AI/机器学习工作负载，本页面简要介绍了 AI Hypercomputer 教程，这些教程介绍了在 Google Cloud 产品上部署常见 AI 模型的完整过程。
这些教程专为机器学习 (ML) 工程师、研究人员、平台管理员和运维人员以及数据和 AI 专家而设计。这些教程假定您对机器学习概念有基本的了解，并熟练掌握 Google Cloud 服务、容器编排和集群管理。
教程类别
AI 工作负载教程分为以下几类：
- 在 GKE 上使用 vLLM 运行推理：在 Google Kubernetes Engine (GKE) 上使用 vLLM 服务框架部署和应用大语言模型 (LLM) 以进行推理。
- 在 GKE 和 Slurm 上运行 LLM 微调：使用 Hugging Face Accelerate、PyTorch Fully Sharded Data Parallel (FSDP) 和 Ray 等分布式框架，在 GKE 和 Slurm 集群上针对特定任务微调 LLM。
- 在 Slurm 集群上运行 LLM 训练：使用 Cluster Toolkit 和 Hugging Face Accelerate 在多节点 Slurm 集群上训练和预训练 LLM。
在 GKE 上使用 vLLM 运行推理
这些教程介绍了如何在 GKE 上使用 vLLM 服务框架部署和提供 LLM 以进行推理。您将学习如何使用 GKE 的容器编排功能来高效处理推理工作负载。这些教程涵盖了使用 Hugging Face 访问模型、设置 GKE 集群（例如，在 Autopilot 模式下）、处理凭据以及部署 vLLM 容器以与 Gemma 3、Llama 4 和 Qwen3 等 LLM 进行交互。
在 GKE 和 Slurm 上运行 LLM 微调
这些教程介绍了如何针对各种Google Cloud 集群类型（包括 GKE 和 Slurm）的特定任务微调 LLM。例如，您可以在多节点和多 GPU GKE 集群（例如，使用配备 NVIDIA B200 GPU 的 A4 虚拟机实例）以及 Slurm 集群上微调 Gemma 3。您将创建自定义虚拟机映像、配置 RDMA 网络，并使用 Hugging Face Accelerate 和 FSDP 运行分布式微调作业（针对文本任务），或使用 Ray 框架运行分布式微调作业（针对多模态视觉任务）。
在 Slurm 集群上运行 LLM 训练
这些教程介绍了如何对高性能集群上的大语言模型进行训练或预训练。例如，您将学习如何在具有 A4 虚拟机的多节点和多 GPU Slurm 集群上预训练 Qwen2 等模型。您将使用 Google Cloud Cluster Toolkit 部署 Slurm 集群、创建自定义虚拟机映像、配置共享 Filestore 实例、配置高速 RDMA 网络，并使用 Hugging Face Accelerate 运行分布式预训练作业。
后续步骤
探索 AI Hypercomputer 教程：
- 在 GKE 上使用 vLLM 来执行 Gemma 3 27B 推理
- 在 A4 GKE 集群上微调 Gemma 4
- 在多主机 A4 GKE 集群上微调 Gemma 4
- 在 A4 Slurm 集群上训练 Qwen2
- 在 TPU 上使用 vLLM 部署 Qwen2-72B