AI 工作負載教學課程總覽

為協助您執行概念驗證 (POC) AI/機器學習工作負載，本頁面概略介紹 AI Hypercomputer 教學課程，說明在 Google Cloud 產品部署常見 AI 模型的完整程序。

這些教學課程專為機器學習 (ML) 工程師、研究人員、平台管理員和操作人員，以及資料和 AI 專家設計。這些教學課程假設您對機器學習概念有基本瞭解，並熟悉 Google Cloud 服務、容器自動化調度管理和叢集管理工具。

教學課程類別

AI 工作負載教學課程分為下列類別：

  • 在 GKE 上使用 vLLM 執行推論：在 Google Kubernetes Engine (GKE) 上使用 vLLM 服務架構，部署及提供大型語言模型 (LLM) 進行推論。
  • 在 GKE 和 Slurm 上微調 LLM：使用 Hugging Face Accelerate、PyTorch Fully Sharded Data Parallel (FSDP) 和 Ray 等分散式架構，在 GKE 和 Slurm 叢集上微調 LLM，以執行特定工作。
  • 在 Slurm 叢集上執行 LLM 訓練：使用 Cluster Toolkit 和 Hugging Face Accelerate，在多節點 Slurm 叢集上訓練及預先訓練 LLM。

在 GKE 上使用 vLLM 執行推論

這些教學課程說明如何在 GKE 上使用 vLLM 服務框架，部署及提供 LLM 進行推論。您將瞭解如何使用 GKE 的容器自動化調度管理功能，有效率地處理推論工作負載。這些教學課程涵蓋使用 Hugging Face 存取模型、設定 GKE 叢集 (例如在 Autopilot 模式下)、處理憑證，以及部署 vLLM 容器，以便與 Gemma 3、Llama 4 和 Qwen3 等 LLM 互動。

在 GKE 和 Slurm 執行 LLM 微調

這些教學課程說明如何針對各種Google Cloud 叢集類型 (包括 GKE 和 Slurm) 的特定工作，微調 LLM。舉例來說，您可以在多節點和多 GPU GKE 叢集 (例如使用配備 NVIDIA B200 GPU 的 A4 VM 執行個體) 和 Slurm 叢集上微調 Gemma 3。您會建立自訂 VM 映像檔、設定 RDMA 網路，並使用 Hugging Face Accelerate 和 FSDP 執行文字任務的分散式微調工作，或使用 Ray 架構執行多模態視覺任務。

在 Slurm 叢集執行 LLM 訓練

這些教學課程說明如何在高效能叢集上訓練或預先訓練 LLM。例如，您將瞭解如何在配備 A4 虛擬機器的多節點和多 GPU Slurm 叢集上，預先訓練 Qwen2 等模型。您將使用 Google Cloud Cluster Toolkit 部署 Slurm 叢集、建立自訂 VM 映像檔、設定共用 Filestore 執行個體、設定高速 RDMA 網路，並使用 Hugging Face Accelerate 執行分散式預先訓練工作。

後續步驟

探索 AI Hypercomputer 教學課程：