「GKE 中的 AI/機器學習自動化調度管理」說明文件

Google Kubernetes Engine (GKE) 提供單一整合式平台,可自動調度管理整個 AI/機器學習生命週期。這項服務提供強大且靈活的功能,可大幅提升訓練、推論和代理工作負載的效能,讓您簡化基礎架構並開始提供成果。GKE 的頂尖自動化調度管理功能提供下列優勢:

  • 硬體加速器:大規模存取及管理訓練和推論所需的高效能 GPU 和 TPU。
  • 堆疊彈性:與您熟悉且信任的分散式運算、資料處理和提供模型架構整合。
  • 代管型 Kubernetes 簡便易用:享有代管平台的所有優點,自動化、擴充及強化整個 AI/機器學習生命週期的安全性,同時保有彈性。

歡迎瀏覽我們的網誌、教學課程和最佳做法,瞭解 GKE 如何最佳化 AI/機器學習工作負載。如要進一步瞭解優點和可用功能,請參閱「GKE 的 AI/機器學習工作負載簡介」總覽。

  • 免費使用 Compute Engine 和 AI API 等 20 多項熱銷產品。
  • 不會自動收費,也無需綁約

繼續探索 20 多項永久免費的產品

存取 20 多項常見用途的免費產品,包括 AI API、VM 和資料倉儲等。

說明文件資源

查看快速入門導覽課程與指南、瀏覽重要參考資料,並獲取常見問題相關說明。
瀏覽自修訓練課程、用途、參考架構和程式碼範例,瞭解如何使用及連結 Google Cloud 服務。
參考架構
訓練與教學課程

瞭解如何使用 Cloud Storage FUSE,最佳化 GKE 上 AI 和機器學習工作負載的效能。

AI/機器學習推論 AI/機器學習訓練 儲存空間

參考架構
訓練與教學課程

瞭解如何使用 Managed Lustre,在 GKE 最佳化 AI 和機器學習工作負載的效能。

AI/機器學習推論 AI/機器學習訓練 儲存空間

教學課程
訓練與教學課程

瞭解如何在 GKE 上搭配使用開放原始碼 Kata Containers 和 Agent Sandbox,隔離不信任的程式碼執行作業。

訓練 教學課程 代理式 AI Agent Sandbox

教學課程
訓練與教學課程

瞭解如何使用 Agent Development Kit (ADK) 和 vLLM,在 GKE 部署及管理容器化代理式 AI 應用程式,並透過 Llama 3.1 執行可擴充的推論。

教學課程 AI/機器學習推論 代理式 AI

教學課程
訓練與教學課程

瞭解如何使用 Agent Development Kit (ADK) 和 Agent Platform,在 GKE 部署及管理容器化代理式 AI 應用程式,並透過 Gemini 2.0 Flash 執行可擴充的推論。

教學課程 AI/機器學習推論 代理式 AI

教學課程
訓練與教學課程

瞭解如何使用 GKE,在 GPU 上透過 Ray 和 PyTorch 訓練模型。

教學課程 AI/機器學習訓練 Ray GPU

教學課程
訓練與教學課程

瞭解如何使用 JAX、MaxText、Ray Train 和 TPU,在 GKE 訓練 LLM。

教學課程 AI/機器學習訓練 Ray TPU

教學課程
訓練與教學課程

瞭解如何使用 GKE 上的 Ray Train,在 TPU 上執行多配量和彈性訓練工作負載。

教學課程 AI/機器學習訓練 Ray TPU

快速入門導覽課程
訓練與教學課程

瞭解如何使用 Terraform 預先設定的架構,在 GKE 部署及提供開放式 LLM 進行推論。

快速入門導覽課程 AI/機器學習推論 GPU

教學課程
訓練與教學課程

瞭解如何使用 vLLM 和 LeaderWorkerSet (LWS),在 GKE 的多主機 GPU 上提供 LLM,例如 DeepSeek-R1 671B 和 Llama 3.1 405B。

教學課程 AI/機器學習推論 GPU

教學課程
訓練與教學課程

瞭解如何透過 vLLM,在 GKE 上使用 GPU 提供 Gemma 開放式模型。

教學課程 AI/機器學習推論 GPU

教學課程
訓練與教學課程

瞭解如何透過 vLLM 在 GKE 上使用 TPU Trillium 提供 LLM。

教學課程 AI/機器學習推論 TPU

教學課程
訓練與教學課程

瞭解如何使用 Ray Serve 和 GKE Inference Gateway,設定多叢集提供模型。

教學課程 AI/機器學習推論 Ray

教學課程
訓練與教學課程

瞭解如何使用 Hugging Face 的 Optimum TPU 服務框架,在 GKE 上使用 Tensor Processing Unit (TPU) 部署 LLM。

教學課程 AI/機器學習推論 TPU

教學課程
訓練與教學課程

瞭解如何使用 DWS 彈性啟動,在 GKE 最佳化 LLM 服務工作負載的成本。

成本最佳化 GPU DWS

訓練
訓練與教學課程

瞭解如何透過 KubeRay 在 TPU 上提供大型語言模型 (LLM),以及如何藉此提升模型效能。

影片 Ray TPU

訓練
訓練與教學課程

瞭解如何使用 Hyperdisk ML,簡化及加速在 GKE 上載入 AI/機器學習模型權重的過程。

教學課程 AI/機器學習資料載入

訓練
訓練與教學課程

瞭解最佳做法,在 GKE 上使用 vLLM 和 Text Generation Inference (TGI) 服務架構,透過 GPU 提高 LLM 推論效能。

教學課程 AI/機器學習推論 GPU

訓練
訓練與教學課程

瞭解何時應使用 NVIDIA GPU Operator,以及如何在 GKE 啟用 NVIDIA GPU Operator。

教學課程 GPU

訓練
訓練與教學課程

瞭解如何使用 GKE 水平自動調度 Pod 資源 (HPA),透過單一主機 JetStream 部署 Gemma LLM,設定自動調度資源基礎架構。

教學課程 TPU

訓練
訓練與教學課程

瞭解如何使用 TPU、Ray Serve 和 Ray Operator 外掛程式,在 GKE 上部署及提供 Stable Diffusion 模型。

教學課程 AI/機器學習推論 Ray TPU

訓練
訓練與教學課程

瞭解如何使用 GKE 水平 Pod 自動配置器 (HPA),透過 Hugging Face Text Generation Interface (TGI) 服務架構部署 Gemma LLM,設定自動調度資源基礎架構。

教學課程 GPU

訓練
訓練與教學課程

瞭解如何在 A3 Mega 上執行容器型 Megatron-LM PyTorch 工作負載。

教學課程 AI/機器學習訓練 GPU

訓練
訓練與教學課程

瞭解如何在 GKE Autopilot 工作負載中要求硬體加速器 (GPU) 資源。

教學課程 GPU

訓練
訓練與教學課程

瞭解如何透過 GKE 使用多個 NVIDIA L4 GPU 提供 Llama 2 70B 或 Falcon 40B。

教學課程 AI/機器學習推論 GPU

訓練
訓練與教學課程

瞭解如何在 Ray 叢集執行工作負載,輕鬆開始在 GKE 使用 Ray。

教學課程 Ray

訓練
訓練與教學課程

瞭解如何在 GKE 中使用 Ray 架構提供 Falcon 7b、Llama2 7b、Falcon 40b 或 Llama2 70b。

教學課程 AI/機器學習推論 Ray GPU

訓練
訓練與教學課程

瞭解如何使用 JobSet 和 Kueue,在 GKE 的多個 TPU 切片上自動化調度管理 Jax 工作負載。

教學課程 TPU

訓練
訓練與教學課程

瞭解如何透過 NVIDIA Data Center GPU Manager (DCGM),觀察 GKE 上的 GPU 工作負載。

教學課程 AI/機器學習觀測能力 GPU

訓練
訓練與教學課程

本快速入門導覽課程說明如何在 GKE 中使用 GPU 部署訓練模型,並將預測結果儲存在 Cloud Storage。

教學課程 AI/機器學習訓練 GPU

訓練
訓練與教學課程

這部影片說明 GKE 如何解決大規模訓練大型 AI 模型時常見的挑戰,以及在 GKE 訓練及提供大型機器學習模型的最佳做法。

影片 AI/機器學習訓練 AI/機器學習推論

教學課程
訓練與教學課程

這篇網誌文章提供逐步指南,說明如何建立、執行及拆除支援 Tensorflow 的 Jupiter 筆記本。

網誌 AI/機器學習訓練 AI/機器學習推論 GPU

訓練
訓練與教學課程

本教學課程會使用 Kueue 說明如何實作工作佇列系統,以及在 GKE 上設定不同命名空間之間的工作負載資源和配額共用。

教學課程 AI/機器學習 Batch

訓練
訓練與教學課程

本教學課程說明如何將以檢索增強生成技術為基礎的大型語言模型應用程式,與上傳至 Cloud Storage bucket 的 PDF 檔案整合。

教學課程 AI/機器學習資料載入

訓練
訓練與教學課程

本教學課程說明如何使用 BigQuery 儲存及處理資料、Cloud Run 處理要求,以及 Gemma LLM 分析及預測資料,在 GKE 上分析大型資料集。

教學課程 AI/機器學習資料載入

用途
用途

瞭解如何運用 GKE 和 Ray,有效率地預先處理大型資料集,以用於機器學習。

MLOps 訓練 Ray

用途
用途

瞭解如何縮短 Google Kubernetes Engine 機器學習應用程式的資料載入時間。

推論 Hyperdisk ML Cloud Storage FUSE

用途
用途

瞭解如何微調 GKE 的水平 Pod 自動配置器,以最高效率降低 GPU 推論成本。

推論 GPU HPA

用途
用途

瞭解如何在 GKE 輕鬆部署先進的 NVIDIA NIM 微服務,並加速 AI 工作負載。

AI NVIDIA NIM

用途
用途

瞭解如何運用 GKE 上的 Ray Operator 簡化 AI/機器學習正式環境部署作業,提升效能和擴充性。

AI TPU Ray

用途
用途

瞭解如何充分提高 GKE 上 GPU 的大型語言模型 (LLM) 服務處理量,包括基礎架構決策和模型伺服器最佳化。

LLM GPU NVIDIA

用途
用途

瞭解如何在 GKE 建構及最佳化批次處理平台

批次 效能 成本最佳化

用途
用途

瞭解如何使用本機 SSD,在 GKE 上提供高效能 AI/機器學習儲存空間。

AI NVMe 本機 SSD

用途
用途

瞭解如何透過 NVIDIA GPU,在 GKE 上執行 JAX 多 GPU、多節點應用程式。

GPU JAX 機器學習

用途
用途

LiveX AI 如何使用 GKE 建構 AI 代理,提升顧客滿意度並降低成本。

生成式 AI NVIDIA GPU

用途
用途

參考架構:使用 GKE、Cloud SQL、Ray、Hugging Face 和 LangChain,透過檢索增強生成 (RAG) 技術執行生成式 AI 應用程式。

生成式 AI RAG Ray

用途
用途

在 Standard 模式下,使用 Kueue 管理資源配額,在 GKE 上建構批次處理平台的參考架構。

AI Kueue 批次

用途
用途

IPRally 如何運用 GKE 和 Ray 建構可擴充的高效機器學習平台,加快專利搜尋速度並提高準確度。

AI Ray GPU

用途
用途

在 Cloud GPU 和 Cloud TPU 上運用 Gemma,在 GKE 上提高推論和訓練效率。

AI Gemma 效能

用途
用途

使用頂尖的 Gemma 開放式模型,建構可攜式、可自訂的 AI 應用程式,並部署至 GKE。

AI Gemma 效能

用途
用途

使用 KubeRay 和 Kueue,在 GKE 自動調度管理 Ray 應用程式。

Kueue Ray KubeRay

用途
用途

在 GKE 上使用 Ray 訓練 AI/機器學習工作負載時,套用安全性洞察和強化技術。

AI Ray 安全性

用途
用途

在 Google Cloud 中,為 AI 和機器學習工作負載選取最佳儲存空間選項組合。

AI 機器學習 儲存空間

用途
用途

在 GKE 中自動安裝 Nvidia GPU 驅動程式。

GPU NVIDIA 安裝

用途
用途

使用 GKE 和 NVIDIA NeMo 架構訓練生成式 AI 模型。

GenAI NVIDIA NeMo

用途
用途

在 GKE 執行 Ray 工作負載,可提高擴充性、成本效益、容錯能力、隔離性和可攜性。

AI Ray Scale

用途
用途

搭配使用 Weights & Biases 與 GKE,簡化模型開發和部署程序。

成本最佳化 TPU GPU

用途
用途

GKE Autopilot 可為 AI/機器學習工作負載提供更完善的 GPU 支援、更優異的效能,以及更低的價格。

GPU Autopilot 效能

用途
用途

新創公司運用 GKE 擴大個人化影片輸出規模。

GPU 擴充 容器

用途
用途

Ray 如何改變 Spotify 的機器學習開發作業。

機器學習 Ray 容器

用途
用途

Ordaōs Bio 是領先業界的 AI 加速器,專門用於生物醫學研究和探索,致力於尋找腫瘤學和慢性發炎疾病的新型免疫療法解決方案。

效能 TPU 成本最佳化

用途
用途

矽谷新創公司 Moloco 如何運用 GKE 和 TensorFlow 企業版的強大功能,大幅強化機器學習 (ML) 基礎架構。

機器學習 擴充 成本最佳化

用途
用途

瞭解如何縮短 GKE 中 Stable Diffusion 的啟動時間。

效能 資源調度 PD

程式碼範例
程式碼範例

查看官方 GKE 產品教學課程中使用的範例應用程式。

程式碼範例
程式碼範例

查看實驗性範例,瞭解如何運用 GKE 加速 AI/機器學習計畫。

程式碼範例
程式碼範例

查看參考架構和解決方案,瞭解如何在 GKE 部署加速工作負載。

相關影片