「GKE 中的 AI/機器學習自動化調度管理」說明文件
Google Kubernetes Engine (GKE) 提供單一整合式平台,可自動調度管理整個 AI/機器學習生命週期。這項服務提供強大且靈活的功能,可大幅提升訓練、推論和代理工作負載的效能,讓您簡化基礎架構並開始提供成果。GKE 的頂尖自動化調度管理功能提供下列優勢:
- 硬體加速器:大規模存取及管理訓練和推論所需的高效能 GPU 和 TPU。
- 堆疊彈性:與您熟悉且信任的分散式運算、資料處理和提供模型架構整合。
- 代管型 Kubernetes 簡便易用:享有代管平台的所有優點,自動化、擴充及強化整個 AI/機器學習生命週期的安全性,同時保有彈性。
歡迎瀏覽我們的網誌、教學課程和最佳做法,瞭解 GKE 如何最佳化 AI/機器學習工作負載。如要進一步瞭解優點和可用功能,請參閱「GKE 的 AI/機器學習工作負載簡介」總覽。
使用價值 $300 美元的免費抵免額,開始概念驗證
- 免費使用 Compute Engine 和 AI API 等 20 多項熱銷產品。
- 不會自動收費,也無需綁約
繼續探索 20 多項永久免費的產品
存取 20 多項常見用途的免費產品,包括 AI API、VM 和資料倉儲等。
說明文件資源
管理 AI 基礎架構和加速器
- 概念
- 概念
- 概念
- 最佳做法
- 最佳做法
- 最佳做法
- 快速入門導覽課程
- 影片
- 影片
處理訓練和推論工作負載
- 快速入門導覽課程
- 教學課程
- 操作說明
- 教學課程
- 最佳做法
- 概念
- 最佳做法
- 操作說明
- 教學課程
提供代理工作負載
- 概念
- 概念
- 操作說明
- 最佳做法
- 操作說明
- 教學課程
- 概念
- 操作說明
- 操作說明
- 概念
相關資源
使用 Cloud Storage 和 GKE 最佳化 AI 和機器學習工作負載
瞭解如何使用 Cloud Storage FUSE,最佳化 GKE 上 AI 和機器學習工作負載的效能。
使用 Managed Lustre 和 GKE 最佳化 AI 和機器學習工作負載
瞭解如何使用 Managed Lustre,在 GKE 最佳化 AI 和機器學習工作負載的效能。
在 GKE 上搭配使用開放原始碼 Kata Containers 和 Agent Sandbox
瞭解如何在 GKE 上搭配使用開放原始碼 Kata Containers 和 Agent Sandbox,隔離不信任的程式碼執行作業。
使用 Agent Development Kit (ADK) 和自行託管的大型語言模型,在 GKE 部署代理式 AI 應用程式
瞭解如何使用 Agent Development Kit (ADK) 和 vLLM,在 GKE 部署及管理容器化代理式 AI 應用程式,並透過 Llama 3.1 執行可擴充的推論。
使用 Agent Development Kit (ADK) 和 Agent Platform,在 GKE 部署代理式 AI 應用程式
瞭解如何使用 Agent Development Kit (ADK) 和 Agent Platform,在 GKE 部署及管理容器化代理式 AI 應用程式,並透過 Gemini 2.0 Flash 執行可擴充的推論。
在 GPU 上透過 PyTorch、Ray 和 GKE 訓練模型
瞭解如何使用 GKE,在 GPU 上透過 Ray 和 PyTorch 訓練模型。
在 GKE 上使用 JAX、Ray Train 和 TPU Trillium 訓練 LLM
瞭解如何使用 JAX、MaxText、Ray Train 和 TPU,在 GKE 訓練 LLM。
在 GKE 上使用 Ray Train,在 TPU 上進行多配量和彈性訓練
瞭解如何使用 GKE 上的 Ray Train,在 TPU 上執行多配量和彈性訓練工作負載。
使用 Terraform,透過預先設定的架構在 GKE 上提供開放原始碼 LLM
瞭解如何使用 Terraform 預先設定的架構,在 GKE 部署及提供開放式 LLM 進行推論。
在 GKE 上提供 Deepseek-R1 671B 或 Llama 3.1 405B 等 LLM
瞭解如何使用 vLLM 和 LeaderWorkerSet (LWS),在 GKE 的多主機 GPU 上提供 LLM,例如 DeepSeek-R1 671B 和 Llama 3.1 405B。
透過 vLLM 在 GKE 上使用 GPU 提供 Gemma
瞭解如何透過 vLLM,在 GKE 上使用 GPU 提供 Gemma 開放式模型。
透過 vLLM 在 GKE 上使用 TPU Trillium 提供 LLM
瞭解如何透過 vLLM 在 GKE 上使用 TPU Trillium 提供 LLM。
透過多叢集 Ray Serve 和 Inference Gateway 提供 LLM
瞭解如何使用 Ray Serve 和 GKE Inference Gateway,設定多叢集提供模型。
在 GKE 上使用 TPU 搭配 Optimum TPU 提供開放原始碼模型
瞭解如何使用 Hugging Face 的 Optimum TPU 服務框架,在 GKE 上使用 Tensor Processing Unit (TPU) 部署 LLM。
採用成本效益最高且高可用性的 GPU 佈建策略,在 GKE 提供 LLM
瞭解如何使用 DWS 彈性啟動,在 GKE 最佳化 LLM 服務工作負載的成本。
使用 Hyperdisk ML 加快 AI/機器學習資料載入速度
瞭解如何使用 Hyperdisk ML,簡化及加速在 GKE 上載入 AI/機器學習模型權重的過程。
最佳做法:在 GKE 使用 GPU 最佳化 LLM 推論
瞭解最佳做法,在 GKE 上使用 vLLM 和 Text Generation Inference (TGI) 服務架構,透過 GPU 提高 LLM 推論效能。
在 GKE 上使用 NVIDIA GPU Operator 管理 GPU 堆疊
瞭解何時應使用 NVIDIA GPU Operator,以及如何在 GKE 啟用 NVIDIA GPU Operator。
為 TPU 上的 LLM 工作負載設定自動調度資源功能
瞭解如何使用 GKE 水平自動調度 Pod 資源 (HPA),透過單一主機 JetStream 部署 Gemma LLM,設定自動調度資源基礎架構。
在 GKE 上使用 TPU 部署 Ray Serve 應用程式和 Stable Diffusion 模型
瞭解如何使用 TPU、Ray Serve 和 Ray Operator 外掛程式,在 GKE 上部署及提供 Stable Diffusion 模型。
使用 GKE 設定 GPU 上 LLM 工作負載的自動調度資源功能
瞭解如何使用 GKE 水平 Pod 自動配置器 (HPA),透過 Hugging Face Text Generation Interface (TGI) 服務架構部署 Gemma LLM,設定自動調度資源基礎架構。
在 A3 Mega 虛擬機器上使用 Megatron-LM 訓練 Llama2
瞭解如何在 A3 Mega 上執行容器型 Megatron-LM PyTorch 工作負載。
在 GKE 中使用多個 GPU 提供 LLM
瞭解如何透過 GKE 使用多個 NVIDIA L4 GPU 提供 Llama 2 70B 或 Falcon 40B。
透過 Ray 在 L4 GPU 提供大型語言模型
瞭解如何在 GKE 中使用 Ray 架構提供 Falcon 7b、Llama2 7b、Falcon 40b 或 Llama2 70b。
使用 JobSet 和 Kueue 自動化調度管理 TPU Multislice 工作負載
瞭解如何使用 JobSet 和 Kueue,在 GKE 的多個 TPU 切片上自動化調度管理 Jax 工作負載。
使用 NVIDIA Data Center GPU Manager (DCGM) 監控 GKE 上的 GPU 工作負載
瞭解如何透過 NVIDIA Data Center GPU Manager (DCGM),觀察 GKE 上的 GPU 工作負載。
快速入門導覽課程:在 GKE Standard 叢集使用 GPU 訓練模型
本快速入門導覽課程說明如何在 GKE 中使用 GPU 部署訓練模型,並將預測結果儲存在 Cloud Storage。
在 GKE 執行大規模機器學習工作
這部影片說明 GKE 如何解決大規模訓練大型 AI 模型時常見的挑戰,以及在 GKE 訓練及提供大型機器學習模型的最佳做法。
TensorFlow 搭配可加快 GPU 的 GKE Autopilot
這篇網誌文章提供逐步指南,說明如何建立、執行及拆除支援 Tensorflow 的 Jupiter 筆記本。
在 GKE 上實作工作佇列系統,並在命名空間之間共用配額
本教學課程會使用 Kueue 說明如何實作工作佇列系統,以及在 GKE 上設定不同命名空間之間的工作負載資源和配額共用。
使用 GKE 和 Cloud Storage 建構 RAG 聊天機器人
本教學課程說明如何將以檢索增強生成技術為基礎的大型語言模型應用程式,與上傳至 Cloud Storage bucket 的 PDF 檔案整合。
使用 BigQuery、Cloud Run 和 Gemma 分析 GKE 中的資料
本教學課程說明如何使用 BigQuery 儲存及處理資料、Cloud Run 處理要求,以及 Gemma LLM 分析及預測資料,在 GKE 上分析大型資料集。
在 GKE 執行 AI/機器學習推論的最佳資料載入做法
瞭解如何縮短 Google Kubernetes Engine 機器學習應用程式的資料載入時間。
透過 GKE 中的 NVIDIA NIM 微服務,有效率地提供最佳化 AI 模型
瞭解如何在 GKE 輕鬆部署先進的 NVIDIA NIM 微服務,並加速 AI 工作負載。
在 GKE 使用全新 Ray Operator,加速正式環境中的 Ray
瞭解如何運用 GKE 上的 Ray Operator 簡化 AI/機器學習正式環境部署作業,提升效能和擴充性。
實用指南:在 GKE 上充分提高 GPU 的 LLM 服務處理量
瞭解如何充分提高 GKE 上 GPU 的大型語言模型 (LLM) 服務處理量,包括基礎架構決策和模型伺服器最佳化。
在 Kubernetes 上使用 JAX 搭配 NVIDIA GPU 執行機器學習
瞭解如何透過 NVIDIA GPU,在 GKE 上執行 JAX 多 GPU、多節點應用程式。
LiveX AI 透過在 GKE 和 NVIDIA AI 上訓練及提供的 AI 代理,降低客戶服務成本
LiveX AI 如何使用 GKE 建構 AI 代理,提升顧客滿意度並降低成本。
使用 GKE 和 Cloud SQL 建構具備 RAG 功能的生成式 AI 應用程式基礎架構
參考架構:使用 GKE、Cloud SQL、Ray、Hugging Face 和 LangChain,透過檢索增強生成 (RAG) 技術執行生成式 AI 應用程式。
創新專利搜尋流程:IPRally 如何在 GKE 和 Ray 上運用 AI
IPRally 如何運用 GKE 和 Ray 建構可擴充的高效機器學習平台,加快專利搜尋速度並提高準確度。
GKE 上的 Gemma 深入介紹:提供開放生成式 AI 模型的全新創新功能
使用頂尖的 Gemma 開放式模型,建構可攜式、可自訂的 AI 應用程式,並部署至 GKE。
搭配使用 Weights & Biases 平台與 Google Kubernetes Engine,簡化 MLOps
搭配使用 Weights & Biases 與 GKE,簡化模型開發和部署程序。
在全代管的 GKE 中執行 AI,現提供全新運算選項、定價和資源預留
GKE Autopilot 可為 AI/機器學習工作負載提供更完善的 GPU 支援、更優異的效能,以及更低的價格。
Ordaōs Bio 如何在 GKE 上運用生成式 AI
Ordaōs Bio 是領先業界的 AI 加速器,專門用於生物醫學研究和探索,致力於尋找腫瘤學和慢性發炎疾病的新型免疫療法解決方案。
瞭解這間快速成長的新創公司如何透過 GKE 運用機器學習技術
矽谷新創公司 Moloco 如何運用 GKE 和 TensorFlow 企業版的強大功能,大幅強化機器學習 (ML) 基礎架構。