「GKE 中的 AI/機器學習自動化調度管理」說明文件
Google Kubernetes Engine (GKE) 提供單一整合式平台，可自動調度管理整個 AI/機器學習生命週期。這項服務提供強大功能和彈性，可大幅提升訓練、推論和代理工作負載的效能，讓您簡化基礎架構並開始提供成果。GKE 的最先進自動化調度管理功能可提供下列優勢：
- 硬體加速器：存取及管理所需的高效能 GPU 和 TPU，大規模執行訓練和推論。
- 堆疊彈性：與您熟悉且信任的分散式運算、資料處理和模型提供架構整合。
- 代管型 Kubernetes 簡便易用：享有代管平台的所有優點，自動化、擴充及強化整個 AI/機器學習生命週期的安全性，同時保有彈性。
歡迎瀏覽我們的網誌、教學課程和最佳做法，瞭解 GKE 如何最佳化 AI/機器學習工作負載。如要進一步瞭解優點和可用功能，請參閱「 GKE 的 AI/機器學習工作負載簡介」總覽。
使用價值 $300 美元的免費抵免額，開始概念驗證
- 運用我們最新生成式 AI 模型和工具進行開發。
- 免費使用 Compute Engine 和 AI API 等 20 多項熱銷產品。
- 不會自動收費，也無需綁約
繼續探索 20 多項永久免費的產品
存取 20 多項常見用途的免費產品，包括 AI API、VM 和資料倉儲等。
說明文件資源
管理 AI 基礎架構和加速器
- 概念
- 概念
- 概念
- 最佳做法
- 最佳做法
- 最佳做法
- 快速入門導覽課程
- 影片
- 影片
大規模訓練 AI 模型
- 快速入門導覽課程
- 教學課程
- 教學課程
- 教學課程
- 教學課程
- 快速入門導覽課程
- 操作說明
- 教學課程
提供 AI 模型進行推論
- 最佳做法
- 概念
- 最佳做法
- 操作說明
- 快速入門導覽課程
- 教學課程
- 教學課程
- 教學課程
- 教學課程
- 教學課程
相關資源
關於 GKE 上的 Agent Substrate
瞭解如何在 GKE 使用 Agent Substrate，在 Kubernetes 叢集大規模執行代理工作負載。
透過 Cloud Storage 和 GKE 最佳化 AI 和機器學習工作負載
瞭解如何使用 Cloud Storage FUSE，針對 GKE 上的 AI 和機器學習工作負載，進行效能最佳化調整。
使用 Managed Lustre 和 GKE 最佳化 AI 和機器學習工作負載
瞭解如何使用 Managed Lustre，在 GKE 最佳化 AI 和機器學習工作負載的效能。
在 GKE 使用 Agent Sandbox 隔離 AI 程式碼執行作業
瞭解如何在 GKE 上安裝及執行 Agent Sandbox 控制器，並在叢集上部署沙箱環境，測試不受信任的殼層指令。
選擇 AI 代理工作負載的儲存空間
瞭解如何為 GKE Agent Sandbox 上的 AI 代理工作負載選擇儲存空間選項。
管理 GKE 儲存空間的 Agent Sandbox
瞭解如何為 GKE 上的 Agent Sandbox 實作儲存空間，以因應不同的資料生命週期模式。
在 GKE 上搭配使用開放原始碼 Kata Containers 和 Agent Sandbox
瞭解如何在 GKE 上搭配使用開放原始碼 Kata Containers 和 Agent Sandbox，隔離不信任的程式碼執行作業。
使用 Agent Development Kit (ADK) 和自行託管的大型語言模型，在 GKE 部署代理式 AI 應用程式
瞭解如何使用 Agent Development Kit (ADK) 和 vLLM，在 GKE 部署及管理容器化代理式 AI 應用程式，並透過 Llama 3.1 執行可擴充的推論。
使用 Agent Development Kit (ADK) 和 Agent Platform，在 GKE 部署代理式 AI 應用程式
瞭解如何使用 Agent Development Kit (ADK) 和 Agent Platform，在 GKE 部署及管理容器化代理式 AI 應用程式，並透過 Gemini 2.0 Flash 執行可擴充的推論。
在 GKE 上使用 TPU 搭配 Optimum TPU 提供開放原始碼模型
瞭解如何使用 Hugging Face 的 Optimum TPU 服務架構，在 GKE 上使用 Tensor Processing Unit (TPU) 部署 LLM。
採用成本效益最高且高可用性的 GPU 佈建策略，在 GKE 提供 LLM
瞭解如何使用 DWS 彈性啟動，在 GKE 最佳化 LLM 服務工作負載的成本。
使用 Hyperdisk ML 加快 AI/機器學習資料載入速度
瞭解如何使用 Hyperdisk ML，簡化及加速在 GKE 載入 AI/機器學習模型權重的過程。
透過 JetStream 和 PyTorch 在 GKE 上使用 TPU 提供 LLM
瞭解如何透過 PyTorch，在 GKE 上使用 Tensor Processing Unit (TPU) 搭配 JetStream 提供 LLM。
最佳做法：在 GKE 使用 GPU 最佳化 LLM 推論
瞭解最佳做法，在 GKE 上使用 vLLM 和 Text Generation Inference (TGI) 服務架構，透過 GPU 提高 LLM 推論效能。
在 GKE 上使用 NVIDIA GPU Operator 管理 GPU 堆疊
瞭解何時應使用 NVIDIA GPU 運算子，以及如何在 GKE 啟用 NVIDIA GPU 運算子。
為 TPU 上的 LLM 工作負載設定自動調度資源功能
瞭解如何使用 GKE 水平自動調度 Pod 資源 (HPA)，透過單一主機 JetStream 部署 Gemma LLM，設定自動調度資源基礎架構。
在 GKE 上使用 TPU 部署 Ray Serve 應用程式和 Stable Diffusion 模型
瞭解如何使用 TPU、Ray Serve 和 Ray Operator 外掛程式，在 GKE 上部署及提供 Stable Diffusion 模型。
使用 GKE 設定 GPU 上 LLM 工作負載的自動調度資源功能
瞭解如何使用 GKE 水平 Pod 自動配置器 (HPA)，透過 Hugging Face Text Generation Interface (TGI) 服務架構部署 Gemma LLM，設定自動調度資源基礎架構。
在 A3 Mega 虛擬機器上使用 Megatron-LM 訓練 Llama2
瞭解如何在 A3 Mega 上執行容器型 Megatron-LM PyTorch 工作負載。
在 GKE 中使用多個 GPU 提供 LLM
瞭解如何透過 GKE 使用多個 NVIDIA L4 GPU 提供 Llama 2 70B 或 Falcon 40B。
透過 Ray 在 L4 GPU 提供大型語言模型
瞭解如何在 GKE 中使用 Ray 架構提供 Falcon 7b、Llama2 7b、Falcon 40b 或 Llama2 70b。
使用 JobSet 和 Kueue 自動化調度管理 TPU Multislice 工作負載
瞭解如何使用 JobSet 和 Kueue，在 GKE 的多個 TPU slice 上自動化調度管理 Jax 工作負載。
使用 NVIDIA Data Center GPU Manager (DCGM) 監控 GKE 上的 GPU 工作負載
瞭解如何透過 NVIDIA Data Center GPU Manager (DCGM)，在 GKE 觀察 GPU 工作負載。
快速入門導覽課程：在 GKE Standard 叢集使用 GPU 訓練模型
本快速入門導覽課程說明如何在 GKE 中使用 GPU 部署訓練模型，並將預測結果儲存在 Cloud Storage。
在 GKE 執行大規模機器學習工作
這部影片說明 GKE 如何解決大規模訓練大型 AI 模型時常見的挑戰，以及在 GKE 訓練及提供大型機器學習模型的最佳做法。
TensorFlow 搭配可加快 GPU 的 GKE Autopilot
這篇網誌文章提供逐步指南，說明如何建立、執行及拆除支援 Tensorflow 的 Jupiter 筆記本。
在 GKE 上實作工作佇列系統，並在命名空間之間共用配額
本教學課程會使用 Kueue，說明如何實作工作佇列系統，以及在 GKE 上設定不同命名空間之間的工作負載資源和配額共用。
使用 GKE 和 Cloud Storage 建構 RAG 聊天機器人
本教學課程說明如何將採用檢索增強生成技術的大型語言模型應用程式，與上傳至 Cloud Storage bucket 的 PDF 檔案整合。
使用 BigQuery、Cloud Run 和 Gemma 分析 GKE 中的資料
本教學課程說明如何使用 BigQuery 儲存及處理資料、Cloud Run 處理要求，以及 Gemma LLM 分析資料及預測，在 GKE 上分析大型資料集。
在 GKE 載入資料以進行 AI/機器學習推論的最佳做法
瞭解如何縮短 Google Kubernetes Engine 機器學習應用程式的資料載入時間。
透過 GKE 中的 NVIDIA NIM 微服務，有效率地提供最佳化 AI 模型
瞭解如何在 GKE 輕鬆部署先進的 NVIDIA NIM 微服務，並加速 AI 工作負載。
在 GKE 上使用全新 Ray Operator 加快 Ray 正式環境作業
瞭解如何運用 GKE 上的 Ray Operator 簡化 AI/機器學習正式環境部署作業，提升效能和擴充性。
在 GKE 上盡可能提高 GPU 的 LLM 服務處理量：實用指南
瞭解如何充分提高 GKE 上 GPU 的大型語言模型 (LLM) 服務處理量，包括基礎架構決策和模型伺服器最佳化。
在 Kubernetes 上使用 JAX 搭配 NVIDIA GPU 執行機器學習
瞭解如何透過 NVIDIA GPU，在 GKE 上執行 JAX 多 GPU、多節點應用程式。
LiveX AI 在 GKE 和 NVIDIA AI 訓練及提供 AI 代理，降低客戶服務成本
LiveX AI 如何使用 GKE 建構 AI 代理，提升客戶滿意度並降低成本。
使用 GKE 和 Cloud SQL 建構具備 RAG 功能的生成式 AI 應用程式基礎架構
參考架構：使用 GKE、Cloud SQL、Ray、Hugging Face 和 LangChain，透過檢索增強生成 (RAG) 技術執行生成式 AI 應用程式。
創新專利搜尋流程：IPRally 如何在 GKE 和 Ray 上運用 AI
IPRally 如何運用 GKE 和 Ray 建構可擴充的高效機器學習平台，加快專利搜尋速度並提高準確度。
GKE 上的 Gemma 深入介紹：提供開放生成式 AI 模型的全新創新功能
使用頂尖的 Gemma 開放式模型，建構可攜式、可自訂的 AI 應用程式，並部署至 GKE。
在 Google Cloud 中為 AI 和機器學習工作負載設計儲存空間
在 Google Cloud 中，為 AI 和機器學習工作負載選取最佳儲存空間選項組合。
搭配使用 Weights & Biases 平台與 Google Kubernetes Engine，簡化 MLOps
搭配使用 Weights & Biases 與 GKE，簡化模型開發和部署程序。
在全代管的 GKE 中執行 AI，現提供全新運算選項、定價和資源預留功能
GKE Autopilot 可為 AI/機器學習工作負載提供更完善的 GPU 支援、更優異的效能，以及更低的價格。
Ordaōs Bio 如何在 GKE 上運用生成式 AI
Ordaōs Bio 是生物醫學研究與探索領域的頂尖 AI 加速器之一，致力於尋找腫瘤學和慢性發炎疾病的新型免疫療法解決方案。
瞭解這間快速成長的新創公司如何透過 GKE 運用機器學習技術
矽谷新創公司 Moloco 如何運用 GKE 和 TensorFlow 企業版的強大功能，大幅強化機器學習 (ML) 基礎架構。