關於 GKE 的 AI/機器學習模型推論功能

本頁面說明在 Google Kubernetes Engine (GKE) 上,使用 GKE 生成式 AI 功能執行生成式 AI/機器學習模型推論工作負載的重要概念、優點和步驟。

推論服務是將生成式 AI 模型部署至實際應用程式的關鍵。GKE 提供穩健且可擴充的平台,用於管理容器化工作負載,因此是開發或正式環境中提供模型的絕佳選擇。有了 GKE,您就能運用 Kubernetes 的自動調度管理、擴充和高可用性功能,有效率地部署及管理推論服務。

Google Cloud 瞭解 AI/機器學習推論的特定需求,因此推出 GKE 生成式 AI 功能,這是一套專為強化及最佳化 GKE 推論服務而設計的功能。如要進一步瞭解特定功能,請參閱「GKE 生成式 AI 功能」。

開始在 GKE 執行 AI/機器學習模型推論

只要幾分鐘,就能開始探索 GKE 的 AI/機器學習模型推論功能。您可以使用 GKE 的免費方案,開始使用 Kubernetes,不必支付叢集管理費用。

  1. 前往 Google Cloud 控制台的 GKE AI/機器學習頁面

  2. 嘗試「部署模型」步驟,部署容器化模型和模型伺服器。
  3. 請參閱「GKE 推論最佳做法總覽」,瞭解在 GKE 規劃及執行推論工作負載的指南和資源。

術語

本頁面使用下列與 GKE 推論相關的術語:

  • 推論:在 GKE 叢集內執行生成式 AI 模型 (例如大型語言模型或擴散模型),根據輸入資料生成文字、嵌入或其他輸出內容。GKE 上的模型推論會運用加速器,有效率地處理複雜的運算,進行即時或批次處理。
  • 模型:從資料中學習模式並用於推論的生成式 AI 模型。模型的大小和架構各有不同,從較小的特定領域模型,到擁有數十億個參數、專為各種語言工作最佳化的大型類神經網路,應有盡有。
  • 模型伺服器:容器化服務,負責接收推論要求並傳回推論。這項服務可能是 Python 應用程式,也可能是更強大的解決方案,例如 vLLM、JetStream、TensorFlow Serving 或 Triton Inference Server。模型伺服器會將模型載入記憶體,並在加速器上執行運算,有效率地傳回推論結果。
  • 加速器:特殊硬體,例如 NVIDIA 的圖形處理器 (GPU) 和 Google 的 Tensor Processing Unit (TPU),可附加至 GKE 節點,加快運算速度,特別是訓練和推論工作。
  • 量化:這項技術可將模型權重和活化函式,從高精確度資料類型轉換為低精確度資料類型,藉此縮減 AI/機器學習模型的大小,並提高推論速度。

GKE 推論作業的優點

在 GKE 上提供推論服務有幾項優點:

  • 高性價比:滿足推論服務需求,兼顧價值與速度。GKE 提供多種強大的加速器 (GPU 和 TPU) 供您挑選,讓您只為所需的效能付費。
  • 加快部署速度:GKE 生成式 AI 功能提供量身打造的最佳做法、資格條件和最佳做法,可加快上市時間。
  • 可擴充效能:使用 GKE Inference Gateway、水平自動調度 Pod 資源 (HPA) 和自訂指標,透過預先建構的監控功能水平擴展效能。您可以執行各種預先訓練或自訂模型,參數數量從 80 億到 6, 710 億不等。
  • 完整可攜性:採用開放標準,享有完整可攜性。Google 致力於開發重要的 Kubernetes API,包括 Gateway 和 LeaderWorkerSet,且所有 API 都能與 Kubernetes 發行版本搭配使用。
  • 生態系統支援:GKE 擁有強大的生態系統,支援 Kueue (用於進階資源佇列和管理) 和 Ray (用於分散式運算) 等工具,可協助您以可擴充且有效率的方式訓練和推論模型。

GKE 推論作業的運作方式

本節概略說明使用 GKE 提供推論服務的步驟:

  1. 將模型容器化:將應用程式容器化,是指建立容器映像檔,也就是可執行的套件,內含執行應用程式所需的一切:程式碼、執行階段、系統工具、系統程式庫和設定。簡單的應用程式可以容器化為單一單位,而較複雜的應用程式則可拆分為多個容器化元件。如要部署模型,請將模型伺服器 (例如 vLLM) 容器化,並從 Cloud Storage 或 Hugging Face 等存放區載入模型權重。使用 GKE Inference 快速入門導覽課程時,系統會自動在資訊清單中管理容器映像檔。

  2. 建立 GKE 叢集:建立 GKE 叢集來託管部署作業。選擇 Autopilot 即可享有代管體驗,選擇 Standard 則可自訂。設定叢集大小、節點類型和加速器。如要使用最佳化設定,請參閱推論快速入門導覽課程。

  3. 將模型部署為 Kubernetes Deployment:建立 Kubernetes Deployment 來管理推論服務。Deployment 是 Kubernetes API 物件,可讓您執行多個 Pod 副本,並分散在叢集中的節點。指定 Docker 映像檔、副本和設定。Kubernetes 會提取映像檔,並在 GKE 叢集節點上執行容器。使用模型伺服器和模型設定 Pod,包括 LoRA 轉接器 (如有需要)。

  4. 公開推論服務:建立 Kubernetes Service,為 Deployment 提供網路端點,讓用戶端應用程式可以存取推論服務。使用 Inference Gateway,即可針對生成式 AI 推論工作負載,進行智慧型負載平衡和轉送。您也可以參閱負載平衡策略比較,選擇最符合需求的選項。

  5. 處理推論要求:將應用程式用戶端的資料,以預期格式 (JSON、gRPC) 傳送至服務端點。如果使用負載平衡器,系統會將要求分配給模型副本。模型伺服器會處理要求、執行模型,並傳回推論結果。

  6. 調度及監控推論部署作業:使用 HPA 調度推論資源,根據 CPU 或延遲時間自動調整副本。水平 Pod 自動配置器 (HPA) 是 Kubernetes 控制器,可根據觀察到的指標 (例如 CPU 使用率或自訂指標),自動增加或減少工作負載 (例如 Deployment) 中的 Pod 數量。使用推論快速入門導覽課程,取得自動生成的資源調度建議。如要追蹤效能,請使用 Cloud Monitoring 和 Cloud Logging,搭配預先建構的可觀測性功能,包括 vLLM 等熱門模型伺服器的資訊主頁。

如要查看使用特定模型、模型伺服器和加速器的詳細範例,請參閱「推論範例」。

GKE 生成式 AI 功能

您可以搭配或單獨使用這些功能,解決提供生成式 AI 模型時遇到的主要難題,並提高 GKE 環境中的資源使用率,不需額外付費。

名稱 說明 優點
GKE Inference 快速入門導覽課程

分析推論工作負載的效能和成本效益。 指定業務需求,並取得量身打造的最佳做法,找出最符合需求的加速器、資源調度、儲存空間設定和模型伺服器組合。您可以透過 gcloud CLI 和 Google Cloud 控制台存取這項服務。

詳情請參閱「使用 GKE Inference Quickstart 分析提供模型效能和費用」。

  • 自動執行選擇及設定基礎架構的初始步驟,節省時間。
  • 可讓您完全掌控 Kubernetes 設定,以便進一步調整。
GKE Inference Gateway

依據 KV 快取使用率等指標轉送,縮短延遲時間。

詳情請參閱「關於 GKE Inference Gateway」

  • 共用使用 LoRA 檔案的微調模型,並根據親和性選擇端點,提高成本效益。
  • 動態存取各區域的 GPU 和 TPU 運算資源,實現高可用性。
  • 使用 Model Armor 外掛程式政策,強化模型安全性。
模型權重載入加速器

使用 Cloud Storage FUSE 搭配快取和平行下載功能,快速存取 Cloud Storage 中的資料。如要進一步瞭解如何將 Cloud Storage FUSE 用於 AI/機器學習工作負載,請參閱參考架構。

Google Cloud Managed Lustre 是專為 AI 最佳化的高效能全代管平行檔案系統,可連結至 10,000 個以上的 Pod。如要進一步瞭解如何使用 Managed Lustre 處理 AI/機器學習工作負載,請參閱參考架構。

Google Cloud Hyperdisk ML 是網路連接磁碟,最多可連接 2,500 個 Pod。

  • 在 GKE 盡可能縮短權重載入模型的延遲時間,縮短推論啟動時間。
  • 如果部署作業的節點擴充能力有限,建議使用 Cloud Storage FUSE 掛接模型權重。
  • 如果推論工作負載需要穩定的水平擴展效能,Google Cloud Managed Lustre 可同時支援多個 Pod 的高處理量和低延遲檔案存取。
  • 如果需要大規模、一致且低延遲地存取大型模型權重,Google Cloud Hyperdisk ML 提供專屬的區塊儲存空間解決方案。

推論成效指標

如要最佳化推論工作負載,請務必瞭解如何評估其效能。下表說明在 GKE 基準測試推論效能的主要指標。

基準指標 公制 (單位) 說明
延遲時間 第一個詞元生成時間 (TTFT) (毫秒) 生成要求的第一個詞元所需的時間。
個別輸出詞元的正規化時間 (NTPOT) (毫秒) 要求延遲時間,依輸出詞元數量正規化,以 request_latency / total_output_tokens 為單位。
個別輸出詞元時間 (TPOT) (毫秒) 生成一個輸出詞元所需的時間,以 (request_latency - time_to_first_token) / (total_output_tokens - 1) 為單位。
詞元間延遲時間 (ITL) (毫秒) 衡量生成兩個輸出詞元的延遲時間。TPOT 評估的是整個要求的延遲時間,ITL 則是評估生成每個輸出詞元所需的時間。接著,系統會匯總這些個別測量值,產生平均值、中位數和百分位數值 (例如 p90)。
要求延遲時間 (毫秒) 完成要求的端對端時間。
處理量 每秒要求數 每秒處理的要求總數。請注意,這項指標可能無法可靠地衡量 LLM 處理量,因為不同脈絡長度的處理量可能會有很大差異。
每秒輸出詞元數 常見指標,計算方式為total_output_tokens_generated_by_server / elapsed_time_in_seconds。
每秒輸入詞元數 測量結果為 total_input_tokens_generated_by_server / elapsed_time_in_seconds。
每秒詞元數 以total_tokens_generated_by_server / elapsed_time_in_seconds為單位。這項指標會同時計算輸入和輸出詞元,方便您比較預先填入時間較長和解碼時間較長的工作負載。

規劃推論作業

如要成功部署推論,必須仔細規劃多個重要領域,包括成本效益、效能、彈性、效率和加速器容量可用性。如需建構可擴充、高效能且具成本效益的推論平台,請參閱「GKE 推論最佳做法總覽」一文,瞭解詳細建議。

試用推論範例

查看生成式 AI 模型、加速器和模型伺服器的 GKE 部署範例。如果您才剛開始使用,建議您參閱「在 GKE 上使用 vLLM 透過 GPU 提供 Gemma 開放式模型」教學課程。

或依關鍵字搜尋教學課程:

加速器 模型伺服器 教學課程
GPU vLLM 在 GKE 上提供 DeepSeek-R1 671B 或 Llama 3.1 405B 等 LLM
GPU vLLM 在 GKE 上使用 GPU 透過 vLLM 提供 Gemma 開放式模型
GPU vLLM 使用 GKE Inference Gateway 提供 LLM
GPU vLLM 使用預先設定的架構 ,在 GKE 提供開放原始碼 LLM
GPU Ray Serve 透過 Ray 在 L4 GPU 提供大型語言模型
GPU TGI 在 GKE 中使用多個 GPU 提供 LLM
GPU TorchServe 透過 TorchServe 在 GKE 上提供 T5
TPU vLLM 透過 vLLM 在 GKE 上使用 TPU Trillium 提供 LLM
TPU vLLM 透過 KubeRay 在 GKE 上使用 TPU 提供 LLM
TPU MaxDiffusion 透過 MaxDiffusion 在 GKE 上使用 TPU 提供 Stable Diffusion XL (SDXL)
TPU vLLM 使用預先設定的架構,在 TPU 上提供開放原始碼 LLM

後續步驟