推論服務是將生成式 AI 模型部署至實際應用程式的關鍵。GKE 提供穩健且可擴充的平台,用於管理容器化工作負載,因此是開發或正式環境中提供模型的絕佳選擇。有了 GKE,您就能運用 Kubernetes 的自動調度管理、擴充和高可用性功能,有效率地部署及管理推論服務。
Google Cloud 瞭解 AI/機器學習推論的特定需求,因此推出 GKE 生成式 AI 功能,這是一套專為強化及最佳化 GKE 推論服務而設計的功能。如要進一步瞭解特定功能,請參閱「GKE 生成式 AI 功能」。
開始在 GKE 執行 AI/機器學習模型推論
只要幾分鐘,就能開始探索 GKE 的 AI/機器學習模型推論功能。您可以使用 GKE 的免費方案,開始使用 Kubernetes,不必支付叢集管理費用。
- 嘗試「部署模型」步驟,部署容器化模型和模型伺服器。
- 請參閱「GKE 推論最佳做法總覽」,瞭解在 GKE 規劃及執行推論工作負載的指南和資源。
術語
本頁面使用下列與 GKE 推論相關的術語:
- 推論:在 GKE 叢集內執行生成式 AI 模型 (例如大型語言模型或擴散模型),根據輸入資料生成文字、嵌入或其他輸出內容。GKE 上的模型推論會運用加速器,有效率地處理複雜的運算,進行即時或批次處理。
- 模型:從資料中學習模式並用於推論的生成式 AI 模型。模型的大小和架構各有不同,從較小的特定領域模型,到擁有數十億個參數、專為各種語言工作最佳化的大型類神經網路,應有盡有。
- 模型伺服器:容器化服務,負責接收推論要求並傳回推論。這項服務可能是 Python 應用程式,也可能是更強大的解決方案,例如 vLLM、JetStream、TensorFlow Serving 或 Triton Inference Server。模型伺服器會將模型載入記憶體,並在加速器上執行運算,有效率地傳回推論結果。
- 加速器:特殊硬體,例如 NVIDIA 的圖形處理器 (GPU) 和 Google 的 Tensor Processing Unit (TPU),可附加至 GKE 節點,加快運算速度,特別是訓練和推論工作。
- 量化:這項技術可將模型權重和活化函式,從高精確度資料類型轉換為低精確度資料類型,藉此縮減 AI/機器學習模型的大小,並提高推論速度。
GKE 推論作業的優點
在 GKE 上提供推論服務有幾項優點:
- 高性價比:滿足推論服務需求,兼顧價值與速度。GKE 提供多種強大的加速器 (GPU 和 TPU) 供您挑選,讓您只為所需的效能付費。
- 加快部署速度:GKE 生成式 AI 功能提供量身打造的最佳做法、資格條件和最佳做法,可加快上市時間。
- 可擴充效能:使用 GKE Inference Gateway、水平自動調度 Pod 資源 (HPA) 和自訂指標,透過預先建構的監控功能水平擴展效能。您可以執行各種預先訓練或自訂模型,參數數量從 80 億到 6, 710 億不等。
- 完整可攜性:採用開放標準,享有完整可攜性。Google 致力於開發重要的 Kubernetes API,包括 Gateway 和 LeaderWorkerSet,且所有 API 都能與 Kubernetes 發行版本搭配使用。
- 生態系統支援:GKE 擁有強大的生態系統,支援 Kueue (用於進階資源佇列和管理) 和 Ray (用於分散式運算) 等工具,可協助您以可擴充且有效率的方式訓練和推論模型。
GKE 推論作業的運作方式
本節概略說明使用 GKE 提供推論服務的步驟:
將模型容器化:將應用程式容器化,是指建立容器映像檔,也就是可執行的套件,內含執行應用程式所需的一切:程式碼、執行階段、系統工具、系統程式庫和設定。簡單的應用程式可以容器化為單一單位,而較複雜的應用程式則可拆分為多個容器化元件。如要部署模型,請將模型伺服器 (例如 vLLM) 容器化,並從 Cloud Storage 或 Hugging Face 等存放區載入模型權重。使用 GKE Inference 快速入門導覽課程時,系統會自動在資訊清單中管理容器映像檔。
建立 GKE 叢集:建立 GKE 叢集來託管部署作業。選擇 Autopilot 即可享有代管體驗,選擇 Standard 則可自訂。設定叢集大小、節點類型和加速器。如要使用最佳化設定,請參閱推論快速入門導覽課程。
將模型部署為 Kubernetes Deployment:建立 Kubernetes Deployment 來管理推論服務。Deployment 是 Kubernetes API 物件,可讓您執行多個 Pod 副本,並分散在叢集中的節點。指定 Docker 映像檔、副本和設定。Kubernetes 會提取映像檔,並在 GKE 叢集節點上執行容器。使用模型伺服器和模型設定 Pod,包括 LoRA 轉接器 (如有需要)。
公開推論服務:建立 Kubernetes Service,為 Deployment 提供網路端點,讓用戶端應用程式可以存取推論服務。使用 Inference Gateway,即可針對生成式 AI 推論工作負載,進行智慧型負載平衡和轉送。您也可以參閱負載平衡策略比較,選擇最符合需求的選項。
處理推論要求:將應用程式用戶端的資料,以預期格式 (JSON、gRPC) 傳送至服務端點。如果使用負載平衡器,系統會將要求分配給模型副本。模型伺服器會處理要求、執行模型,並傳回推論結果。
調度及監控推論部署作業:使用 HPA 調度推論資源,根據 CPU 或延遲時間自動調整副本。水平 Pod 自動配置器 (HPA) 是 Kubernetes 控制器,可根據觀察到的指標 (例如 CPU 使用率或自訂指標),自動增加或減少工作負載 (例如 Deployment) 中的 Pod 數量。使用推論快速入門導覽課程,取得自動生成的資源調度建議。如要追蹤效能,請使用 Cloud Monitoring 和 Cloud Logging,搭配預先建構的可觀測性功能,包括 vLLM 等熱門模型伺服器的資訊主頁。
如要查看使用特定模型、模型伺服器和加速器的詳細範例,請參閱「推論範例」。
GKE 生成式 AI 功能
您可以搭配或單獨使用這些功能,解決提供生成式 AI 模型時遇到的主要難題,並提高 GKE 環境中的資源使用率,不需額外付費。
| 名稱 | 說明 | 優點 |
|---|---|---|
| GKE Inference 快速入門導覽課程 |
分析推論工作負載的效能和成本效益。 指定業務需求,並取得量身打造的最佳做法,找出最符合需求的加速器、資源調度、儲存空間設定和模型伺服器組合。您可以透過 gcloud CLI 和 Google Cloud 控制台存取這項服務。 |
|
| GKE Inference Gateway | 依據 KV 快取使用率等指標轉送,縮短延遲時間。 詳情請參閱「關於 GKE Inference Gateway」 |
|
| 模型權重載入加速器 | 使用 Cloud Storage FUSE 搭配快取和平行下載功能,快速存取 Cloud Storage 中的資料。如要進一步瞭解如何將 Cloud Storage FUSE 用於 AI/機器學習工作負載,請參閱參考架構。 Google Cloud Managed Lustre 是專為 AI 最佳化的高效能全代管平行檔案系統,可連結至 10,000 個以上的 Pod。如要進一步瞭解如何使用 Managed Lustre 處理 AI/機器學習工作負載,請參閱參考架構。 Google Cloud Hyperdisk ML 是網路連接磁碟,最多可連接 2,500 個 Pod。 |
|
推論成效指標
如要最佳化推論工作負載,請務必瞭解如何評估其效能。下表說明在 GKE 基準測試推論效能的主要指標。
| 基準指標 | 公制 (單位) | 說明 |
|---|---|---|
| 延遲時間 | 第一個詞元生成時間 (TTFT) (毫秒) | 生成要求的第一個詞元所需的時間。 |
| 個別輸出詞元的正規化時間 (NTPOT) (毫秒) | 要求延遲時間,依輸出詞元數量正規化,以 request_latency / total_output_tokens 為單位。 |
|
| 個別輸出詞元時間 (TPOT) (毫秒) | 生成一個輸出詞元所需的時間,以 (request_latency - time_to_first_token) / (total_output_tokens - 1) 為單位。 |
|
| 詞元間延遲時間 (ITL) (毫秒) | 衡量生成兩個輸出詞元的延遲時間。TPOT 評估的是整個要求的延遲時間,ITL 則是評估生成每個輸出詞元所需的時間。接著,系統會匯總這些個別測量值,產生平均值、中位數和百分位數值 (例如 p90)。 | |
| 要求延遲時間 (毫秒) | 完成要求的端對端時間。 | |
| 處理量 | 每秒要求數 | 每秒處理的要求總數。請注意,這項指標可能無法可靠地衡量 LLM 處理量,因為不同脈絡長度的處理量可能會有很大差異。 |
| 每秒輸出詞元數 | 常見指標,計算方式為total_output_tokens_generated_by_server / elapsed_time_in_seconds。 |
|
| 每秒輸入詞元數 | 測量結果為 total_input_tokens_generated_by_server / elapsed_time_in_seconds。 |
|
| 每秒詞元數 | 以total_tokens_generated_by_server / elapsed_time_in_seconds為單位。這項指標會同時計算輸入和輸出詞元,方便您比較預先填入時間較長和解碼時間較長的工作負載。 |
規劃推論作業
如要成功部署推論,必須仔細規劃多個重要領域,包括成本效益、效能、彈性、效率和加速器容量可用性。如需建構可擴充、高效能且具成本效益的推論平台,請參閱「GKE 推論最佳做法總覽」一文,瞭解詳細建議。
試用推論範例
查看生成式 AI 模型、加速器和模型伺服器的 GKE 部署範例。如果您才剛開始使用,建議您參閱「在 GKE 上使用 vLLM 透過 GPU 提供 Gemma 開放式模型」教學課程。
或依關鍵字搜尋教學課程:
| 加速器 | 模型伺服器 | 教學課程 |
|---|---|---|
| GPU | vLLM | 在 GKE 上提供 DeepSeek-R1 671B 或 Llama 3.1 405B 等 LLM |
| GPU | vLLM | 在 GKE 上使用 GPU 透過 vLLM 提供 Gemma 開放式模型 |
| GPU | vLLM | 使用 GKE Inference Gateway 提供 LLM |
| GPU | vLLM | 使用預先設定的架構 ,在 GKE 提供開放原始碼 LLM |
| GPU | Ray Serve | 透過 Ray 在 L4 GPU 提供大型語言模型 |
| GPU | TGI | 在 GKE 中使用多個 GPU 提供 LLM |
| GPU | TorchServe | 透過 TorchServe 在 GKE 上提供 T5 |
| TPU | vLLM | 透過 vLLM 在 GKE 上使用 TPU Trillium 提供 LLM |
| TPU | vLLM | 透過 KubeRay 在 GKE 上使用 TPU 提供 LLM |
| TPU | MaxDiffusion | 透過 MaxDiffusion 在 GKE 上使用 TPU 提供 Stable Diffusion XL (SDXL) |
| TPU | vLLM | 使用預先設定的架構,在 TPU 上提供開放原始碼 LLM |
後續步驟
- 請前往 GKE 的 AI/機器學習自動化調度管理入口網站,查看官方指南、教學課程和用途,瞭解如何在 GKE 執行 AI/機器學習工作負載。
- 在 GKE AI Labs 探索實驗性範例,瞭解如何運用 GKE 加速 AI/機器學習計畫。