本文提供參考架構，說明如何為多個 AI 模型建立統一的前端。這些模型可託管於地端部署或任何供應商 (包括第三方和 Google Cloud)。如果所有推論伺服器都託管在 Google Kubernetes Engine (GKE)，請參閱「在 GKE 上提供 AI 推論模型服務的網路」。
這項架構的設計宗旨，是讓開發人員選取模型，而不必為每個模型指定個別的 IP 位址。開發人員會改為傳送 OpenAI API 要求，其中包含模型名稱，傳送至前端端點。架構中的系統會將要求轉送至代管指定模型的後端。架構中的前端負載平衡器提供下列集中式管理功能：
- 無論您如何代管模型，所有模型呼叫都會使用單一前端端點。
- API 管理功能。
- AI 防護機制的檢查點。
- Service Extensions 插入點，用於日後擴充。
本文適用於網路管理員和生成式 AI 應用程式管理員，他們想將新的或現有的生成式 AI 模型放在單一推論端點後方。本文不會提供有關如何設計應用程式或部署個別生成式 AI 模型的指引。如需模型部署指南，請參閱在企業中建構及部署生成式 AI 和機器學習模型。這個架構適用於應用程式網路架構，例如分散式應用程式適用的 Cross-Cloud Network，以及其他設計。
架構
下圖顯示的架構中，取用者網路中的端點會指向區域性內部應用程式負載平衡器前端。這個負載平衡器會使用指定模型的名稱，將要求轉送至地端部署或任何供應商代管的模型副本集。前端負載平衡器會為所有代管模型提供整合式服務。
架構圖包含下列元件：
- Private Service Connect 推論端點：所有代管模型的統一端點。使用者會將推論要求傳送至端點 IP 位址。這張圖表顯示單一用戶虛擬私有雲 (VPC) 網路中的 Private Service Connect 端點。您可以在多個虛擬私有雲網路或共用服務虛擬私有雲網路中代管端點。
- 區域性內部應用程式負載平衡器：在此架構中，前端負載平衡器是區域性內部應用程式負載平衡器。前端負載平衡器會根據要求中指定的模型名稱，將流量轉送至副本集區。在這個架構中，客戶應用程式會向負載平衡器發出 OpenAI API 呼叫。如果後端推論伺服器與 OpenAI API 相容，一切就會順利運作。如果推論伺服器與 OpenAI API 不相容，您必須使用Service Extensions實作 API 轉譯器。這項參考架構不包含 API 轉譯器的實作項目。
- Service Extensions 呼叫：您可以透過呼叫，在應用程式負載平衡器中新增額外處理程序。這個設計的架構使用下列註解：
- 推論酬載處理器 (先前為以主體為準的路由器)：
推論酬載處理器部署在 Cloud Run 中。這項功能會從 OpenAI API 要求的內文中讀取模型名稱，並將其寫入標頭中的
X-Gateway-Model-Name欄位。負載平衡器網址對應會使用這個欄位，將要求轉送至適當的後端服務。這項參考架構隨附的 Terraform 部署項目包含推論酬載處理工具設定。 - Apigee：API 管理工具，可提供 API 驗證、安全性、頻率限制、配額追蹤和其他 API 管理服務。這個架構使用 Apigee，但架構支援其他選項。如要從負載平衡器呼叫 Apigee，架構和 Terraform 部署作業會使用Service Extensions 流量擴充功能，呼叫 Apigee 擴充功能處理器。
- Model Armor：AI 防護機制系統，會在推論提示傳送至推論伺服器前，先進行安全檢查。然後對外送回覆執行安全檢查。 這個架構使用 Model Armor 做為 AI 防護措施，但同時也支援其他選項，例如 NVIDIA NeMo Guardrails。本參考架構隨附的 Terraform 部署作業包含基本的 Model Armor 設定。
- 推論酬載處理器 (先前為以主體為準的路由器)：
推論酬載處理器部署在 Cloud Run 中。這項功能會從 OpenAI API 要求的內文中讀取模型名稱，並將其寫入標頭中的
- 後端服務：負載平衡器會根據要求中的模型名稱，將要求轉送至後端服務。後端服務包含網路端點群組 (NEG)。
- 模型副本集：模型副本是部署到一或多個 GPU 或 TPU 的推論伺服器副本。模型副本可以是單一節點或多個節點。副本集是一組統一的模型副本，前端設有負載平衡器。在架構中，模型副本位於 Google Kubernetes Engine (GKE) 叢集內，並位於 GKE Inference Gateway、Gemini Enterprise Agent Platform、Cloud Run、地端部署或其他雲端資料中心，以及網際網路端點後方。
模型副本集設定
在這個架構中，前端負載平衡器會根據模型名稱，將流量導向特定後端服務。指定模型的推論伺服器可託管於下表所述的其中一種設定。
| 副本集類型 | 說明 | 副本負載平衡 |
|---|---|---|
| Agent Platform | 模型副本會在 Agent Platform 中執行。您會將 Agent Platform 端點發布為 Private Service Connect 網路端點群組 (NEG)。前端負載平衡器會使用 Private Service Connect NEG 做為每個不同模型的後端，而每個模型都會建構為後端服務。 | Agent Platform 會在內部進行擴充及負載平衡。 Agent Platform 會根據指標執行加權負載平衡，並根據前置字元快取進行路徑設定，進而提升資源使用率及加快推論速度。詳情請參閱「將模型部署至端點」。 |
| GKE | 推論伺服器會以 Pod 形式在 GKE 副本集虛擬私有雲網路的 GKE 叢集中執行。GKE 中的多個模型副本會共同形成單一後端，位於 Inference Gateway 後方。Inference Gateway 會發布 Private Service Connect 端點，前端負載平衡器會使用 Private Service Connect NEG 存取該端點。 | Inference Gateway 可為 GKE 叢集中的推論後端提供模型感知負載平衡。Inference Gateway 會視情況使用前置字串比對。如果沒有前置字元相符的項目，Inference Gateway 會根據 GPU 或 TPU 指標分配要求。這項設定支援水平自動調度 Pod 資源。 |
| Cloud Run | 推論伺服器會在 Cloud Run 中執行。 Cloud Run 會發布前端負載平衡器可存取的端點，方法是使用無伺服器 NEG。 | Cloud Run 會根據流量自動調整副本數量。僅限單一節點副本。 |
| 混合式 | 推論伺服器會在地端部署環境或其他雲端中執行。您可以在路由虛擬私有雲網路中設定區域內部 Proxy 網路負載平衡器。這個負載平衡器會發布 Private Service Connect 端點，前端負載平衡器會使用 Private Service Connect NEG 存取該端點。路由 VPC 網路中的內部負載平衡器，則會具有指向地端部署或其他雲端負載平衡器 IP 位址的混合式 NEG 後端，該負載平衡器位於地端部署推論伺服器前方。 | 外部負載平衡器的負載平衡機制由外部設施管理員設定。 |
| 網際網路 | 可透過公開網際網路 IP 位址存取的推論伺服器。 前端負載平衡器具有網際網路 NEG 後端，指向網際網路上代管模型的 IP 位址。 | 代管服務供應商會負責資源調度。 |
要求流程
系統會依下列方式轉送推論要求：
- 使用者將 OpenAI API 要求傳送至 Private Service Connect 端點。這項要求包含下列項目：
- 提示。
- 模型名稱，必須與其中一個代管推論伺服器的模型名稱相符。
- Private Service Connect 端點會將要求轉送至前端內部應用程式負載平衡器。
- 負載平衡器會將要求轉送至 Service Extensions。
- Service Extensions Inference Payload Processor程式碼會從要求主體讀取模型名稱，並將其寫入
X-Gateway-Model-Name標頭。 - 負載平衡器會使用 Service Extensions 流量擴充功能呼叫，將要求傳送至 API 管理系統，以取得所需的任何 API 管理服務。
- 負載平衡器會使用 Service Extensions 流量擴充功能呼叫，將提示傳送至 Model Armor 進行篩選。
- 如果提示包含無法遮蓋的機密資訊，系統會封鎖提示，Model Armor 會傳回回應，指出發現違反政策的內容。
- 如果提示包含可遮蓋的私密資訊，或提示完全沒有問題，Model Armor 會遮蓋所有私密資訊，然後轉送提示。
- 如果 Model Armor 允許要求，負載平衡器會查詢網址對應，並根據模型名稱自訂標頭將要求轉送至後端服務。如有需要，網址對應會重新編寫要求網址和路徑，以符合後端需求。
- 後端服務會將要求轉送至相關聯的副本集負載平衡器。
- 特定推論服務的負載平衡器會將要求指派給其中一個副本。
- 副本會處理要求並傳回回應。
- 前端區域性內部應用程式負載平衡器會將回應傳送至 Model Armor 進行篩選。
- 應用程式負載平衡器 會將回應傳回 Private Service Connect 端點，再傳送給使用者。
下圖顯示範例部署作業的路由檢視畫面：
在本例中，系統會根據使用者選取的模型處理提示：
- Gemma：所有提示都會傳送至代管 Gemma 模型的副本集。
- Llama：系統會在兩個副本集之間平均分配這些提示，這兩個副本集都會代管 Llama 模型。這兩個副本集不必以相同方式代管。舉例來說，一個副本集可託管在 Agent Platform，另一個副本集則可託管在 GKE。
- LoRA-1-gemma 或 LoRA-2-gemma：系統會將所有提示詞傳送至同一組副本，這組副本可處理這兩個模型。
使用的產品
本文中的參考架構使用下列 Google Cloud 產品：
- Cloud Load Balancing：一系列高效能、可擴充的全球和區域負載平衡器。
- 虛擬私有雲 (VPC)：虛擬系統，可為 Google Cloud 工作負載提供全球性、可擴充的網路功能。虛擬私有雲包括虛擬私有雲網路對等互連、Private Service Connect、私人服務存取權和 Shared VPC。
- Private Service Connect：這項功能可讓消費者從虛擬私有雲網路內部，以私密方式存取代管服務。
- Cloud Run：無伺服器運算平台，可讓您在 Google 可擴充的基礎架構上直接執行容器。
- Apigee：API 管理工具，可精細控管 API 的存取和使用方式。提供安全性、頻率限制、配額強制執行和數據分析功能。
- Model Armor：這項服務可保護生成式和代理式 AI 資源，防範提示詞注入、敏感資料外洩和有害內容。
設計替代方案
本節說明這項架構部分基本假設的替代方案。
AI 防護機制
建議您使用 Model Armor 做為 AI 防護措施。為集中管理，建議您直接從負載平衡器呼叫，如這個架構所示。您也可以透過下列替代方式導入 Model Armor：
- 使用 API 管理政策呼叫 Model Armor。
- 僅在副本部署 Model Armor。
如果您在模型端點以外的位置導入 AI 防護機制，則可視需要關閉前端負載平衡器上的 Model Armor。如果不想使用 Model Armor，可以透過流量擴充功能部署其他防護措施，例如 NVIDIA NeMo Guardrails。
API 管理
本文架構使用 Apigee 進行 API 管理，並透過負載平衡器服務擴充功能部署。如果 Apigee 不符合您的需求，可以使用 Service Extensions 部署其他 API 管理服務。
如果使用 Service Extensions 部署 API 管理服務無法滿足您的需求，您可能需要部署面向用戶端的網路和面向 API 的網路。在這個情境中，API 管理服務會做為兩個網路之間的橋樑。如要瞭解如何為 Apigee 部署這項功能，請參閱 Apigee 網路選項。
連線至其他網路
本文中的架構使用單一消費者虛擬私有雲網路。不過，您可以在Cross-Cloud Network 部署中，使用服務存取虛擬私有雲網路，與許多其他網路共用 Private Service Connect 端點。
設計須知
建構工作負載架構時，請參考Google Cloud Well-Architected Framework的最佳做法和建議。
安全性、隱私權和法規遵循
- 如要為部署作業新增分散式阻斷服務攻擊 (DDoS) 防護、網頁應用程式防火牆 (WAF) 功能和 IP 位址檢查，請將 Cloud Armor 新增至前端區域內部應用程式負載平衡器。
- 如要為所有後端新增通用驗證層，請實作 Identity-Aware Proxy (IAP)，驗證身分並強制執行授權政策。
- 將網頁應用程式的流量導向 Agent Platform 模型時，您必須選擇用於驗證的身分識別模型：
- 服務帳戶身分 (一般網頁應用程式建議使用)：應用程式會透過 IAP 驗證使用者身分，但會使用服務工作負載身分 (例如 Cloud Run、GKE 或第三方身分) 呼叫 Agent Platform。這項實作方式會從使用者端抽象化 Identity and Access Management (IAM)，但需要應用程式層級的記錄，才能追蹤是哪位使用者產生了哪個提示。
- 傳遞使用者身分 (建議用於嚴格稽核)：應用程式會擷取使用者的 Google OAuth 存取權杖，並直接在
Authorization: Bearer標頭中傳遞至 Agent Platform。這項實作方式會內建使用者動作的 Cloud 稽核記錄記錄功能，但需要為每個使用者佈建 Google CloudIAM 權限 (例如roles/aiplatform.user)。
可靠性
為避免區域性故障，請使用Google Cloud 多區域部署原型，將部署作業複製到第二個區域。
提升作業效率
- 如要監控流量，以便快速找出並修正問題，請使用區域內部應用程式負載平衡器的 Cloud Logging 記錄。
- 為方便探索貴機構支援的機型，請實作可查詢的清單，以傳回可用的機型。舉例來說，您可以在伺服器上建立清單，以回應列出模型 API 呼叫。
效能最佳化
- Cloud Run：如要加快執行個體啟動速度，可以將模型權重儲存在容器映像檔中。
- GKE：請參閱 GKE 推論最佳做法總覽中的建議。
部署作業
如要部署這個架構的範例實作，請使用 GitHub 提供的網路，為 AI 推論模型提供服務程式碼範例。
如要瞭解如何部署 AI 模型，請參閱下列資源：
後續步驟
- 如要瞭解如何在部署作業中加入檢索增強生成功能，請參閱支援 RAG 的生成式 AI 應用程式的私人連線。
- 如要查看更多參考架構、圖表和最佳做法，請瀏覽 Cloud Architecture Center。
貢獻者
作者：Victor Moreno | Cloud Networking 產品經理
其他貢獻者：
- Mark Schlagenhauf | 網路技術文件撰稿者
- James Duncan | 解決方案產品經理
- Ammett Williams | 開發人員關係工程師