與 Google Cloud 網路服務整合

Model Armor 會與 Google Cloud 網路服務整合,在網路層級為 AI 應用程式提供內嵌安全性。這項整合功能可讓 Model Armor 檢查及過濾提示和回覆,不必修改應用程式程式碼本身。

這項整合的機制是透過 Service Extensions。Service Extensions 可讓您將自訂邏輯 (例如 Model Armor 的安全檢查) 插入各種Google Cloud 網路服務的資料路徑。

事前準備

確認您已符合所有必要條件

整合點

Model Armor 可與下列網路服務整合。

網路服務 說明 參考資料
Cloud Load Balancing 搭配使用 Model Armor 和 Service Extensions,篩選通過第 7 層負載平衡器的流量。這項功能可保護使用 LLM 的網頁應用程式和 API。 設定流量擴充功能,呼叫 Model Armor 服務
GKE Inference Gateway 搭配使用 Model Armor 與 GKE Inference Gateway 相關聯的 Service Extensions,檢查並強制執行在 Google Kubernetes Engine 上執行的容器化 AI 應用程式或 LLM 的流量政策。 使用 GKE Inference Gateway 設定 AI 安全性檢查
Secure Web Proxy 搭配使用 Model Armor 和 Secure Web Proxy,檢查並保護從 VPC 到 AI 應用程式、MCP 伺服器或 LLM 的輸出流量。 設定流量擴充功能

運作方式

Service Extensions 可讓 Google Cloud 網路產品 在資料傳輸期間呼叫 Model Armor。

  1. 當 AI 應用程式、MCP 伺服器或模型傳入或傳出的流量通過已設定的網路服務 (例如負載平衡器) 時,Service Extensions 會將要求或回應內容轉送至 Model Armor 進行檢查。
  2. Model Armor 會根據預先設定的範本套用一組篩選器,這些篩選器可以識別並封鎖提示注入、越獄偵測嘗試、敏感資料外洩、惡意網址,以及有害或不當內容,例如仇恨言論和騷擾行為。
  3. 根據掃描結果和政策,Model Armor 會指示網路服務允許、封鎖或修改流量,確保只有安全且符合規範的互動會傳送至 AI 應用程式、MCP 伺服器或模型,或從這些項目傳送出去。