Model Armor 會與 Google Cloud 服務整合,確保 AI 和大型語言模型 (LLM) 互動安全無虞。Model Armor 會根據安全性評估結果,找出並回報潛在的違反政策行為,並主動封鎖相關動作。
Model Armor 整合功能的使用時機
以下是一些常見用途:
- 保護 API Gateway 流量:使用 Apigee 或 Agent Gateway,在閘道層攔截惡意要求和回應,保護後端 AI 端點。
- 強制執行內嵌模型保護措施:直接在 Agent Platform、Gemini 和 Gemini Enterprise 工作流程中,篩選提示和回應串流,無須自訂包裝函式程式碼。
- 集中管理資安營運和快訊:將發現項目和政策違規事件直接傳送至 Security Command Center,統一監控威脅。
- 保障代理互動安全:為整合式企業架構中的對話式代理和工具呼叫提供安全規範。
支援的多模態
Model Armor 可掃描及清理的模態,取決於您存取服務的方式:
- 直接使用 REST API:Model Armor REST API 支援所有模式,包括文字、文件和圖片。詳情請參閱「清理提示詞和回應」。
- 與其他服務整合:在 Model Armor 與其他服務 Google Cloud 的整合中,只有 Gemini Enterprise 整合支援文件。其他所有整合服務只會掃描及清除文字。
如要進一步瞭解支援的文件類型和大小限制,請參閱「文件篩選」。
支援的服務
本節說明可與 Model Armor 整合的 Google Cloud 服務。
Agent Gateway
將 Model Armor 與 Agent Gateway 整合,對閘道管理的所有代理往來流量強制執行安全性政策。這項整合機制可讓您直接檢查及封鎖惡意或不符規定的內容。這項整合功能旨在提升工作流程安全性,並確保符合組織的安全指南,不需修改應用程式程式碼。這項防護措施適用於進入 (傳送至代理程式) 和離開 (從代理程式傳送) 路徑上支援的通訊協定。詳情請參閱「與 Agent Gateway 整合」。
Apigee
Model Armor 和 Apigee Integration 可讓您直接在 Apigee API Gateway 層使用 Model Armor 的 AI Protection 功能。您可以在 Apigee API Proxy 中設定特定 Model Armor 政策。當 API 呼叫通過具有這些政策的 Apigee Proxy 時,Apigee 會將提示和回覆傳送至 Model Armor 服務進行檢查。詳情請參閱「與 Apigee 整合」。
Gemini Enterprise
Model Armor 可使用範本直接與 Gemini Enterprise 整合。Gemini Enterprise 會透過 Model Armor,在使用者、代理和基礎 LLM 之間轉送互動。也就是說,在向使用者顯示提示或回覆前,Model Armor 會先檢查使用者或代理程式的提示,以及 LLM 生成的回覆。詳情請參閱「與 Gemini Enterprise 整合」。
除了「支援的模態」一節列出的模態,Model Armor 與 Gemini Enterprise 的整合功能也支援文件。不過,系統不會篩選文件中嵌入的圖片。
Google 和 Google Cloud MCP 伺服器
您可以設定 Model Armor,在將要求傳送至公開 Model Context Protocol (MCP) 工具和伺服器的 Google Cloud 服務時,保護資料和確保內容安全。Model Armor 可使用底限設定,清理 MCP 工具呼叫和回覆,協助保護代理式 AI 應用程式。這個程序可降低提示詞注入和私密/機密資料揭露等風險。詳情請參閱「與 Google 和 MCP 伺服器整合 Google Cloud 」。
Service Extensions
Model Armor 可透過 Service Extensions 與網路服務整合。 Google Cloud Service Extensions 可讓您整合 Google Cloud 服務或使用者代管服務,以處理流量。您可以在應用程式負載平衡器上設定服務擴充功能,篩選各種 AI 互動的網路流量,例如與代理程式和 MCP 伺服器的互動。您也可以搭配 GKE 推論閘道使用服務擴充功能,篩選往返 GKE 叢集的流量。這樣做可確保通過負載平衡器的所有 AI 互動都受到 Model Armor 保護。詳情請參閱「整合 Google Cloud 網路服務」。
Gemini Enterprise Agent Platform
您可以透過底限設定或範本,將 Model Armor 直接整合至 Gemini Enterprise Agent Platform。這項整合功能會篩選 Gemini 模型的要求和回覆,並封鎖違反底限設定的內容。這項整合功能可為 Vertex AI Gemini API 中的 generateContent 方法提供提示和回覆保護。這項整合功能不支援清除含有文件或圖片的提示和回覆。您必須啟用 Cloud Logging,才能查看提示和回覆的清除結果。詳情請參閱「與 Gemini Enterprise Agent Platform 整合」。
事前準備
啟用 API
您必須先啟用 Model Armor API,才能使用 Model Armor。
控制台
gcloud
開始之前,請使用 Google Cloud CLI 搭配 Model Armor API 執行下列步驟:
在 Google Cloud 控制台中啟用 Cloud Shell。
Google Cloud 控制台底部會開啟 Cloud Shell 工作階段,並顯示指令列提示。Cloud Shell 是已安裝 Google Cloud CLI 的殼層環境,並已設定適用於您目前專案的值。工作階段可能要幾秒鐘的時間才能初始化。
如果尚未啟用 Model Armor API,請啟用:
啟用 API 時所需的角色
如要啟用 API,您必須具備
serviceusage.services.enable權限。如果您建立了專案,可能已透過「擁有者」角色 (roles/owner) 取得這項權限。否則,您可以透過「服務使用管理員」角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。gcloud services enable modelarmor.googleapis.com
使用 gcloud CLI 設定 API 端點覆寫
只有在搭配 Model Armor 使用 gcloud CLI,且想使用預設 us 多區域以外的區域或多區域時,才需要執行這個步驟。您必須手動設定 API 端點覆寫,確保 gcloud CLI 正確將要求轉送至 Model Armor 服務。
執行下列指令,設定 Model Armor 服務的 API 端點。
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
將 LOCATION 替換為要使用 Model Armor 的區域或多區域。
管理配額
Model Armor 使用配額系統,確保公平使用並維護系統穩定性。Model Armor API 的預設配額為每項專案每分鐘 1,200 次查詢。每個專案可套用的值介於 0 到 1,200 QPM 之間。如要申請調整,請參閱「申請調整配額」。如果需要超過預設配額,請與 Cloud Customer Care 聯絡。
與其他服務整合時,請務必考量 Model Armor 配額。您主要會與每分鐘每個專案的 API 要求數配額互動。
將 Model Armor 與其他服務整合時,請考量下列配額類型。
- Model Armor 預設配額:當服務呼叫 Model Armor API 進行分析 (例如檢查提示或回覆) 時,會耗用專案的 Model Armor API 配額。
- 整合服務配額:Model Armor 配額與整合服務相關聯的配額不同。您必須確保要求路徑中的所有服務都有足夠的配額。對 Model Armor API 進行的任何呼叫,都會計入Model Armor API 配額限制。
瞭解超出配額的情況
如果應用程式記錄顯示 Model Armor 錯誤 (通常是 HTTP 429 RESOURCE_EXHAUSTED 錯誤,表示要求過多),就表示您已達到 Model Armor 配額限制。
預估配額需求
如要判斷要申請多少 Model Armor 配額,請按照下列步驟操作:
- 預估服務每分鐘傳送至 Model Armor 的要求數量上限。
- 請考量使用者每次與服務互動時,Model Armor 的呼叫次數 (例如提示詞和回覆各一次)。
- 考量並行使用者或工作階段數上限。
- 申請配額時,請預留合理的緩衝空間 (例如比預期尖峰高出 20% 至 30%),以因應突如其來的尖峰流量。
- 請先盡量準確估算,發布後密切監控用量,並視需要要求進一步調整。
舉例來說,如果預期每分鐘有 500 位使用者,且每位使用者互動會呼叫 Model Armor 兩次 (提示和回覆),則至少需要 1,000 QPM。考量緩衝時間後,建議先要求每分鐘 1,200 到 1,300 次查詢。
注意事項
與其他服務整合時,請注意下列事項:
- 請務必監控及管理其他服務的配額。即使 Model Armor 配額充足,其他服務的配額用盡仍會影響應用程式。
- 在應用程式設定中導入用戶端重試機制,並採用指數輪詢策略,處理暫時的配額問題或其他可重試的錯誤。詳情請參閱「重試策略」。
違規處置類型
將 Model Armor 與其他服務整合時,必須設定的重要項目是強制執行類型。這項設定會決定 Model Armor 在檢查 LLM 提示詞或回覆等資料時,如果偵測到可能違反政策的情況,應採取什麼行動。違規處置類型決定 Model Armor 是僅回報違規事項,還是主動介入。詳情請參閱「定義違規處置類型」。
使用 REST API 整合
使用 REST API 進行整合時,Model Armor 只能透過範本做為偵測器。這項功能會根據預先定義的範本,找出並回報潛在的政策違規事項,但不會主動防範違規行為。與 Model Armor API 整合後,應用程式就能根據 Model Armor 提供的安全評估結果,封鎖或允許動作。Model Armor API 會傳回與 API 流量相關的潛在威脅或違反政策資訊,特別是 AI 互動。應用程式可以呼叫 Model Armor API,並使用回覆中收到的資訊,根據預先定義的自訂邏輯做出決策並採取行動。
整合 Model Armor 時的選項
Model Armor 提供下列整合選項。每種選項提供的功能和能力各不相同。
| 整合選項 | 設定偵測作業 | 支援的模態 | 僅檢查 | 檢查並封鎖 | 涵蓋範圍 |
|---|---|---|---|---|---|
| Agent Gateway | 僅使用範本 | 文字 | 是 | 是 | 所有模型和所有雲端 |
| Apigee | 僅使用範本 | 文字 | 是 | 是 | 所有模型和所有雲端2 |
| Gemini Enterprise | 僅使用範本 | 文字、文件 | 是 | 是 | 所有模型和所有雲端2 |
| Google 和 Google Cloud MCP 伺服器 | 只使用底限設定 | 文字 | 是 | 是 | Google 和 Google Cloud MCP 伺服器 |
| 服務額外資訊 | 僅使用範本 | 文字 | 是 | 是 | 所有雲端2的 OpenAI 格式模型1、代理和 MCP 伺服器 |
| Gemini Enterprise Agent Platform | 使用底限設定和範本 | 文字 | 是 | 是 | Gemini 模型 (非串流) |
1多個熱門模型 (包括 Anthropic Claude、Mistral AI 和 Grok) 支援 OpenAI 規格。這些模型通常會使用 vLLM 等推論引擎部署,這類引擎提供必要的 OpenAI 相容 API 層。vLLM 支援各種模型,包括 Meta Llama 系列、DeepSeek、Mistral 和 Mixtral 系列,以及 Gemma。
2包括 AWS 和 Azure 等其他公有雲。
整合 Gemini Enterprise Agent Platform 後,Model Armor 會使用底限設定或範本,提供內嵌強制執行功能。透過內嵌政策強制執行功能,Model Armor 就能直接介入程序,主動強制執行政策,不必修改應用程式程式碼。
服務擴充功能和 Gemini Enterprise 整合功能只會使用範本,強制執行內嵌政策。Model Armor 可透過內嵌政策強制執行功能直接強制執行政策,您不必在 Service Extensions 中修改應用程式程式碼,也不必在 Gemini Enterprise 執行個體中,於使用者或代理互動期間修改程式碼。
Model Armor 與 Gemini Enterprise、Agent Runtime 和 Apigee 整合,可清理初始使用者提示、最終代理或模型回覆,以及中間步驟,例如基準資料和網頁搜尋工具傳回的回覆。如果擷取的基準資料或中繼酬載違反您設定的 Model Armor 範本或 Sensitive Data Protection 政策,系統會封鎖要求,並以 SANITIZE_USER_PROMPT 作業類型記錄。
Security Command Center 中的 Model Armor
Model Armor 會檢查 LLM 提示詞和回覆,找出各種威脅,包括提示詞注入、越獄活動、惡意網址和有害內容。當 Model Armor 偵測到違反設定的底限設定時,會封鎖提示詞或回覆,並將發現項目傳送至 Security Command Center。詳情請參閱「Model Armor 發現項目」。