您可以將 Model Armor 與 Apigee 整合,進一步提升 AI 應用程式的安全性。在 AI 應用程式前方使用 Apigee 做為 API 閘道,即可運用 Model Armor 的功能,篩選並清除傳送至應用程式的輸入內容,以及收到的回覆。
總覽
您可以將 Model Armor 政策整合至 Apigee API 代理項目,進一步控管及保護 AI 應用程式。舉例來說,您可以使用 Apigee 強制執行權杖層級的配額,限制使用者或應用程式每天最多可使用的權杖數量。使用 LLMTokenQuota 和 PromptTokenLimit 精確控管權杖用量。這些政策可防止用量突然暴增,有助於控管費用、遏止濫用行為,以及穩定流量。
限制
將 Model Armor 與 Apigee 整合時,請注意下列限制:
- 適用地區: Model Armor 僅適用於部分地區。確認 Apigee 和 Model Armor 設定在同一個區域。雖然您可以在不同區域設定 Apigee 和 Model Armor,但使用不同區域可能會因跨區域網路遍歷而導致額外延遲。如要發揮最佳效能,請在完全相同的區域中設定。
- Quota:如果流量很大,可能需要增加 Model Armor 的配額。如要申請調整配額,請參閱「要求調整配額」。如果預設配額不敷使用,請與 Cloud Customer Care 聯絡。 如要瞭解 Model Armor 與其他服務整合的配額,請參閱「管理配額」。
- 符記限制:Model Armor 處理提示和回覆時有符記限制,且不同篩選器的限制不同。如果內容超出這些限制,可能無法完整掃描。
事前準備
- 在專案中啟用 Model Armor API。
- 確認 Google Cloud 專案已啟用計費功能。
- 確認 Apigee 執行個體中是否有中繼或全方位環境。您可以在中繼和全方位環境中部署 Model Armor 政策。
- 確認您已佈建有效的 Apigee 機構。
如要使用 Apigee 建立及使用 Model Armor 政策,您必須具備特定角色。如要瞭解必要角色,請參閱「Apigee 角色」。
運作方式
這項整合功能主要使用兩項 Apigee 政策:
SanitizeUserPrompt:將這項政策新增至 API Proxy 的請求流程。攔截所有傳入要求,並在要求傳送至 AI 應用程式前,先送交 Model Armor 檢查。詳情請參閱SanitizeUserPrompt政策。SanitizeModelResponse:將這項政策新增至回覆流程。這項服務會攔截 AI 應用程式的回覆,並傳送至 Model Armor 檢查,然後再將回覆傳送給用戶端。詳情請參閱「SanitizeModelResponse政策」。
Model Armor 會根據有效 Model Armor 範本中定義的規則評估內容。根據調查結果和設定的強制執行類型,Apigee 會允許、封鎖或遮蓋要求或回應。如果要求或回應經過編輯,請使用流程變數擷取編輯後的資料,並傳遞至 LLM。
如要開始使用,請在 Apigee 控制台中,使用內建的「Proxy with Model Armor」 Proxy 範本。這個範本會自動新增選用的 SanitizeUserPrompt 和 SanitizeModelResponse 設定。
建立含有 Model Armor 政策的 Apigee API Proxy
- 建立服務帳戶來部署 API Proxy。
- 建立 Apigee API Proxy。
- 編輯
SanitizeUserPrompt和SanitizeModelResponseXML。 您必須編輯這些政策的 XML,Model Armor 才能運作。 - 在 API Proxy 中新增 Google 驗證。
- 部署 API Proxy。
- 測試 Model Armor 政策。
如要進一步瞭解設定和使用方式,請參閱「開始使用 Apigee Model Armor 政策」。