您可以將 Model Armor 與 Apigee 整合,進一步提升 AI 應用程式的安全性。在 AI 應用程式前方使用 Apigee 做為 API 閘道,即可運用 Model Armor 的功能,篩選並清理傳送至應用程式的輸入內容,以及收到的回覆。
總覽
您可以將 Model Armor 政策整合至 Apigee API 代理項目,進一步控管及保護 AI 應用程式。舉例來說,您可以使用 Apigee 強制執行權杖層級配額,限制使用者或應用程式每天最多可使用的權杖數量。使用 LLMTokenQuota 和 PromptTokenLimit 精確控管權杖用量。這些政策可防止用量突然暴增,有助於控管費用、遏止濫用行為,以及穩定流量。
事前準備
- 在專案中啟用 Model Armor API。
- 確認您已為 Google Cloud 專案啟用計費功能。
- 確認 Apigee 執行個體中是否有完整環境。您只能在全方位環境中部署 Model Armor 政策。
- 確認您已佈建有效的 Apigee 機構。
如要透過 Apigee 建立及使用 Model Armor 政策,您必須具備特定角色。如要瞭解必要角色,請參閱「Apigee 角色」。
運作方式
這項整合功能使用兩項主要的 Apigee 政策:
SanitizeUserPrompt:將這項政策新增至 API Proxy 的請求流程。這項服務會攔截所有傳入要求,並在要求傳送至 AI 應用程式前,先送交 Model Armor 檢查。詳情請參閱SanitizeUserPrompt政策。SanitizeModelResponse:將這項政策新增至回應流程。這項服務會攔截 AI 應用程式的回應,並傳送至 Model Armor 檢查,然後再將回應傳送給用戶端。詳情請參閱SanitizeModelResponse政策。
Model Armor 會根據有效 Model Armor 範本中定義的規則評估內容。根據調查結果和設定的強制執行類型,Apigee 會允許、封鎖或遮蓋要求或回應。如果要求或回應經過修訂,請使用流程變數擷取修訂後的資料,並傳遞至 LLM。
如要開始使用,請在 Apigee 控制台中,使用內建的「Proxy with Model Armor」 Proxy 範本。這個範本會自動新增選用的 SanitizeUserPrompt 和 SanitizeModelResponse 設定。
使用 Model Armor 政策建立 Apigee API Proxy
- 建立服務帳戶來部署 API Proxy。
- 建立 Apigee API Proxy。
- 編輯
SanitizeUserPrompt和SanitizeModelResponseXML。 您必須編輯這些政策的 XML,Model Armor 才能運作。 - 在 API Proxy 中新增 Google 驗證。
- 部署 API Proxy。
- 測試 Model Armor 政策。
注意事項
將 Model Armor 與 Apigee 整合時,請注意下列事項:
- 適用區域:Model Armor 僅適用於部分區域。確認 Apigee 和 Model Armor 設定在相同區域。請參閱「Model Armor 適用地區」。
- Quota:如果流量過高,可能需要提高 Model Armor 的配額。如要申請調整配額,請參閱「要求調整配額」。如果預設配額不敷使用,請與 Cloud Customer Care 聯絡。 如要瞭解與 Model Armor 整合其他服務相關的配額,請參閱「管理配額」。
- 符記限制:Model Armor 處理提示和回覆時有符記限制,且不同篩選器有不同的限制。如果內容超出這些限制,可能無法完整掃描。
如要進一步瞭解設定和使用方式,請參閱「開始使用 Apigee Model Armor 政策」。