將 Model Armor 與 Apigee 整合

您可以將 Model Armor 與 Apigee 整合,進一步提升 AI 應用程式的安全性。在 AI 應用程式前方使用 Apigee 做為 API 閘道,即可運用 Model Armor 的功能,篩選並清理傳送至應用程式的輸入內容,以及收到的回覆。

總覽

您可以將 Model Armor 政策整合至 Apigee API 代理,進一步控管及保護 AI 應用程式。舉例來說,您可以使用 Apigee 強制執行權杖層級配額,限制使用者或應用程式每天最多可使用的權杖數量。使用 LLMTokenQuotaPromptTokenLimit,精確控管權杖用量。這些政策可防止用量突然暴增,有助於管理費用、遏止濫用行為,並穩定流量。

限制

將 Model Armor 與 Apigee 整合時,請注意下列限制:

  • 區域限制:Model Armor 僅適用於部分區域。確認 Apigee 和 Model Armor 設定在相同區域。請參閱「Model Armor 適用地區」。
  • Quota:如果流量過高,可能需要提高 Model Armor 的配額。如要申請調整配額,請參閱「申請調整配額」。 如果需要超過預設配額,請與 Cloud Customer Care聯絡。 如要瞭解 Model Armor 與其他服務整合的配額,請參閱「管理配額」。
  • 符記限制:Model Armor 處理提示和回覆時有符記限制,且不同篩選器有不同的限制。如果內容超出這些限制,可能無法完整掃描。

事前準備

運作方式

這項整合功能會使用兩項主要的 Apigee 政策:

  • SanitizeUserPrompt:將這項政策新增至 API Proxy 的請求流程。這項政策會攔截所有傳入的請求,並在請求送達 AI 應用程式前,先傳送至 Model Armor 進行檢查。詳情請參閱 SanitizeUserPrompt 政策
  • SanitizeModelResponse:將這項政策新增至回覆流程。這項政策會攔截 AI 應用程式的回覆,並傳送至 Model Armor 進行檢查,然後再將回覆傳送至用戶端。詳情請參閱 SanitizeModelResponse 政策

Model Armor 會根據有效 Model Armor 範本中定義的規則評估內容。根據調查結果和設定的強制執行類型,Apigee 會允許、封鎖或遮蓋要求或回應。如果要求或回應經過修訂,請使用流程變數擷取修訂後的資料,並傳遞至 LLM。

如要開始使用,請在 Apigee 控制台中,使用內建的「Proxy with Model Armor」 Proxy 範本。這個範本會自動新增選用的 SanitizeUserPromptSanitizeModelResponse 設定。

使用 Model Armor 政策建立 Apigee API Proxy

  1. 建立服務帳戶來部署 API Proxy
  2. 建立 Apigee API Proxy
  3. 編輯 SanitizeUserPromptSanitizeModelResponse XML。 您必須編輯這些政策的 XML,Model Armor 才能運作。
  4. 在 API Proxy 中新增 Google 驗證
  5. 部署 API Proxy
  6. 測試 Model Armor 政策

如要進一步瞭解設定和使用方式,請參閱「開始使用 Apigee Model Armor 政策」。