與 Apigee 整合

您可以將 Model Armor 與 Apigee 整合,進一步提升 AI 應用程式的安全性。在 AI 應用程式前方使用 Apigee 做為 API 閘道,即可運用 Model Armor 的功能,篩選並清理傳送至應用程式的輸入內容,以及收到的回覆。

總覽

您可以將 Model Armor 政策整合至 Apigee API 代理項目,進一步控管及保護 AI 應用程式。舉例來說,您可以使用 Apigee 強制執行權杖層級配額,限制使用者或應用程式每天最多可使用的權杖數量。使用 LLMTokenQuotaPromptTokenLimit 精確控管權杖用量。這些政策可防止用量突然暴增,有助於控管費用、遏止濫用行為,以及穩定流量。

事前準備

運作方式

這項整合功能使用兩項主要的 Apigee 政策:

  • SanitizeUserPrompt:將這項政策新增至 API Proxy 的請求流程。這項服務會攔截所有傳入要求,並在要求傳送至 AI 應用程式前,先送交 Model Armor 檢查。詳情請參閱 SanitizeUserPrompt 政策
  • SanitizeModelResponse:將這項政策新增至回應流程。這項服務會攔截 AI 應用程式的回應,並傳送至 Model Armor 檢查,然後再將回應傳送給用戶端。詳情請參閱SanitizeModelResponse政策

Model Armor 會根據有效 Model Armor 範本中定義的規則評估內容。根據調查結果和設定的強制執行類型,Apigee 會允許、封鎖或遮蓋要求或回應。如果要求或回應經過修訂,請使用流程變數擷取修訂後的資料,並傳遞至 LLM。

如要開始使用,請在 Apigee 控制台中,使用內建的「Proxy with Model Armor」 Proxy 範本。這個範本會自動新增選用的 SanitizeUserPromptSanitizeModelResponse 設定。

使用 Model Armor 政策建立 Apigee API Proxy

  1. 建立服務帳戶來部署 API Proxy
  2. 建立 Apigee API Proxy
  3. 編輯 SanitizeUserPromptSanitizeModelResponse XML。 您必須編輯這些政策的 XML,Model Armor 才能運作。
  4. 在 API Proxy 中新增 Google 驗證
  5. 部署 API Proxy
  6. 測試 Model Armor 政策

注意事項

將 Model Armor 與 Apigee 整合時,請注意下列事項:

  • 適用區域:Model Armor 僅適用於部分區域。確認 Apigee 和 Model Armor 設定在相同區域。請參閱「Model Armor 適用地區」。
  • Quota:如果流量過高,可能需要提高 Model Armor 的配額。如要申請調整配額,請參閱「要求調整配額」。如果預設配額不敷使用,請與 Cloud Customer Care 聯絡。 如要瞭解與 Model Armor 整合其他服務相關的配額,請參閱「管理配額」。
  • 符記限制:Model Armor 處理提示和回覆時有符記限制,且不同篩選器有不同的限制。如果內容超出這些限制,可能無法完整掃描。

如要進一步瞭解設定和使用方式,請參閱「開始使用 Apigee Model Armor 政策」。