將 Model Armor 與 Apigee 整合

您可以將 Model Armor 與 Apigee 整合,進一步提升 AI 應用程式的安全性。在 AI 應用程式前方使用 Apigee 做為 API 閘道,即可運用 Model Armor 的功能,篩選並清除傳送至應用程式的輸入內容,以及收到的回覆。

總覽

您可以將 Model Armor 政策整合至 Apigee API 代理項目,進一步控管及保護 AI 應用程式。舉例來說,您可以使用 Apigee 強制執行權杖層級的配額,限制使用者或應用程式每天最多可使用的權杖數量。使用 LLMTokenQuota 和 PromptTokenLimit 精確控管權杖用量。這些政策可防止用量突然暴增,有助於控管費用、遏止濫用行為,以及穩定流量。

限制

將 Model Armor 與 Apigee 整合時,請注意下列限制:

  • 適用地區: Model Armor 僅適用於部分地區。確認 Apigee 和 Model Armor 設定在同一個區域。雖然您可以在不同區域設定 Apigee 和 Model Armor,但使用不同區域可能會因跨區域網路遍歷而導致額外延遲。如要發揮最佳效能,請在完全相同的區域中設定。
  • Quota:如果流量很大,可能需要增加 Model Armor 的配額。如要申請調整配額,請參閱「要求調整配額」。如果預設配額不敷使用,請與 Cloud Customer Care 聯絡。 如要瞭解 Model Armor 與其他服務整合的配額,請參閱「管理配額」。
  • 符記限制:Model Armor 處理提示和回覆時有符記限制,且不同篩選器的限制不同。如果內容超出這些限制,可能無法完整掃描。

事前準備

運作方式

這項整合功能主要使用兩項 Apigee 政策:

  • SanitizeUserPrompt:將這項政策新增至 API Proxy 的請求流程。攔截所有傳入要求,並在要求傳送至 AI 應用程式前,先送交 Model Armor 檢查。詳情請參閱 SanitizeUserPrompt 政策。
  • SanitizeModelResponse:將這項政策新增至回覆流程。這項服務會攔截 AI 應用程式的回覆,並傳送至 Model Armor 檢查,然後再將回覆傳送給用戶端。詳情請參閱「SanitizeModelResponse 政策」。

Model Armor 會根據有效 Model Armor 範本中定義的規則評估內容。根據調查結果和設定的強制執行類型,Apigee 會允許、封鎖或遮蓋要求或回應。如果要求或回應經過編輯,請使用流程變數擷取編輯後的資料,並傳遞至 LLM。

如要開始使用,請在 Apigee 控制台中,使用內建的「Proxy with Model Armor」 Proxy 範本。這個範本會自動新增選用的 SanitizeUserPrompt 和 SanitizeModelResponse 設定。

建立含有 Model Armor 政策的 Apigee API Proxy

  1. 建立服務帳戶來部署 API Proxy。
  2. 建立 Apigee API Proxy。
  3. 編輯 SanitizeUserPrompt 和 SanitizeModelResponse XML。 您必須編輯這些政策的 XML,Model Armor 才能運作。
  4. 在 API Proxy 中新增 Google 驗證。
  5. 部署 API Proxy。
  6. 測試 Model Armor 政策。

如要進一步瞭解設定和使用方式,請參閱「開始使用 Apigee Model Armor 政策」。