使用 Model Armor 保護 AI 應用程式

Model Armor 是一項 Google Cloud 服務,可提高 AI 應用程式的安全性,尤其是使用大型語言模型 (LLM) 的應用程式。這項功能會檢查傳送至模型的提示和模型生成的回覆,協助您降低風險並落實負責任的 AI 做法。

設定範本

建立及使用 Model Armor 範本,定義 Model Armor 應如何過濾內容。範本是可重複使用的設定集,可指定要啟用哪些篩選器、篩選器的信心水準,以及每個篩選器的強制執行類型。詳情請參閱「建立及管理範本」。

指定底限設定

為確保基本防護層級,安全性管理員可以在機構、資料夾或專案層級設定底限。這些設定會強制規定最低篩選器要求,範圍內建立的所有 Model Armor 範本都必須遵守,有助於防止過於寬鬆的設定。詳情請參閱「設定樓層」。

清理提示詞和回覆

使用者向應用程式提交提示時,應用程式會先將提示傳送至 Model Armor。Model Armor 會透過範本中已啟用的篩選器處理提示,並傳回回覆,指出是否發現任何政策違規事項,以及每個篩選器的詳細結果。應用程式邏輯會接著決定要採取的因應措施。

LLM 生成回覆後,應用程式會先將回覆傳送至 Model Armor,再向使用者顯示。Model Armor 會使用範本中定義的篩選器設定,檢查 LLM 輸出內容並傳回分析結果。接著,應用程式會決定是否要向使用者顯示回應,如果發現違規行為,可能會封鎖回應。

詳情請參閱「清除提示和回應」。

後續步驟