使用 Model Armor 保護 AI 應用程式

Model Armor 是一項 Google Cloud 服務,旨在提升 AI 應用程式的安全性,尤其是使用大型語言模型 (LLM) 的應用程式。這項功能會檢查傳送至模型的提示和模型生成的回覆,協助您降低風險並落實負責任的 AI 做法。

如要進一步瞭解 Model Armor 建立的發現項目,請參閱「Model Armor 發現項目」。

設定範本

建立及使用 Model Armor 範本,定義 Model Armor 應如何篩選內容。範本是可重複使用的設定集,可指定要啟用哪些篩選器、篩選器的信心水準,以及每個篩選器的強制執行類型。詳情請參閱「建立及管理範本」。

指定底限設定

為確保基本防護等級,安全性管理員可以在組織、資料夾或專案層級設定底限。這些設定會強制規定所有在該範圍內建立的 Model Armor 範本,都必須遵守最低篩選條件,有助於防止設定過於寬鬆。詳情請參閱「設定樓層」。

清理提示詞和回覆

使用者向應用程式提交提示詞時,應用程式會先將提示詞傳送至 Model Armor。Model Armor 會透過範本中已啟用的篩選器處理提示,並傳回回覆,指出是否發現任何政策違規事項,以及每個篩選器的詳細結果。應用程式邏輯會接著決定要採取的因應措施。

LLM 生成回覆後,應用程式會先將回覆傳送至 Model Armor,再顯示給使用者。Model Armor 會使用範本中定義的篩選器設定,檢查 LLM 輸出內容並傳回分析結果。接著,應用程式會決定是否要向使用者顯示回應,如果發現違規行為,可能會封鎖回應。

詳情請參閱「清除提示和回應」。

後續步驟