Model Armor は、AI アプリケーション（特に大規模言語モデル（LLM）を使用するアプリケーション）のセキュリティと安全性を強化するために設計された Google Cloud サービスです。モデルに送信されたプロンプトと、モデルによって生成されたレスポンスを検査することで、リスクを軽減し、責任ある AI への取り組みを強化します。
テンプレートを構成する
Model Armor テンプレートを作成して使用することで、Model Armor がコンテンツをスクリーニングする方法を定義します。テンプレートは、有効にするフィルタ、フィルタの信頼度レベル、各フィルタの適用タイプを指定する再利用可能な構成セットです。詳細については、テンプレートの作成と管理をご覧ください。
フロア設定を構成する
ベースライン レベルの保護を確保するために、セキュリティ管理者は組織レベル、フォルダレベル、プロジェクト レベルでフロア設定を構成できます。これらの設定により、そのスコープ内で作成されたすべての Model Armor テンプレートが準拠する必要がある最小限のフィルタ要件が義務付けられ、制限が緩すぎる構成を防ぎます。詳細については、フロア設定を構成するをご覧ください。
プロンプトとレスポンスをサニタイズする
ユーザーがアプリケーションにプロンプトを送信すると、アプリケーションはまずこのプロンプトを Model Armor に送信します。Model Armor は、テンプレートで有効になっているフィルタを介してプロンプトを処理し、ポリシー違反が見つかったかどうかを示すレスポンスと、各フィルタの詳細な結果を返します。アプリケーション ロジックは、次に行う処理を決定します。
LLM がレスポンスを生成すると、アプリケーションはユーザーにレスポンスを表示する前に、Model Armor に送信します。Model Armor は、テンプレートで定義されたフィルタ構成を使用して LLM 出力をスクリーニングし、分析結果を返します。アプリケーションは、ユーザーにレスポンスを表示するかどうかを決定し、違反が見つかった場合はブロックする可能性があります。
詳細については、プロンプトとレスポンスをサニタイズするをご覧ください。