このドキュメントでは、サポートされている AI エージェントの Model Armor からコンテンツ セキュリティ分析情報を表示する方法について説明します。
Model Armor は、間接的なプロンプト インジェクション攻撃、センシティブ データ漏洩、有害なコンテンツの生成や配信などのセキュリティ リスクについて、リクエストとレスポンスをスクリーニングします。詳細については、Model Armor をご覧ください。
Model Armor オペレーションの結果は、次のレベルで確認できます。
- トップレベルのビュー: プロジェクトでサポートされているすべての AI エージェントの分析情報
- エージェントレベルのビュー: 単一の AI エージェントの分析情報
始める前に
- Google Cloud アカウントにログインします。 Google Cloudを初めて使用する場合は、 アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。
Enable the Model Armor API.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.Enable the Model Armor API.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.- プロジェクト内の 1 つ以上のゲートウェイで Model Armor を構成します。
- Google Cloud MCP サーバーと通信するエージェントをモニタリングするには、MCP サーバーで Model Armor を構成します。
- エージェントのトレースを設定します。
必要なロール
コンテンツ セキュリティ違反のモニタリングに必要な権限を取得するには、プロジェクトに対する次の IAM ロールを付与するよう管理者に依頼してください。
- オブザーバビリティ表示アクセス者 （
roles/observability.viewAccessor） - オブザーバビリティ分析ユーザー （
roles/observability.analyticsUser） - ログビューア（
roles/logging.viewer） - ログ表示アクセス者 （
roles/logging.viewAccessor）
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
これらの事前定義ロールには、コンテンツ セキュリティ違反のモニタリングに必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。
必要な権限
コンテンツ セキュリティ違反をモニタリングするには、次の権限が必要です。
-
monitoring.monitoredResourceDescriptors.list -
monitoring.metricDescriptors.list
カスタムロールや他の事前定義ロールを使用して、これらの権限を取得することもできます。
サポートされているエージェント
[セキュリティ] タブには、次のエージェントの Model Armor 分析情報のみが表示されます。
- Agent Runtime にデプロイされ、Model Armor が構成されているゲートウェイによって管理されるエージェント。
- Agent Runtime にデプロイされ、Google Cloud MCP サーバーと通信しているエージェント。
- Model Armor のフロア設定が構成されているプロジェクトの Agent Runtime にデプロイされたエージェント。
プロジェクト内のサポートされている AI エージェントのコンテンツ分析情報を表示する（トップレベルのビュー）
プロジェクト内のサポートされているすべての AI エージェントのコンテンツ セキュリティ分析情報を表示する手順は次のとおりです。
- Google Cloud コンソールで、Gemini Enterprise Agent Platform の [セキュリティ] タブに移動します。
- プロジェクトを選択します。
[セキュリティ] タブにコンテンツ セキュリティ分析情報が表示されず、プロジェクトにサポートされている AI エージェントがある場合は、エージェントのトレースを設定していることを確認してください。
AI エージェントのコンテンツ分析情報を表示する（エージェント レベルのビュー）
サポートされているエージェントのコンテンツ セキュリティ分析情報を表示する手順は次のとおりです。
- Google Cloud コンソールで、[エージェント レジストリ] に移動します。
- プロジェクトを選択します。
- エージェントの名前をクリックします。
- [セキュリティ] タブをクリックします。
フラグが付けられたインタラクションまたはブロックされたインタラクションの数を確認する
最上位またはエージェントレベルの [セキュリティ] タブに移動します。
[セキュリティ] タブで、報告されたインタラクションやブロックされたインタラクションなど、インタラクションの数を確認します。[セキュリティ] タブには次の指標が表示されます。
- インタラクションの合計数: Model Armor によって分析されたプロンプトとレスポンスの合計数。
- フラグ付きインタラクション数: Model Armor のテンプレートまたはフロア設定で構成されたポリシーに違反したインタラクションの数。
- ブロックされたインタラクション数:
INSPECT_AND_BLOCKモードで Model Armor を構成している場合にブロックされたインタラクションの数。ブロックされたインタラクションは、フロア設定またはテンプレートに違反していました。
コンテンツ セキュリティ違反をモニタリングする
最上位またはエージェントレベルの [セキュリティ] タブに移動します。
[違反の推移] グラフで、検出された違反の数の推移をモニタリングします。
検出された違反は、次のカテゴリに分類されます。
- プロンプト インジェクションとジェイルブレイク: 悪意のあるコマンドやジェイルブレイクの試行を含むプロンプトが存在することを示すコンテンツ違反。詳細については、プロンプト インジェクションとジェイルブレイクの検出をご覧ください。
- 悪意のある URL: 悪意のある URL の存在を示すコンテンツ違反。詳細については、悪意のある URL の検出をご覧ください。
- 責任ある AI: ハラスメントやヘイトスピーチなど、安全性フィルタによって検出されたコンテンツ違反。責任ある AI のカテゴリの完全なリストについては、責任ある AI の安全フィルタをご覧ください。
- センシティブ データ: ユーザーが定義した機密情報タイプまたはカスタム情報タイプの存在に関連するコンテンツ違反。詳細については、Sensitive Data Protection をご覧ください。
これらの検出機能の詳細については、Model Armor フィルタをご覧ください。
違反が最も多いエージェントを特定する
[最上位] の [セキュリティ] タブに移動します。
[セキュリティ] タブには、違反件数が最も多い上位 10 件のエージェントが表示されます。リストには、各エージェントのエージェント ID と、そのエージェントに対して検出された違反の数が表示されます。
リスト内の特定のエージェントの Model Armor の分析情報を表示するには、エージェント レジストリに移動して、エージェント ID でエージェントを検索します。次に、そのエージェントのエージェント レベルの [セキュリティ] タブに移動します。
SQL を使用してテレメトリー データをクエリして分析する
Model Armor からテレメトリー データをクエリして分析するには、SQL ベースのクエリ インターフェースを提供する Observability Analytics を使用します。
- [最上位] の [セキュリティ] タブに移動します。
- クエリするビューで、 [その他のグラフ オプション> Observability Analytics で調べる] をクリックします。
オブザーバビリティ分析の使用方法に関する一般的な手順については、オブザーバビリティ分析でテレメトリーのクエリと分析を行うをご覧ください。
違反データを PNG ファイルまたは CSV ファイルにダウンロードする
違反データを PNG ファイルまたは CSV ファイルにダウンロードする手順は次のとおりです。
- [セキュリティ] タブの [違反の推移] ビューで、データをダウンロードする期間を選択します。
- [その他のグラフ オプション> ダウンロード] をクリックします。
- [PNG をダウンロード] または [CSV をダウンロード] をクリックして、データを希望の形式でダウンロードします。