Model Armor でテンプレート固有の排他ルールを構成して、誤検出を軽減できます。除外ルールは、検出から除外する正規表現またはフレーズを含むテンプレート固有のルールです。
サポートされているフィルタ
除外ルールは、次のフィルタで使用できます。
- プロンプト インジェクションとジェイルブレイクの検出(
PROMPT_INJECTION_AND_JAILBREAK) - 責任ある AI の安全フィルタ(
RESPONSIBLE_AI)
除外ルールを使用するタイミング
フィルタを完全に無効にすることなく、特定のワークロードの既知の誤検出を抑制する必要がある場合は、テンプレート固有の排他ルールを使用します。
- ドメイン固有または技術的な用語: アプリケーションが、システム管理コマンド(
kill process、abort transaction)、セキュリティ テスト用語(penetration testing)、科学用語(blast search)、業界の慣用句など、責任ある AI の安全性カテゴリと重複する専門用語を処理します。 - 無害な操作または形式の指示: ユーザーまたはプロンプト テンプレートに、プロンプト インジェクションとジェイルブレイクの検出で誤検出を引き起こす命令動詞(
"ignore case when sorting this list"、"ignore empty rows"、"Summarize my inbox and ignore the emails from the marketing vendor."など)を使用する正当な指示が含まれている。 - モデルの更新を待つ間のターゲットを絞った緩和策: 特定のアプリケーション ワークフローで検証済みの誤検出に対して、他のすべての入力に対してフィルタを有効にしたまま、即時の回避策が必要です。
次の表に、ルールタイプと一致スコープの各組み合わせを使用するタイミングを示します。辞書と正規表現の一致の仕組みについては、辞書と正規表現のルールと一致の仕組みをご覧ください。
| ルールの設定 | 使用する状況 | 例 |
|---|---|---|
部分一致を含む辞書ルール(MATCHING_SCOPE_PARTIAL_MATCH) |
プロンプトまたはレスポンス内の任意の場所に表示される静的な単語またはフレーズの固定リストがある。辞書の一致動作の詳細については、辞書と正規表現のルールをご覧ください。 |
辞書にフレーズ 一致:
不一致:
|
完全一致の辞書ルール(MATCHING_SCOPE_FULL_MATCH) |
アプリケーションで事前定義されたプロンプト オプション(UI のクイック返信ボタンや定型コマンドなど)を使用しており、入力全体が既知のフレーズと一致する場合に、フィルタされていない追加のテキストがフィルタをバイパスしないようにする。辞書照合の動作の詳細については、辞書と正規表現のルールをご覧ください。 |
辞書にフレーズ 一致:
不一致:
|
部分一致を含む正規表現ルール(MATCHING_SCOPE_PARTIAL_MATCH) |
大規模なプロンプトまたはレスポンス内の構造化パターン、動的識別子、または特定の動詞と名詞の組み合わせを除外する必要があります。詳細については、正規表現の除外パターンの例をご覧ください。 |
正規表現パターン: 一致:
不一致:
|
完全一致を含む正規表現ルール(MATCHING_SCOPE_FULL_MATCH) |
入力ペイロード全体が厳密な構造形式(自動テスト識別子や構造化コマンドなど)に従っている。 |
正規表現パターン: 一致:
不一致:
|
リージョン エンドポイントまたはマルチリージョン エンドポイントを使用する
Model Armor テンプレートを操作する場合は、テンプレートのロケーションに一致するリージョン エンドポイントまたはマルチリージョン エンドポイント(modelarmor.LOCATION.rep.googleapis.com)を使用する必要があります。各リージョンまたはマルチリージョンでデータ所在地がどのように適用されるかについては、テンプレートのデータ所在地の適用をご覧ください。
グローバル エンドポイント(modelarmor.googleapis.com)は、Model Armor テンプレートの管理や、プロンプトとレスポンスのサニタイズをサポートしていません。
始める前に
始める前に、次のタスクを完了します。
必要な権限を取得する
Model Armor テンプレートで排他ルールを構成するために必要な権限を取得するには、Model Armor テンプレートを含むプロジェクトに対する Model Armor 管理者(roles/modelarmor.admin)IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
API を有効にする
Model Armor を使用するには、Model Armor API を有効にする必要があります。
コンソール
Model Armor API を有効にします(有効になっていない場合)。
API を有効にするために必要なロール
API を有効にするには、
serviceusage.services.enable権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。Model Armor を有効にするプロジェクトを選択します。
gcloud
始める前に、Google Cloud CLI で Model Armor API を使用して、次の処理を行います。
Google Cloud コンソールで Cloud Shell をアクティブにします。
Google Cloud コンソールの下部で Cloud Shell セッションが開始し、コマンドライン プロンプトが表示されます。Cloud Shell はシェル環境です。Google Cloud CLI がすでにインストールされており、現在のプロジェクトの値もすでに設定されています。セッションが初期化されるまで数秒かかることがあります。
Model Armor API を有効にします(有効になっていない場合)。
API を有効にするために必要なロール
API を有効にするには、
serviceusage.services.enable権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。gcloud services enable modelarmor.googleapis.com
gcloud CLI を使用して API エンドポイントのオーバーライドを設定する
この手順は、Model Armor で gcloud CLI を使用し、デフォルトの us マルチリージョン以外のリージョンまたはマルチリージョンを使用する場合にのみ必要です。gcloud CLI がリクエストを Model Armor サービスに正しくルーティングするように、API エンドポイントのオーバーライドを手動で設定する必要があります。
次のコマンドを実行して、Model Armor サービスの API エンドポイントを設定します。
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
LOCATION は、Model Armor を使用するリージョンまたはマルチリージョンに置き換えます。
除外ルールの仕組み
除外ルールは、Model Armor API を使用して構成します。
辞書ルールと正規表現ルール
Model Armor テンプレート内で定義できる除外ルールには、次の 2 種類があります。
- 辞書ルール: 除外する単語またはフレーズのリスト(
wordList、辞書あたり最大 128 KB)を指定します。辞書には少なくとも 1 つのフレーズが含まれている必要があります。各フレーズには、英字または数字を 2 文字以上含める必要があります。辞書での照合は次のように機能します。- 大文字と小文字を区別しない: 辞書の単語やフレーズでは大文字と小文字が区別されません。
- 英数字以外の文字: 一致をスキャンするときに、Unicode の基本多言語面の文字と数字以外のすべての文字が空白に置き換えられます。たとえば、辞書フレーズ
Sam Johnsonはsam johnson、Sam, Johnson、Sam (Johnson)と一致します。文字や数字以外の文字を多く含む辞書フレーズは、それらの文字が空白文字として扱われるため、予期しない一致が発生する可能性があります。 - 文字の境界: 一致する文字を囲む文字は、辞書単語内の隣接する文字とは異なる文字タイプである必要があります。文字は文字以外に隣接し、数字は数字以外に隣接している必要があります。たとえば、辞書単語
jenはjen123の最初の 3 文字と一致しますが、jenniferとは一致しません。
- 正規表現ルール: 一致して除外する正規表現パターン(最大 1,000 文字)を指定します。正規表現の一致では、デフォルトで大文字と小文字が区別されます。大文字と小文字を区別しない一致を行うには、パターンに
(?i)フラグを含めます。たとえば、(?i)kill process [0-9]+はkill process 1234とKill Process 1234の両方に一致します。
マッチングの仕組み
各排他ルールは matchingScope フィールドをサポートしています。このフィールドは、Model Armor が入力コンテンツをルールと照合する方法を指定します。
- 部分一致(
MATCHING_SCOPE_PARTIAL_MATCH、デフォルト):- 辞書ルール: 辞書内の単語またはフレーズが、辞書の文字境界ルールに従って、入力コンテンツの部分文字列と一致する場合に一致します。たとえば、辞書フレーズ
ignore empty rowsはignore empty rows、ignore EMPTY-rows、Please ignore empty rows and summarize this tableと一致しますが、ignore rowsやignore the empty rowsとは一致しません。 - 正規表現ルール: 入力コンテンツ内の部分文字列が正規表現パターンに一致する場合に一致します。
- ストリーミングのサポート: バッファリングされたストリーミング モード(
STREAMING_MODE_BUFFERED)とリアルタイム ストリーミング モード(STREAMING_MODE_REALTIME、デフォルト)の両方でサポートされています。詳細については、ストリーミング サニタイズの除外ルールをご覧ください。
- 辞書ルール: 辞書内の単語またはフレーズが、辞書の文字境界ルールに従って、入力コンテンツの部分文字列と一致する場合に一致します。たとえば、辞書フレーズ
- 完全一致(
MATCHING_SCOPE_FULL_MATCH):- 辞書ルール: 辞書エントリが入力コンテンツ全体をカバーしている場合にのみ一致します。たとえば、辞書フレーズ
ignore empty rowsはignore empty rowsとignore EMPTY-rowsに一致しますが、please ignore empty rowsやignore rowsには一致しません。 - 正規表現ルール: 正規表現パターンが入力コンテンツ全体と一致する場合にのみ一致します。
- ストリーミングのサポート: バッファリングされたストリーミング モード(
STREAMING_MODE_BUFFERED)でのみサポートされます。詳細については、ストリーミング サニタイズの除外ルールをご覧ください。
- 辞書ルール: 辞書エントリが入力コンテンツ全体をカバーしている場合にのみ一致します。たとえば、辞書フレーズ
サニタイズ中の排他ルールのオーバーライド
テンプレートに排他ルールが含まれている場合、Model Armor は、プロンプト インジェクションとジェイルブレイクの検出(PROMPT_INJECTION_AND_JAILBREAK)フィルタまたは責任ある AI(RESPONSIBLE_AI)フィルタが一致する可能性を特定するたびに、プロンプトとモデル レスポンスのサニタイズ中にそれらのルールを評価します。
- ルールが入力と一致する: 除外ルールが部分文字列(
MATCHING_SCOPE_PARTIAL_MATCH、デフォルト)または入力全体(MATCHING_SCOPE_FULL_MATCH)と一致する場合、Model Armor はMATCH_FOUNDまたはEXECUTION_SKIPPEDフィルタの結果をオーバーライドし、入力内の個々のフレーズやスパンを除外するのではなく、サポートされているフィルタタイプ全体(RESPONSIBLE_AIのすべての責任ある AI 安全性カテゴリを含む)に対してmatchStateをNO_MATCH_FOUNDに設定します。サニタイズ レスポンスでは、悪意のあるものが検出されない場合、または排他ルールがフィルタ結果をオーバーライドする場合、filterMatchStateはNO_MATCH_FOUNDになります。トラブルシューティングを行うには、テンプレートでサニタイズ オペレーション(logSanitizeOperations)の Cloud Logging を有効にし、modelarmor.googleapis.com/exclusion_rule_overridden_filtersラベルまたはmodelarmor.googleapis.com/exclusion_rule_skipped_filtersラベルでフィルタします。Model Armor は、除外ルールがフィルタ結果をオーバーライドした場合、またはフィルタのexecutionStateがEXECUTION_SKIPPEDの場合に、これらのラベルをログに記録します。詳細については、排他ルールのログを表示するをご覧ください。 - ルールが入力全体(
MATCHING_SCOPE_FULL_MATCH)と一致しない: 入力に、構成されたフレーズまたはパターン以外のテキストが含まれている場合、ルールは一致せず、フィルタはMATCH_FOUNDを保持します。 - 入力が 130,000 トークン(0.5 MB)を超える: 除外ルールは、入力テキストの最初の 130,000 トークン(0.5 MB)のみを評価します。0.5 MB のペイロードは、英語のテキストで約 130,000 トークンをサポートします(1 トークンあたり約 4 文字)。英語以外のテキストの場合、サポートされるトークンの数は言語によって異なります。これは、英語以外の文字では 1 文字あたりのバイト数が多くなるためです。入力が 130,000 トークン(0.5 MB)を超え、フィルタが最初にスキャンされた部分以外で一致を検出すると、フィルタは
EXECUTION_SKIPPEDを返します。messageItems値とペイロードの上限の詳細については、排他ルールのシステム上限をご覧ください。
除外ルールを使用してプロンプトとモデル レスポンスをサニタイズする例については、除外ルールを使用してプロンプトをサニタイズすると除外ルールを使用してレスポンスをサニタイズするをご覧ください。
ストリーミング サニタイズの除外ルール
Model Armor は、StreamSanitizeUserPrompt メソッドと StreamSanitizeModelResponse ストリーミング メソッドで除外ルールをサポートしています。Model Armor が除外ルールを評価する方法は、リクエストで指定されたストリーミング モード(streamingMode)によって異なります。
- バッファモード(
STREAMING_MODE_BUFFERED):MATCHING_SCOPE_PARTIAL_MATCH(デフォルト)とMATCHING_SCOPE_FULL_MATCHの両方をサポートします。Model Armor は、ストリーミングされたすべてのチャンクを収集し、ストリーミングされた完全なコンテンツに対して排他ルールを評価します。- 部分一致(
MATCHING_SCOPE_PARTIAL_MATCH): 辞書フレーズまたは正規表現パターンが、ストリーミングされたコンテンツ内の部分文字列と一致する場合、Model Armor はフィルタ結果をオーバーライドし、そのフィルタタイプのmatchStateをNO_MATCH_FOUNDに設定します。 - 完全一致(
MATCHING_SCOPE_FULL_MATCH): 辞書フレーズまたは正規表現パターンが、ストリーミングされたコンテンツ全体と最初から最後まで一致する場合、Model Armor はフィルタ結果をオーバーライドし、そのフィルタタイプのmatchStateをNO_MATCH_FOUNDに設定します。構成されたフレーズまたはパターン以外のテキストがチャンクに追加されると、ルールは一致せず、フィルタはMATCH_FOUNDを保持します。
- 部分一致(
- リアルタイム モード(
STREAMING_MODE_REALTIME、デフォルト):MATCHING_SCOPE_PARTIAL_MATCH(デフォルト)をサポートし、MATCHING_SCOPE_FULL_MATCHはサポートしません。- 部分一致(
MATCHING_SCOPE_PARTIAL_MATCH): Model Armor は、処理された各チャンクを個別に評価します(filterMatchStateがNO_MATCH_FOUNDの場合、sanitizationMetadata.streamChunkProcessedで返されます)。辞書フレーズまたは正規表現パターンが処理されたチャンク内で一致すると、Model Armor はフィルタ結果をオーバーライドし、そのチャンクのmatchStateをNO_MATCH_FOUNDに設定します。ストリーム内の後続のチャンクは個別に評価されます。除外されたフレーズまたはパターンが個別の処理済みチャンクに分割されている場合、部分的なフラグメントは一致しません。以前のチャンクが除外ルールに一致せずにMATCH_FOUND判定をトリガーした場合、ストリームは後続のチャンクに対してブロックされたままになります。 - 完全一致(
MATCHING_SCOPE_FULL_MATCH): サポートされていません。テンプレートにMATCHING_SCOPE_FULL_MATCHを含む排他ルールが含まれており、リクエストがリアルタイム ストリーミング モードを使用している場合、Model Armor はリクエストを拒否し、次のINVALID_ARGUMENTエラーを返します。Invalid filter rule settings: FULL_MATCH matching scope is not supported in real-time streaming mode. UsePARTIAL_MATCHorSTREAMING_MODE_BUFFERED`
- 部分一致(
除外ルールを使用したストリーミング サニタイズの例については、除外ルールを使用してストリーミング プロンプトをサニタイズすると除外ルールを使用してストリーミング レスポンスをサニタイズするをご覧ください。
考慮事項
除外ルールを構成する際は、次の点を考慮してください。
- 除外ルールは、定義したテンプレートにのみ適用されます。テンプレート間で除外ルールを共有することはできません。
- サポートされているフィルタタイプの排他ルールを構成できるのは、そのフィルタがテンプレートで有効になっている場合のみです。プロンプト インジェクションとジェイルブレイクの検出(
PROMPT_INJECTION_AND_JAILBREAK)の場合は、piAndJailbreakFilterSettingsでfilterEnforcementをENABLEDに設定します。責任ある AI の安全フィルタ(RESPONSIBLE_AI)を有効にするには、raiSettings.raiFiltersで少なくとも 1 つの責任ある AI の安全カテゴリを構成します。 - Model Armor は、フロア設定の除外ルールをサポートしていません。
- ストリーミング サニタイズでは、Model Armor はバッファモード(
STREAMING_MODE_BUFFERED)でのみ完全一致除外ルール(MATCHING_SCOPE_FULL_MATCH)をサポートします。リアルタイム モード(STREAMING_MODE_REALTIME、デフォルトのストリーミング モード)でMATCHING_SCOPE_FULL_MATCHを使用すると、次のINVALID_ARGUMENTエラーが返されます。Invalid filter rule settings: FULL_MATCH matching scope is not supported in real-time streaming mode. UsePARTIAL_MATCHorSTREAMING_MODE_BUFFERED` を使用してください。 - Model Armor は、匿名化や変換などのテキスト変換を実行する前に、未加工の入力テキストに対して排他ルールを評価します。除外ルールは、多言語検出や自動翻訳をサポートしていません。複数の言語でコンテンツを除外するには、ターゲット言語ごとに言語固有のフレーズまたは正規表現パターンを追加します。
- 除外ルールでは、ラテン文字以外のスクリプト言語とマルチバイト UTF-8 文字のサポートが制限されています。特に、辞書ルール(
wordList)は、結合記号を使用するスクリプト(インド系文字など)や、単語間にスペースがないスクリプト(中国語や日本語など)では、想定どおりに一致しない場合があります。完全一致ルール(MATCHING_SCOPE_FULL_MATCH)は、マルチバイト UTF-8 文字を含む入力と一致しません。ラテン文字以外のスクリプトやマルチバイト文字を含む入力のコンテンツを除外する場合は、MATCHING_SCOPE_PARTIAL_MATCHで正規表現ルール(regex)を使用します。 - 排他ルールにはシステムの上限が適用されます。詳細については、排他ルールのシステム上限をご覧ください。
除外ルールを含むテンプレートを作成する
排他ルールを含むテンプレートを作成するには、POST リクエストの filterConfig に filterRuleSettings オブジェクトを含めます。
次の例では、プロンプト インジェクションとジェイルブレイクの検出、責任ある AI の安全フィルタを有効にするテンプレートを作成し、部分一致(MATCHING_SCOPE_PARTIAL_MATCH)を使用する 2 つの排他ルールを構成します。
- プロンプト インジェクションとジェイルブレイクの検出(
PROMPT_INJECTION_AND_JAILBREAK): 辞書ルールを使用して、ignore case when sorting this listやignore empty rowsなどの指定されたフレーズを含む入力をプロンプト インジェクションとジェイルブレイクの検出から除外します。 - 責任ある AI(
RESPONSIBLE_AI): 正規表現ルールを使用して、指定されたパターン((?i)kill process [0-9]+など)に一致する入力を責任ある AI の安全性検出から除外します。
export TEMPLATE_WITH_EXCLUSIONS='{
"filterConfig": {
"piAndJailbreakFilterSettings": {
"filterEnforcement": "ENABLED",
"confidenceLevel": "LOW_AND_ABOVE"
},
"raiSettings": {
"raiFilters": [
{
"filterType": "DANGEROUS",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HARASSMENT",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HATE_SPEECH",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "SEXUALLY_EXPLICIT",
"confidenceLevel": "LOW_AND_ABOVE"
}
]
},
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"EXCLUDED_PHRASE_1",
"EXCLUDED_PHRASE_2"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
},
{
"filterTypes": [
"RESPONSIBLE_AI"
],
"rules": [
{
"exclusionRule": {
"regex": {
"pattern": "EXCLUDED_REGEX_PATTERN"
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
}
]
}
}
}'
curl -X POST \
-d "$TEMPLATE_WITH_EXCLUSIONS" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates?template_id=TEMPLATE_ID"
次のように置き換えます。
EXCLUDED_PHRASE_1とEXCLUDED_PHRASE_2: プロンプト インジェクションとジェイルブレイクの検出から除外する辞書の単語またはフレーズ(ignore case when sorting this listやignore empty rowsなど)。EXCLUDED_REGEX_PATTERN: 責任ある AI の安全性検出から除外する正規表現パターン(例:(?i)kill process [0-9]+)。PROJECT_ID: テンプレートが属するプロジェクトの ID。LOCATION: テンプレートのロケーション。TEMPLATE_ID: テンプレートの ID。
このコマンドは、次のようなレスポンスを返します。
{
"filterConfig": {
"raiSettings": {
"raiFilters": [
{
"filterType": "DANGEROUS",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HARASSMENT",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HATE_SPEECH",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "SEXUALLY_EXPLICIT",
"confidenceLevel": "LOW_AND_ABOVE"
}
]
},
"piAndJailbreakFilterSettings": {
"filterEnforcement": "ENABLED",
"confidenceLevel": "LOW_AND_ABOVE"
},
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"ignore case when sorting this list",
"ignore empty rows"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
},
{
"filterTypes": [
"RESPONSIBLE_AI"
],
"rules": [
{
"exclusionRule": {
"regex": {
"pattern": "(?i)kill process [0-9]+"
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
}
]
}
},
"templateMetadata": {
"dataResidencyCompliant": true
}
}
テンプレートの排他ルールを更新する
既存のテンプレートの排他ルールを更新するには、updateMask を filterConfig.filterRuleSettings に設定して PATCH リクエストを送信します。更新によって filterRuleSettings フィールド全体が置き換えられるため、保持するすべてのルールと変更内容を含めます。
次の例では、PROMPT_INJECTION_AND_JAILBREAK ルールセットに正規表現ルールを追加し、RESPONSIBLE_AI ルールセットを削除することで、前の例の排他ルールを更新します。
export EXCLUSION_RULES_UPDATE='{
"filterConfig": {
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"EXCLUDED_PHRASE_1",
"EXCLUDED_PHRASE_2"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
},
{
"exclusionRule": {
"regex": {
"pattern": "EXCLUDED_REGEX_PATTERN"
},
"matchingScope": "MATCHING_SCOPE_FULL_MATCH"
}
}
]
}
]
}
}
}'
curl -X PATCH \
-d "$EXCLUSION_RULES_UPDATE" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates/TEMPLATE_ID?updateMask=filterConfig.filterRuleSettings"
次のように置き換えます。
EXCLUDED_PHRASE_1とEXCLUDED_PHRASE_2: プロンプト インジェクションとジェイルブレイクの検出から除外する辞書の単語またはフレーズ(ignore case when sorting this listやignore empty rowsなど)。EXCLUDED_REGEX_PATTERN: プロンプト インジェクションとジェイルブレイクの検出から除外する正規表現パターン(例:(?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b)。PROJECT_ID: テンプレートが属するプロジェクトの ID。LOCATION: テンプレートのロケーション。TEMPLATE_ID: テンプレートの ID。
正規表現の除外パターンの例
正規表現の排他ルールを作成する場合は、パターンを特定のドメイン用語またはターゲット名詞に限定して、Model Armor が既知の誤検知を除外し、実際のセキュリティ違反や安全違反を無視しないようにします。JSON リクエスト本文("pattern")内で正規表現パターンを渡す場合は、各バックスラッシュを 2 番目のバックスラッシュでエスケープします(例: \\b と \\s を使用)。
プロンプト インジェクションとジェイルブレイクの検出の例
ignore、disregard、bypass、override などの命令形の動詞は、敵対的なプロンプト インジェクションと、メールのトリアージ、データ形式、エラー処理、システム構成に関する正当な指示の両方で頻繁に使用されます。プロンプトの幅広いカテゴリを除外しないようにするには、単語境界(\\b)、非キャプチャ グループ((?:...))、大文字と小文字を区別しないフラグ((?i))を MATCHING_SCOPE_PARTIAL_MATCH と組み合わせて、正規表現を特定の運用ターゲット名詞に固定します。
次の表に、部分一致の正規表現パターンの例(JSON エスケープされたバックスラッシュを含む)と、一般的なプロンプト インジェクションとジェイルブレイクの誤検出シナリオのプロンプトの例を示します。
| 指示のカテゴリ | トリガーとなる用語 | 誤検出のシナリオ | 部分一致の正規表現パターンの例 | サンプル プロンプト |
|---|---|---|---|---|
| コンテンツのトリアージとフィルタリング | ignore、disregard |
メールのトリアージ、エラー処理、下書きの確認 |
(?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b
|
Summarize my inbox and ignore the emails from the marketing vendor.
|
責任ある AI の安全フィルタの例
技術ドキュメント、システム管理コマンド、一般的な慣用句には、責任ある AI の安全性カテゴリと重複する単語が含まれていることがよくあります。長いプロンプトやレスポンスで誤検出を軽減するには、単語境界(\\b)、非キャプチャ グループ((?:...))、大文字と小文字を区別しないフラグ((?i))を MATCHING_SCOPE_PARTIAL_MATCH と組み合わせます。
次の表に、部分一致の正規表現パターンの例(JSON エスケープされたバックスラッシュを含む)と、一般的な責任ある AI の誤検出シナリオのプロンプトの例を示します。
| リスクカテゴリ | トリガーとなる用語 | 誤検出のシナリオ | 部分一致の正規表現パターンの例 | サンプル プロンプト |
|---|---|---|---|---|
| 暴力、危害 | kill |
プロセスの終了、電気スイッチ、暖房換気空調システムのスイッチ、一般的な表現 |
(?i)\\b(?:kill\\s+(?:-9|all|process(?:es)?|switch(?:es)?|jobs?|pods?|sessions?|bill|lights?)|time\\s+to\\s+kill|dressed\\s+to\\s+kill)\\b
|
Please kill all pods in the namespace. |
| 有害な表現または不適切な表現 | abort、terminate |
データベース トランザクション、ミッション ライフサイクル、雇用または契約条件 |
(?i)\\b(?:abort\\s+(?:transactions?|missions?|requests?|connections?|retry|retries)|terminate\\s+(?:contracts?|sessions?|threads?|instances?|connections?))\\b
|
Abort retry. |
| ドメイン用語の部分文字列の一致 | 重複する文字部分文字列 | 学術用語、植物学、鳥類学、航空、固有名詞 |
(?i)\\b(?:class(?:room|ic)?|assess(?:ment)?|associate|passive|peacock|cockpit|cocktail|dickens)\\b
|
I love reading Dickens. |
| 武器または爆発物 | bomb、blast、detonate |
バイオインフォマティクス、エンターテイメントの慣用句、産業機器、クリーニング |
(?i)\\b(?:blast\\s+(?:search|alignment|radius|furnace)|box\\s+office\\s+bomb|had\\s+a\\s+blast)\\b
|
Run a blast search on the genetic sequence. |
排他ルールログを表示する
除外ルールの評価結果をログに記録するには、テンプレートでロギングを構成するときに、logSanitizeOperations を true に設定します。ロギングが有効になっている場合、Model Armor は modelarmor.googleapis.com/SanitizeOperation モニタリング対象リソースの SanitizeOperationLogEntry ログエントリを Cloud Logging に書き込みます。
サニタイズ ログの有効化とクエリの詳細については、ロギングを構成するをご覧ください。
除外ルールの構成に関するベスト プラクティス
テンプレートのセキュリティ ポスチャーを弱めることなく、誤検出を最小限に抑えるには、次のベスト プラクティスに従ってください。
- ルールのスコープを特定のコンテキストに限定する: 単一の動詞や広範な用語(
ignore、kill、abortなど)を除外したり、制約のないワイルドカード(.*ignore.*など)を使用したりしないでください。MATCHING_SCOPE_PARTIAL_MATCHは、部分文字列が一致するたびに、フィルタ全体でmatchStateをNO_MATCH_FOUNDにオーバーライドするため、ルールが広すぎると、同じプロンプトまたはレスポンス内の別の場所で発生した実際の違反がマスクされる可能性があります。トリガー動詞は、必ず特定のターゲット名詞(ignore case when sorting this listや(?i)kill process [0-9]+など)と組み合わせてください。 - 単語の境界を使用し、パターンを統合する: 正規表現ルールでは、単語の境界(
\b)を使用して、無関係な単語内で部分文字列が一致しないようにします。ルールセットあたり 10 ルールというシステム上限内に収まるように、キャプチャ グループ以外のグループ((?:...))と代替(|)を使用して、関連するフレーズを 1 つの正規表現にまとめます。 - 予測可能な入力には
MATCHING_SCOPE_FULL_MATCHを優先する: 事前定義された UI プロンプト、定型コマンド、自動テスト ペイロードを除外する場合は、matchingScopeをMATCHING_SCOPE_FULL_MATCHに設定します(または、正規表現を^と$でアンカーします)。完全一致のスコープ設定により、ユーザーが除外されたフレーズに敵対的な指示を追加して検出を回避することを防ぐことができます。 - 未変換の未加工テキストのルールを作成する: Model Armor は、匿名化または変換の前に排他ルールを評価します。パターンが匿名化前の元の形式と一致していることを確認し、アプリケーションがサポートする言語ごとに言語固有のフレーズまたは正規表現パターンを追加します。
- フィルタのアップグレード後に一時的なルールを確認して廃止する: テンプレートを新しいフィルタ バージョンにアップグレードする場合は、誤検出のテストケースを再評価し、更新された検出モデルによって解決された排他ルールを削除します。
次のステップ
- 除外ルールを使用してプロンプトをサニタイズする方法とモデル レスポンスをサニタイズする方法の例をご覧ください。
- 排他ルールのシステム上限を確認します。
- Model Armor のロギングを構成する方法を学習する。
- Model Armor テンプレートを作成して管理する方法を確認する。