テンプレート固有の除外ルールを構成する

Model Armor でテンプレート固有の排他ルールを構成して、誤検出を軽減できます。除外ルールは、検出から除外する正規表現またはフレーズを含むテンプレート固有のルールです。

サポートされているフィルタ

除外ルールは、次のフィルタで使用できます。

除外ルールを使用するタイミング

フィルタを完全に無効にすることなく、特定のワークロードの既知の誤検出を抑制する必要がある場合は、テンプレート固有の排他ルールを使用します。

  • ドメイン固有または技術的な用語: アプリケーションが、システム管理コマンド(kill process、abort transaction)、セキュリティ テスト用語(penetration testing)、科学用語(blast search)、業界の慣用句など、責任ある AI の安全性カテゴリと重複する専門用語を処理します。
  • 無害な操作または形式の指示: ユーザーまたはプロンプト テンプレートに、プロンプト インジェクションとジェイルブレイクの検出で誤検出を引き起こす命令動詞("ignore case when sorting this list"、"ignore empty rows"、"Summarize my inbox and ignore the emails from the marketing vendor." など)を使用する正当な指示が含まれている。
  • モデルの更新を待つ間のターゲットを絞った緩和策: 特定のアプリケーション ワークフローで検証済みの誤検出に対して、他のすべての入力に対してフィルタを有効にしたまま、即時の回避策が必要です。

次の表に、ルールタイプと一致スコープの各組み合わせを使用するタイミングを示します。辞書と正規表現の一致の仕組みについては、辞書と正規表現のルールと一致の仕組みをご覧ください。

ルールの設定 使用する状況 例
部分一致を含む辞書ルール(MATCHING_SCOPE_PARTIAL_MATCH) プロンプトまたはレスポンス内の任意の場所に表示される静的な単語またはフレーズの固定リストがある。辞書の一致動作の詳細については、辞書と正規表現のルールをご覧ください。

辞書にフレーズ ignore empty rows が含まれている

一致:

  • ignore empty rows
  • ignore EMPTY-rows
  • please ignore empty rows

不一致:

  • ignore rows
  • ignore the empty rows
完全一致の辞書ルール(MATCHING_SCOPE_FULL_MATCH) アプリケーションで事前定義されたプロンプト オプション(UI のクイック返信ボタンや定型コマンドなど)を使用しており、入力全体が既知のフレーズと一致する場合に、フィルタされていない追加のテキストがフィルタをバイパスしないようにする。辞書照合の動作の詳細については、辞書と正規表現のルールをご覧ください。

辞書にフレーズ ignore empty rows が含まれている

一致:

  • ignore empty rows
  • ignore EMPTY-rows

不一致:

  • please ignore empty rows
  • ignore rows
部分一致を含む正規表現ルール(MATCHING_SCOPE_PARTIAL_MATCH) 大規模なプロンプトまたはレスポンス内の構造化パターン、動的識別子、または特定の動詞と名詞の組み合わせを除外する必要があります。詳細については、正規表現の除外パターンの例をご覧ください。

正規表現パターン: (?i)kill process [0-9]+

一致:

  • kill process 1234
  • How do I Kill Process 99?

不一致:

  • kill process abc
  • kill the process 1234
完全一致を含む正規表現ルール(MATCHING_SCOPE_FULL_MATCH) 入力ペイロード全体が厳密な構造形式(自動テスト識別子や構造化コマンドなど)に従っている。

正規表現パターン: (?i)^test_case_[0-9]+$

一致:

  • test_case_42
  • TEST_CASE_001

不一致:

  • run test_case_42
  • test_case_alpha

リージョン エンドポイントまたはマルチリージョン エンドポイントを使用する

Model Armor テンプレートを操作する場合は、テンプレートのロケーションに一致するリージョン エンドポイントまたはマルチリージョン エンドポイント(modelarmor.LOCATION.rep.googleapis.com)を使用する必要があります。各リージョンまたはマルチリージョンでデータ所在地がどのように適用されるかについては、テンプレートのデータ所在地の適用をご覧ください。

グローバル エンドポイント(modelarmor.googleapis.com)は、Model Armor テンプレートの管理や、プロンプトとレスポンスのサニタイズをサポートしていません。

始める前に

始める前に、次のタスクを完了します。

必要な権限を取得する

Model Armor テンプレートで排他ルールを構成するために必要な権限を取得するには、Model Armor テンプレートを含むプロジェクトに対する Model Armor 管理者(roles/modelarmor.admin)IAM ロールを付与するよう管理者に依頼してください。ロールの付与については、プロジェクト、フォルダ、組織に対するアクセス権の管理をご覧ください。

必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。

API を有効にする

Model Armor を使用するには、Model Armor API を有効にする必要があります。

コンソール

  1. Model Armor API を有効にします(有効になっていない場合)。

    API を有効にするために必要なロール

    API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。

    API の有効化

  2. Model Armor を有効にするプロジェクトを選択します。

gcloud

始める前に、Google Cloud CLI で Model Armor API を使用して、次の処理を行います。

  1. Google Cloud コンソールで Cloud Shell をアクティブにします。

    Cloud Shell をアクティブにする

    Google Cloud コンソールの下部で Cloud Shell セッションが開始し、コマンドライン プロンプトが表示されます。Cloud Shell はシェル環境です。Google Cloud CLI がすでにインストールされており、現在のプロジェクトの値もすでに設定されています。セッションが初期化されるまで数秒かかることがあります。

  2. Model Armor API を有効にします(有効になっていない場合)。

    API を有効にするために必要なロール

    API を有効にするには、serviceusage.services.enable 権限が必要です。プロジェクトを作成した場合は、オーナーロール(roles/owner)を介してこの権限がすでに付与されている可能性があります。それ以外の場合は、Service Usage 管理者ロール(roles/serviceusage.serviceUsageAdmin)を介してこの権限を取得できます。ロールを付与する方法を確認する。

    gcloud services enable modelarmor.googleapis.com

  3. gcloud CLI を使用して API エンドポイントのオーバーライドを設定する。

gcloud CLI を使用して API エンドポイントのオーバーライドを設定する

この手順は、Model Armor で gcloud CLI を使用し、デフォルトの us マルチリージョン以外のリージョンまたはマルチリージョンを使用する場合にのみ必要です。gcloud CLI がリクエストを Model Armor サービスに正しくルーティングするように、API エンドポイントのオーバーライドを手動で設定する必要があります。

次のコマンドを実行して、Model Armor サービスの API エンドポイントを設定します。

gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

LOCATION は、Model Armor を使用するリージョンまたはマルチリージョンに置き換えます。

除外ルールの仕組み

除外ルールは、Model Armor API を使用して構成します。

辞書ルールと正規表現ルール

Model Armor テンプレート内で定義できる除外ルールには、次の 2 種類があります。

  • 辞書ルール: 除外する単語またはフレーズのリスト(wordList、辞書あたり最大 128 KB)を指定します。辞書には少なくとも 1 つのフレーズが含まれている必要があります。各フレーズには、英字または数字を 2 文字以上含める必要があります。辞書での照合は次のように機能します。
    • 大文字と小文字を区別しない: 辞書の単語やフレーズでは大文字と小文字が区別されません。
    • 英数字以外の文字: 一致をスキャンするときに、Unicode の基本多言語面の文字と数字以外のすべての文字が空白に置き換えられます。たとえば、辞書フレーズ Sam Johnson は sam johnson、Sam, Johnson、Sam (Johnson) と一致します。文字や数字以外の文字を多く含む辞書フレーズは、それらの文字が空白文字として扱われるため、予期しない一致が発生する可能性があります。
    • 文字の境界: 一致する文字を囲む文字は、辞書単語内の隣接する文字とは異なる文字タイプである必要があります。文字は文字以外に隣接し、数字は数字以外に隣接している必要があります。たとえば、辞書単語 jen は jen123 の最初の 3 文字と一致しますが、jennifer とは一致しません。
  • 正規表現ルール: 一致して除外する正規表現パターン(最大 1,000 文字)を指定します。正規表現の一致では、デフォルトで大文字と小文字が区別されます。大文字と小文字を区別しない一致を行うには、パターンに (?i) フラグを含めます。たとえば、(?i)kill process [0-9]+ は kill process 1234 と Kill Process 1234 の両方に一致します。

マッチングの仕組み

各排他ルールは matchingScope フィールドをサポートしています。このフィールドは、Model Armor が入力コンテンツをルールと照合する方法を指定します。

  • 部分一致(MATCHING_SCOPE_PARTIAL_MATCH、デフォルト):
    • 辞書ルール: 辞書内の単語またはフレーズが、辞書の文字境界ルールに従って、入力コンテンツの部分文字列と一致する場合に一致します。たとえば、辞書フレーズ ignore empty rows は ignore empty rows、ignore EMPTY-rows、Please ignore empty rows and summarize this table と一致しますが、ignore rows や ignore the empty rows とは一致しません。
    • 正規表現ルール: 入力コンテンツ内の部分文字列が正規表現パターンに一致する場合に一致します。
    • ストリーミングのサポート: バッファリングされたストリーミング モード(STREAMING_MODE_BUFFERED)とリアルタイム ストリーミング モード(STREAMING_MODE_REALTIME、デフォルト)の両方でサポートされています。詳細については、ストリーミング サニタイズの除外ルールをご覧ください。
  • 完全一致(MATCHING_SCOPE_FULL_MATCH):
    • 辞書ルール: 辞書エントリが入力コンテンツ全体をカバーしている場合にのみ一致します。たとえば、辞書フレーズ ignore empty rows は ignore empty rows と ignore EMPTY-rows に一致しますが、please ignore empty rows や ignore rows には一致しません。
    • 正規表現ルール: 正規表現パターンが入力コンテンツ全体と一致する場合にのみ一致します。
    • ストリーミングのサポート: バッファリングされたストリーミング モード(STREAMING_MODE_BUFFERED)でのみサポートされます。詳細については、ストリーミング サニタイズの除外ルールをご覧ください。

サニタイズ中の排他ルールのオーバーライド

テンプレートに排他ルールが含まれている場合、Model Armor は、プロンプト インジェクションとジェイルブレイクの検出(PROMPT_INJECTION_AND_JAILBREAK)フィルタまたは責任ある AI(RESPONSIBLE_AI)フィルタが一致する可能性を特定するたびに、プロンプトとモデル レスポンスのサニタイズ中にそれらのルールを評価します。

  • ルールが入力と一致する: 除外ルールが部分文字列(MATCHING_SCOPE_PARTIAL_MATCH、デフォルト)または入力全体(MATCHING_SCOPE_FULL_MATCH)と一致する場合、Model Armor は MATCH_FOUND または EXECUTION_SKIPPED フィルタの結果をオーバーライドし、入力内の個々のフレーズやスパンを除外するのではなく、サポートされているフィルタタイプ全体(RESPONSIBLE_AI のすべての責任ある AI 安全性カテゴリを含む)に対して matchState を NO_MATCH_FOUND に設定します。サニタイズ レスポンスでは、悪意のあるものが検出されない場合、または排他ルールがフィルタ結果をオーバーライドする場合、filterMatchState は NO_MATCH_FOUND になります。トラブルシューティングを行うには、テンプレートでサニタイズ オペレーション(logSanitizeOperations)の Cloud Logging を有効にし、modelarmor.googleapis.com/exclusion_rule_overridden_filters ラベルまたは modelarmor.googleapis.com/exclusion_rule_skipped_filters ラベルでフィルタします。Model Armor は、除外ルールがフィルタ結果をオーバーライドした場合、またはフィルタの executionState が EXECUTION_SKIPPED の場合に、これらのラベルをログに記録します。詳細については、排他ルールのログを表示するをご覧ください。
  • ルールが入力全体(MATCHING_SCOPE_FULL_MATCH)と一致しない: 入力に、構成されたフレーズまたはパターン以外のテキストが含まれている場合、ルールは一致せず、フィルタは MATCH_FOUND を保持します。
  • 入力が 130,000 トークン(0.5 MB)を超える: 除外ルールは、入力テキストの最初の 130,000 トークン(0.5 MB)のみを評価します。0.5 MB のペイロードは、英語のテキストで約 130,000 トークンをサポートします(1 トークンあたり約 4 文字)。英語以外のテキストの場合、サポートされるトークンの数は言語によって異なります。これは、英語以外の文字では 1 文字あたりのバイト数が多くなるためです。入力が 130,000 トークン(0.5 MB)を超え、フィルタが最初にスキャンされた部分以外で一致を検出すると、フィルタは EXECUTION_SKIPPED を返します。messageItems 値とペイロードの上限の詳細については、排他ルールのシステム上限をご覧ください。

除外ルールを使用してプロンプトとモデル レスポンスをサニタイズする例については、除外ルールを使用してプロンプトをサニタイズすると除外ルールを使用してレスポンスをサニタイズするをご覧ください。

ストリーミング サニタイズの除外ルール

Model Armor は、StreamSanitizeUserPrompt メソッドと StreamSanitizeModelResponse ストリーミング メソッドで除外ルールをサポートしています。Model Armor が除外ルールを評価する方法は、リクエストで指定されたストリーミング モード(streamingMode)によって異なります。

  • バッファモード(STREAMING_MODE_BUFFERED): MATCHING_SCOPE_PARTIAL_MATCH(デフォルト)と MATCHING_SCOPE_FULL_MATCH の両方をサポートします。Model Armor は、ストリーミングされたすべてのチャンクを収集し、ストリーミングされた完全なコンテンツに対して排他ルールを評価します。
    • 部分一致(MATCHING_SCOPE_PARTIAL_MATCH): 辞書フレーズまたは正規表現パターンが、ストリーミングされたコンテンツ内の部分文字列と一致する場合、Model Armor はフィルタ結果をオーバーライドし、そのフィルタタイプの matchState を NO_MATCH_FOUND に設定します。
    • 完全一致(MATCHING_SCOPE_FULL_MATCH): 辞書フレーズまたは正規表現パターンが、ストリーミングされたコンテンツ全体と最初から最後まで一致する場合、Model Armor はフィルタ結果をオーバーライドし、そのフィルタタイプの matchState を NO_MATCH_FOUND に設定します。構成されたフレーズまたはパターン以外のテキストがチャンクに追加されると、ルールは一致せず、フィルタは MATCH_FOUND を保持します。
  • リアルタイム モード(STREAMING_MODE_REALTIME、デフォルト): MATCHING_SCOPE_PARTIAL_MATCH(デフォルト)をサポートし、MATCHING_SCOPE_FULL_MATCH はサポートしません。
    • 部分一致(MATCHING_SCOPE_PARTIAL_MATCH): Model Armor は、処理された各チャンクを個別に評価します(filterMatchState が NO_MATCH_FOUND の場合、sanitizationMetadata.streamChunkProcessed で返されます)。辞書フレーズまたは正規表現パターンが処理されたチャンク内で一致すると、Model Armor はフィルタ結果をオーバーライドし、そのチャンクの matchState を NO_MATCH_FOUND に設定します。ストリーム内の後続のチャンクは個別に評価されます。除外されたフレーズまたはパターンが個別の処理済みチャンクに分割されている場合、部分的なフラグメントは一致しません。以前のチャンクが除外ルールに一致せずに MATCH_FOUND 判定をトリガーした場合、ストリームは後続のチャンクに対してブロックされたままになります。
    • 完全一致(MATCHING_SCOPE_FULL_MATCH): サポートされていません。テンプレートに MATCHING_SCOPE_FULL_MATCH を含む排他ルールが含まれており、リクエストがリアルタイム ストリーミング モードを使用している場合、Model Armor はリクエストを拒否し、次の INVALID_ARGUMENT エラーを返します。Invalid filter rule settings: FULL_MATCH matching scope is not supported in real-time streaming mode. UsePARTIAL_MATCHorSTREAMING_MODE_BUFFERED`

除外ルールを使用したストリーミング サニタイズの例については、除外ルールを使用してストリーミング プロンプトをサニタイズすると除外ルールを使用してストリーミング レスポンスをサニタイズするをご覧ください。

考慮事項

除外ルールを構成する際は、次の点を考慮してください。

  • 除外ルールは、定義したテンプレートにのみ適用されます。テンプレート間で除外ルールを共有することはできません。
  • サポートされているフィルタタイプの排他ルールを構成できるのは、そのフィルタがテンプレートで有効になっている場合のみです。プロンプト インジェクションとジェイルブレイクの検出(PROMPT_INJECTION_AND_JAILBREAK)の場合は、piAndJailbreakFilterSettings で filterEnforcement を ENABLED に設定します。責任ある AI の安全フィルタ(RESPONSIBLE_AI)を有効にするには、raiSettings.raiFilters で少なくとも 1 つの責任ある AI の安全カテゴリを構成します。
  • Model Armor は、フロア設定の除外ルールをサポートしていません。
  • ストリーミング サニタイズでは、Model Armor はバッファモード(STREAMING_MODE_BUFFERED)でのみ完全一致除外ルール(MATCHING_SCOPE_FULL_MATCH)をサポートします。リアルタイム モード(STREAMING_MODE_REALTIME、デフォルトのストリーミング モード)で MATCHING_SCOPE_FULL_MATCH を使用すると、次の INVALID_ARGUMENT エラーが返されます。Invalid filter rule settings: FULL_MATCH matching scope is not supported in real-time streaming mode. UsePARTIAL_MATCHorSTREAMING_MODE_BUFFERED` を使用してください。
  • Model Armor は、匿名化や変換などのテキスト変換を実行する前に、未加工の入力テキストに対して排他ルールを評価します。除外ルールは、多言語検出や自動翻訳をサポートしていません。複数の言語でコンテンツを除外するには、ターゲット言語ごとに言語固有のフレーズまたは正規表現パターンを追加します。
  • 除外ルールでは、ラテン文字以外のスクリプト言語とマルチバイト UTF-8 文字のサポートが制限されています。特に、辞書ルール(wordList)は、結合記号を使用するスクリプト(インド系文字など)や、単語間にスペースがないスクリプト(中国語や日本語など)では、想定どおりに一致しない場合があります。完全一致ルール(MATCHING_SCOPE_FULL_MATCH)は、マルチバイト UTF-8 文字を含む入力と一致しません。ラテン文字以外のスクリプトやマルチバイト文字を含む入力のコンテンツを除外する場合は、MATCHING_SCOPE_PARTIAL_MATCH で正規表現ルール(regex)を使用します。
  • 排他ルールにはシステムの上限が適用されます。詳細については、排他ルールのシステム上限をご覧ください。

除外ルールを含むテンプレートを作成する

排他ルールを含むテンプレートを作成するには、POST リクエストの filterConfig に filterRuleSettings オブジェクトを含めます。

次の例では、プロンプト インジェクションとジェイルブレイクの検出、責任ある AI の安全フィルタを有効にするテンプレートを作成し、部分一致(MATCHING_SCOPE_PARTIAL_MATCH)を使用する 2 つの排他ルールを構成します。

  • プロンプト インジェクションとジェイルブレイクの検出(PROMPT_INJECTION_AND_JAILBREAK): 辞書ルールを使用して、ignore case when sorting this list や ignore empty rows などの指定されたフレーズを含む入力をプロンプト インジェクションとジェイルブレイクの検出から除外します。
  • 責任ある AI(RESPONSIBLE_AI): 正規表現ルールを使用して、指定されたパターン((?i)kill process [0-9]+ など)に一致する入力を責任ある AI の安全性検出から除外します。
export TEMPLATE_WITH_EXCLUSIONS='{
  "filterConfig": {
    "piAndJailbreakFilterSettings": {
      "filterEnforcement": "ENABLED",
      "confidenceLevel": "LOW_AND_ABOVE"
    },
    "raiSettings": {
      "raiFilters": [
        {
          "filterType": "DANGEROUS",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "HARASSMENT",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "HATE_SPEECH",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "SEXUALLY_EXPLICIT",
          "confidenceLevel": "LOW_AND_ABOVE"
        }
      ]
    },
    "filterRuleSettings": {
      "ruleSets": [
        {
          "filterTypes": [
            "PROMPT_INJECTION_AND_JAILBREAK"
          ],
          "rules": [
            {
              "exclusionRule": {
                "dictionary": {
                  "wordList": {
                    "words": [
                      "EXCLUDED_PHRASE_1",
                      "EXCLUDED_PHRASE_2"
                    ]
                  }
                },
                "matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
              }
            }
          ]
        },
        {
          "filterTypes": [
            "RESPONSIBLE_AI"
          ],
          "rules": [
            {
              "exclusionRule": {
                "regex": {
                  "pattern": "EXCLUDED_REGEX_PATTERN"
                },
                "matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
              }
            }
          ]
        }
      ]
    }
  }
}'

curl -X POST \
    -d "$TEMPLATE_WITH_EXCLUSIONS" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates?template_id=TEMPLATE_ID"

次のように置き換えます。

  • EXCLUDED_PHRASE_1 と EXCLUDED_PHRASE_2: プロンプト インジェクションとジェイルブレイクの検出から除外する辞書の単語またはフレーズ(ignore case when sorting this list や ignore empty rows など)。
  • EXCLUDED_REGEX_PATTERN: 責任ある AI の安全性検出から除外する正規表現パターン(例: (?i)kill process [0-9]+)。
  • PROJECT_ID: テンプレートが属するプロジェクトの ID。
  • LOCATION: テンプレートのロケーション。
  • TEMPLATE_ID: テンプレートの ID。

このコマンドは、次のようなレスポンスを返します。

{
  "filterConfig": {
    "raiSettings": {
      "raiFilters": [
        {
          "filterType": "DANGEROUS",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "HARASSMENT",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "HATE_SPEECH",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "SEXUALLY_EXPLICIT",
          "confidenceLevel": "LOW_AND_ABOVE"
        }
      ]
    },
    "piAndJailbreakFilterSettings": {
      "filterEnforcement": "ENABLED",
      "confidenceLevel": "LOW_AND_ABOVE"
    },
    "filterRuleSettings": {
      "ruleSets": [
        {
          "filterTypes": [
            "PROMPT_INJECTION_AND_JAILBREAK"
          ],
          "rules": [
            {
              "exclusionRule": {
                "dictionary": {
                  "wordList": {
                    "words": [
                      "ignore case when sorting this list",
                      "ignore empty rows"
                    ]
                  }
                },
                "matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
              }
            }
          ]
        },
        {
          "filterTypes": [
            "RESPONSIBLE_AI"
          ],
          "rules": [
            {
              "exclusionRule": {
                "regex": {
                  "pattern": "(?i)kill process [0-9]+"
                },
                "matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
              }
            }
          ]
        }
      ]
    }
  },
  "templateMetadata": {
    "dataResidencyCompliant": true
  }
}

テンプレートの排他ルールを更新する

既存のテンプレートの排他ルールを更新するには、updateMask を filterConfig.filterRuleSettings に設定して PATCH リクエストを送信します。更新によって filterRuleSettings フィールド全体が置き換えられるため、保持するすべてのルールと変更内容を含めます。

次の例では、PROMPT_INJECTION_AND_JAILBREAK ルールセットに正規表現ルールを追加し、RESPONSIBLE_AI ルールセットを削除することで、前の例の排他ルールを更新します。

export EXCLUSION_RULES_UPDATE='{
  "filterConfig": {
    "filterRuleSettings": {
      "ruleSets": [
        {
          "filterTypes": [
            "PROMPT_INJECTION_AND_JAILBREAK"
          ],
          "rules": [
            {
              "exclusionRule": {
                "dictionary": {
                  "wordList": {
                    "words": [
                      "EXCLUDED_PHRASE_1",
                      "EXCLUDED_PHRASE_2"
                    ]
                  }
                },
                "matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
              }
            },
            {
              "exclusionRule": {
                "regex": {
                  "pattern": "EXCLUDED_REGEX_PATTERN"
                },
                "matchingScope": "MATCHING_SCOPE_FULL_MATCH"
              }
            }
          ]
        }
      ]
    }
  }
}'

curl -X PATCH \
    -d "$EXCLUSION_RULES_UPDATE" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates/TEMPLATE_ID?updateMask=filterConfig.filterRuleSettings"

次のように置き換えます。

  • EXCLUDED_PHRASE_1 と EXCLUDED_PHRASE_2: プロンプト インジェクションとジェイルブレイクの検出から除外する辞書の単語またはフレーズ(ignore case when sorting this list や ignore empty rows など)。
  • EXCLUDED_REGEX_PATTERN: プロンプト インジェクションとジェイルブレイクの検出から除外する正規表現パターン(例: (?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b)。
  • PROJECT_ID: テンプレートが属するプロジェクトの ID。
  • LOCATION: テンプレートのロケーション。
  • TEMPLATE_ID: テンプレートの ID。

正規表現の除外パターンの例

正規表現の排他ルールを作成する場合は、パターンを特定のドメイン用語またはターゲット名詞に限定して、Model Armor が既知の誤検知を除外し、実際のセキュリティ違反や安全違反を無視しないようにします。JSON リクエスト本文("pattern")内で正規表現パターンを渡す場合は、各バックスラッシュを 2 番目のバックスラッシュでエスケープします(例: \\b と \\s を使用)。

プロンプト インジェクションとジェイルブレイクの検出の例

ignore、disregard、bypass、override などの命令形の動詞は、敵対的なプロンプト インジェクションと、メールのトリアージ、データ形式、エラー処理、システム構成に関する正当な指示の両方で頻繁に使用されます。プロンプトの幅広いカテゴリを除外しないようにするには、単語境界(\\b)、非キャプチャ グループ((?:...))、大文字と小文字を区別しないフラグ((?i))を MATCHING_SCOPE_PARTIAL_MATCH と組み合わせて、正規表現を特定の運用ターゲット名詞に固定します。

次の表に、部分一致の正規表現パターンの例(JSON エスケープされたバックスラッシュを含む)と、一般的なプロンプト インジェクションとジェイルブレイクの誤検出シナリオのプロンプトの例を示します。

指示のカテゴリ トリガーとなる用語 誤検出のシナリオ 部分一致の正規表現パターンの例 サンプル プロンプト
コンテンツのトリアージとフィルタリング ignore、disregard メールのトリアージ、エラー処理、下書きの確認 (?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b Summarize my inbox and ignore the emails from the marketing vendor.

責任ある AI の安全フィルタの例

技術ドキュメント、システム管理コマンド、一般的な慣用句には、責任ある AI の安全性カテゴリと重複する単語が含まれていることがよくあります。長いプロンプトやレスポンスで誤検出を軽減するには、単語境界(\\b)、非キャプチャ グループ((?:...))、大文字と小文字を区別しないフラグ((?i))を MATCHING_SCOPE_PARTIAL_MATCH と組み合わせます。

次の表に、部分一致の正規表現パターンの例(JSON エスケープされたバックスラッシュを含む)と、一般的な責任ある AI の誤検出シナリオのプロンプトの例を示します。

リスクカテゴリ トリガーとなる用語 誤検出のシナリオ 部分一致の正規表現パターンの例 サンプル プロンプト
暴力、危害 kill プロセスの終了、電気スイッチ、暖房換気空調システムのスイッチ、一般的な表現 (?i)\\b(?:kill\\s+(?:-9|all|process(?:es)?|switch(?:es)?|jobs?|pods?|sessions?|bill|lights?)|time\\s+to\\s+kill|dressed\\s+to\\s+kill)\\b Please kill all pods in the namespace.
有害な表現または不適切な表現 abort、terminate データベース トランザクション、ミッション ライフサイクル、雇用または契約条件 (?i)\\b(?:abort\\s+(?:transactions?|missions?|requests?|connections?|retry|retries)|terminate\\s+(?:contracts?|sessions?|threads?|instances?|connections?))\\b Abort retry.
ドメイン用語の部分文字列の一致 重複する文字部分文字列 学術用語、植物学、鳥類学、航空、固有名詞 (?i)\\b(?:class(?:room|ic)?|assess(?:ment)?|associate|passive|peacock|cockpit|cocktail|dickens)\\b I love reading Dickens.
武器または爆発物 bomb、blast、detonate バイオインフォマティクス、エンターテイメントの慣用句、産業機器、クリーニング (?i)\\b(?:blast\\s+(?:search|alignment|radius|furnace)|box\\s+office\\s+bomb|had\\s+a\\s+blast)\\b Run a blast search on the genetic sequence.

排他ルールログを表示する

除外ルールの評価結果をログに記録するには、テンプレートでロギングを構成するときに、logSanitizeOperations を true に設定します。ロギングが有効になっている場合、Model Armor は modelarmor.googleapis.com/SanitizeOperation モニタリング対象リソースの SanitizeOperationLogEntry ログエントリを Cloud Logging に書き込みます。

サニタイズ ログの有効化とクエリの詳細については、ロギングを構成するをご覧ください。

除外ルールの構成に関するベスト プラクティス

テンプレートのセキュリティ ポスチャーを弱めることなく、誤検出を最小限に抑えるには、次のベスト プラクティスに従ってください。

  • ルールのスコープを特定のコンテキストに限定する: 単一の動詞や広範な用語(ignore、kill、abort など)を除外したり、制約のないワイルドカード(.*ignore.* など)を使用したりしないでください。MATCHING_SCOPE_PARTIAL_MATCH は、部分文字列が一致するたびに、フィルタ全体で matchState を NO_MATCH_FOUND にオーバーライドするため、ルールが広すぎると、同じプロンプトまたはレスポンス内の別の場所で発生した実際の違反がマスクされる可能性があります。トリガー動詞は、必ず特定のターゲット名詞(ignore case when sorting this list や (?i)kill process [0-9]+ など)と組み合わせてください。
  • 単語の境界を使用し、パターンを統合する: 正規表現ルールでは、単語の境界(\b)を使用して、無関係な単語内で部分文字列が一致しないようにします。ルールセットあたり 10 ルールというシステム上限内に収まるように、キャプチャ グループ以外のグループ((?:...))と代替(|)を使用して、関連するフレーズを 1 つの正規表現にまとめます。
  • 予測可能な入力には MATCHING_SCOPE_FULL_MATCH を優先する: 事前定義された UI プロンプト、定型コマンド、自動テスト ペイロードを除外する場合は、matchingScope を MATCHING_SCOPE_FULL_MATCH に設定します(または、正規表現を ^ と $ でアンカーします)。完全一致のスコープ設定により、ユーザーが除外されたフレーズに敵対的な指示を追加して検出を回避することを防ぐことができます。
  • 未変換の未加工テキストのルールを作成する: Model Armor は、匿名化または変換の前に排他ルールを評価します。パターンが匿名化前の元の形式と一致していることを確認し、アプリケーションがサポートする言語ごとに言語固有のフレーズまたは正規表現パターンを追加します。
  • フィルタのアップグレード後に一時的なルールを確認して廃止する: テンプレートを新しいフィルタ バージョンにアップグレードする場合は、誤検出のテストケースを再評価し、更新された検出モデルによって解決された排他ルールを削除します。

次のステップ