Mengonfigurasi aturan pengecualian khusus template

Anda dapat mengonfigurasi aturan pengecualian khusus template di Model Armor untuk mengurangi deteksi positif palsu. Aturan pengecualian adalah aturan khusus template yang berisi ekspresi reguler atau frasa yang akan dikecualikan dari deteksi.

Filter yang didukung

Anda dapat menggunakan aturan pengecualian untuk filter berikut:

Kapan harus menggunakan aturan pengecualian

Gunakan aturan pengecualian spesifik per template jika Anda perlu menekan deteksi positif palsu yang diketahui untuk beban kerja tertentu tanpa menonaktifkan filter sepenuhnya:

  • Terminologi teknis atau khusus domain: Aplikasi Anda memproses kosakata khusus, seperti perintah administrasi sistem (kill process, abort transaction), terminologi pengujian keamanan (penetration testing), istilah ilmiah (blast search), atau idiom industri yang tumpang-tindih dengan kategori keamanan AI yang bertanggung jawab.
  • Petunjuk operasional atau pemformatan yang tidak berbahaya: Pengguna atau template perintah Anda menyertakan petunjuk yang sah yang menggunakan kata kerja imperatif (seperti "ignore case when sorting this list", "ignore empty rows", atau "Summarize my inbox and ignore the emails from the marketing vendor.") yang memicu positif palsu dalam deteksi injeksi perintah dan jailbreak.
  • Mitigasi yang ditargetkan sambil menunggu update model: Anda memerlukan solusi sementara langsung untuk positif palsu yang terverifikasi dalam alur kerja aplikasi tertentu sambil menjaga filter tetap aktif untuk semua input lainnya.

Tabel berikut menjelaskan kapan harus menggunakan setiap kombinasi jenis aturan dan cakupan pencocokan. Untuk mengetahui informasi selengkapnya tentang cara kerja pencocokan ekspresi reguler dan kamus, lihat Aturan ekspresi reguler dan kamus dan Cara kerja pencocokan.

Konfigurasi aturan Kapan digunakan Contoh
Aturan kamus dengan kecocokan sebagian (MATCHING_SCOPE_PARTIAL_MATCH) Anda memiliki daftar tetap kata atau frasa statis yang dapat muncul di mana saja dalam perintah atau respons. Untuk mengetahui informasi selengkapnya tentang perilaku pencocokan kamus, lihat Aturan kamus dan ekspresi reguler.

Kamus berisi frasa ignore empty rows

Hasil yang cocok:

  • ignore empty rows
  • ignore EMPTY-rows
  • please ignore empty rows

Tidak cocok dengan:

  • ignore rows
  • ignore the empty rows
Aturan kamus dengan kecocokan penuh (MATCHING_SCOPE_FULL_MATCH) Aplikasi Anda menggunakan opsi perintah yang telah ditentukan sebelumnya (seperti tombol balasan cepat UI atau perintah standar) yang seluruh inputnya cocok dengan frasa yang diketahui, dan Anda ingin mencegah teks tambahan yang tidak disaring melewati filter. Untuk mengetahui informasi selengkapnya tentang perilaku pencocokan kamus, lihat Aturan kamus dan ekspresi reguler.

Kamus berisi frasa ignore empty rows

Hasil yang cocok:

  • ignore empty rows
  • ignore EMPTY-rows

Tidak cocok dengan:

  • please ignore empty rows
  • ignore rows
Aturan ekspresi reguler dengan pencocokan parsial (MATCHING_SCOPE_PARTIAL_MATCH) Anda perlu mengecualikan pola terstruktur, ID dinamis, atau kombinasi kata kerja dan kata benda tertentu dalam perintah atau respons yang lebih besar. Untuk mengetahui informasi selengkapnya, lihat Contoh pola pengecualian ekspresi reguler.

Pola ekspresi reguler: (?i)kill process [0-9]+

Hasil yang cocok:

  • kill process 1234
  • How do I Kill Process 99?

Tidak cocok dengan:

  • kill process abc
  • kill the process 1234
Aturan ekspresi reguler dengan pencocokan penuh (MATCHING_SCOPE_FULL_MATCH) Seluruh payload input mengikuti format struktural yang ketat (seperti ID pengujian otomatis atau perintah terstruktur).

Pola ekspresi reguler: (?i)^test_case_[0-9]+$

Hasil yang cocok:

  • test_case_42
  • TEST_CASE_001

Tidak cocok dengan:

  • run test_case_42
  • test_case_alpha

Menggunakan endpoint regional atau multi-regional

Saat menggunakan template Model Armor, Anda harus menggunakan endpoint regional atau multiregional (modelarmor.LOCATION.rep.googleapis.com) yang cocok dengan lokasi template.

Endpoint global (modelarmor.googleapis.com) tidak mendukung pengelolaan template Model Armor atau pembersihan perintah dan respons.

Sebelum memulai

Sebelum memulai, selesaikan tugas berikut.

Mendapatkan izin yang diperlukan

Guna mendapatkan izin yang diperlukan untuk mengonfigurasi aturan pengecualian dalam template Model Armor, minta administrator Anda untuk memberi Anda peran IAM Model Armor Admin (roles/modelarmor.admin) di project Model Armor yang berisi template Model Armor. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Mengaktifkan API

Anda harus mengaktifkan Model Armor API sebelum dapat menggunakan Model Armor.

Konsol

  1. Aktifkan Model Armor API, jika belum diaktifkan.

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    Mengaktifkan API

  2. Pilih project tempat Anda ingin mengaktifkan Model Armor.

gcloud

Sebelum memulai, ikuti langkah-langkah berikut menggunakan Google Cloud CLI dengan Model Armor API:

  1. Di konsol Google Cloud , aktifkan Cloud Shell.

    Aktifkan Cloud Shell

    Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan perintah command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.

  2. Aktifkan Model Armor API, jika belum diaktifkan:

    Peran yang diperlukan untuk mengaktifkan API

    Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Admin Penggunaan Layanan (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

    gcloud services enable modelarmor.googleapis.com

  3. Tetapkan penggantian endpoint API menggunakan gcloud CLI.

Menetapkan penggantian endpoint API menggunakan gcloud CLI

Langkah ini hanya diperlukan jika Anda menggunakan gcloud CLI dengan Model Armor dan ingin menggunakan region atau multi-region selain multi-region us default. Anda harus menetapkan penggantian endpoint API secara manual untuk memastikan gcloud CLI merutekan permintaan dengan benar ke layanan Model Armor.

Jalankan perintah berikut untuk menetapkan endpoint API untuk layanan Model Armor.

gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

Ganti LOCATION dengan region atau multi-region tempat Anda ingin menggunakan Model Armor.

Cara kerja aturan pengecualian

Anda mengonfigurasi aturan pengecualian menggunakan Model Armor API.

Aturan kamus dan ekspresi reguler

Anda dapat menentukan dua jenis aturan pengecualian dalam template Model Armor:

  • Aturan kamus: Tentukan daftar kata atau frasa (wordList, hingga 128 KB per kamus) yang akan dikecualikan. Kamus harus berisi setidaknya satu frasa, dan setiap frasa harus berisi setidaknya dua karakter yang berupa huruf atau angka. Pencocokan kamus berfungsi sebagai berikut:
    • Tidak peka huruf besar/kecil: Kata dan frasa kamus tidak peka huruf besar/kecil.
    • Karakter non-alfanumerik: Saat memindai kecocokan, semua karakter selain huruf dan angka dalam Basic Multilingual Plane Unicode akan diganti dengan spasi kosong. Misalnya, frasa kamus Sam Johnson cocok dengan sam johnson, Sam, Johnson, dan Sam (Johnson). Frasa kamus yang berisi banyak karakter yang bukan huruf atau angka dapat menghasilkan kecocokan yang tidak terduga karena karakter tersebut diperlakukan sebagai spasi kosong.
    • Batas karakter: Karakter yang mengelilingi kecocokan harus memiliki jenis karakter yang berbeda dengan karakter yang berdekatan dalam kata kamus. Huruf harus berdekatan dengan non-huruf, dan digit harus berdekatan dengan non-digit. Misalnya, kata dalam kamus jen cocok dengan tiga huruf pertama jen123, tetapi tidak cocok dengan jennifer.
  • Aturan ekspresi reguler: Tentukan pola ekspresi reguler (hingga 1.000 karakter) untuk dicocokkan dan dikecualikan. Kecocokan ekspresi reguler peka huruf besar/kecil secara default. Untuk melakukan pencocokan yang tidak peka huruf besar/kecil, sertakan tanda (?i) dalam pola Anda. Misalnya, (?i)kill process [0-9]+ cocok dengan kill process 1234 dan Kill Process 1234.

Cara kerja pencocokan

Setiap aturan pengecualian mendukung kolom matchingScope, yang menentukan cara Model Armor mencocokkan konten input dengan aturan:

  • Kecocokan parsial (MATCHING_SCOPE_PARTIAL_MATCH, default):
    • Aturan kamus: Cocok jika kata atau frasa dalam kamus cocok dengan substring dalam konten input, tunduk pada aturan batas karakter kamus. Misalnya, frasa kamus ignore empty rows cocok dengan ignore empty rows, ignore EMPTY-rows, dan Please ignore empty rows and summarize this table, tetapi tidak cocok dengan ignore rows atau ignore the empty rows.
    • Aturan ekspresi reguler: Cocok jika ada substring dalam konten input yang cocok dengan pola ekspresi reguler.
  • Kecocokan penuh (MATCHING_SCOPE_FULL_MATCH):
    • Aturan kamus: Hanya cocok jika entri kamus mencakup seluruh konten input. Misalnya, frasa kamus ignore empty rows cocok dengan ignore empty rows dan ignore EMPTY-rows, tetapi tidak cocok dengan please ignore empty rows atau ignore rows.
    • Aturan ekspresi reguler: Hanya cocok jika pola ekspresi reguler cocok dengan seluruh konten input.

Penggantian aturan pengecualian selama pembersihan

Jika template menyertakan aturan pengecualian, Model Armor akan mengevaluasi aturan tersebut selama pembersihan perintah dan respons model setiap kali filter injeksi perintah dan deteksi jailbreak (PROMPT_INJECTION_AND_JAILBREAK) atau filter AI yang bertanggung jawab (RESPONSIBLE_AI) mengidentifikasi potensi kecocokan:

  • Aturan cocok dengan input: Jika aturan pengecualian cocok dengan substring (MATCHING_SCOPE_PARTIAL_MATCH, default) atau seluruh input dari awal hingga akhir (MATCHING_SCOPE_FULL_MATCH), Model Armor akan mengganti matchState dan menyetelnya ke NO_MATCH_FOUND untuk seluruh jenis filter yang didukung (termasuk semua kategori keamanan AI yang bertanggung jawab untuk RESPONSIBLE_AI), bukan mengecualikan setiap frasa atau rentang dalam input. Jika tidak ada filter aktif lain yang mendeteksi pelanggaran, filterMatchState akan menampilkan NO_MATCH_FOUND. Model Armor tidak mencatat indikator di Cloud Logging atau menyertakan sinyal dalam respons pembersihan saat aturan pengecualian menggantikan filter matchState.
  • Aturan tidak cocok dengan input lengkap (MATCHING_SCOPE_FULL_MATCH): Jika input berisi teks tambahan di luar frasa atau pola yang dikonfigurasi, aturan tidak cocok dan filter mempertahankan MATCH_FOUND.
  • Input melebihi 0,5 MB: Aturan pengecualian hanya mengevaluasi 0,5 MB pertama dari teks input. Jika input melebihi 0,5 MB dan filter mendeteksi kecocokan di luar bagian yang dipindai awal, filter akan menampilkan EXECUTION_SKIPPED. Untuk mengetahui detail tentang nilai messageItems dan batas payload, lihat Batas sistem aturan pengecualian.

Untuk contoh penyamaran perintah dan respons model dengan aturan pengecualian, lihat Menyamarkan perintah dengan aturan pengecualian dan Menyamarkan respons dengan aturan pengecualian.

Pertimbangan

Saat Anda mengonfigurasi aturan pengecualian, pertimbangkan hal berikut:

  • Aturan pengecualian hanya berlaku untuk template tempat Anda menentukannya. Anda tidak dapat membagikan aturan pengecualian di seluruh template.
  • Anda dapat mengonfigurasi aturan pengecualian untuk jenis filter yang didukung hanya jika filter tersebut diaktifkan dalam template. Untuk deteksi injeksi perintah dan jailbreak (PROMPT_INJECTION_AND_JAILBREAK), setel filterEnforcement ke ENABLED di piAndJailbreakFilterSettings. Untuk mengaktifkan filter keamanan AI yang bertanggung jawab (RESPONSIBLE_AI), konfigurasi setidaknya satu kategori keamanan AI yang bertanggung jawab di raiSettings.raiFilters.
  • Model Armor tidak mendukung aturan pengecualian di API streaming atau setelan tingkat.
  • Model Armor mengevaluasi aturan pengecualian terhadap teks input mentah sebelum melakukan transformasi teks seperti penghapusan identitas atau terjemahan. Aturan pengecualian tidak mendukung deteksi multi-bahasa atau terjemahan otomatis; untuk mengecualikan konten dalam beberapa bahasa, tambahkan frasa atau pola ekspresi reguler khusus bahasa untuk setiap bahasa target.
  • Aturan pengecualian memiliki dukungan terbatas untuk bahasa dengan skrip non-Latin dan karakter UTF-8 multi-byte. Secara khusus, aturan kamus (wordList) mungkin tidak cocok seperti yang diharapkan untuk skrip yang menggunakan tanda gabungan (seperti skrip India) atau skrip tanpa spasi antar-kata (seperti China dan Jepang). Aturan kecocokan penuh (MATCHING_SCOPE_FULL_MATCH) tidak cocok dengan input yang berisi karakter UTF-8 multi-byte. Saat mengecualikan konten dalam skrip non-Latin atau input dengan karakter multi-byte, gunakan aturan ekspresi reguler (regex) dengan MATCHING_SCOPE_PARTIAL_MATCH.
  • Aturan pengecualian tunduk pada batas sistem. Untuk mengetahui informasi selengkapnya, lihat Batas sistem aturan pengecualian.

Membuat template dengan aturan pengecualian

Untuk membuat template dengan aturan pengecualian, sertakan objek filterRuleSettings dalam filterConfig dalam permintaan POST.

Contoh berikut membuat template yang mengaktifkan deteksi prompt injection dan jailbreak serta filter keamanan AI yang bertanggung jawab, dan mengonfigurasi dua aturan pengecualian dengan pencocokan parsial (MATCHING_SCOPE_PARTIAL_MATCH):

  • Deteksi injeksi perintah dan jailbreak (PROMPT_INJECTION_AND_JAILBREAK): Menggunakan aturan kamus untuk mengecualikan input yang berisi frasa tertentu, seperti ignore case when sorting this list atau ignore empty rows, dari deteksi injeksi perintah dan jailbreak.
  • AI yang Bertanggung Jawab (RESPONSIBLE_AI): Menggunakan aturan ekspresi reguler untuk mengecualikan input yang cocok dengan pola tertentu, seperti (?i)kill process [0-9]+, dari deteksi keamanan AI yang bertanggung jawab.
export TEMPLATE_WITH_EXCLUSIONS='{
  "filterConfig": {
    "piAndJailbreakFilterSettings": {
      "filterEnforcement": "ENABLED",
      "confidenceLevel": "LOW_AND_ABOVE"
    },
    "raiSettings": {
      "raiFilters": [
        {
          "filterType": "DANGEROUS",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "HARASSMENT",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "HATE_SPEECH",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "SEXUALLY_EXPLICIT",
          "confidenceLevel": "LOW_AND_ABOVE"
        }
      ]
    },
    "filterRuleSettings": {
      "ruleSets": [
        {
          "filterTypes": [
            "PROMPT_INJECTION_AND_JAILBREAK"
          ],
          "rules": [
            {
              "exclusionRule": {
                "dictionary": {
                  "wordList": {
                    "words": [
                      "EXCLUDED_PHRASE_1",
                      "EXCLUDED_PHRASE_2"
                    ]
                  }
                },
                "matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
              }
            }
          ]
        },
        {
          "filterTypes": [
            "RESPONSIBLE_AI"
          ],
          "rules": [
            {
              "exclusionRule": {
                "regex": {
                  "pattern": "EXCLUDED_REGEX_PATTERN"
                },
                "matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
              }
            }
          ]
        }
      ]
    }
  }
}'

curl -X POST \
  -d "$TEMPLATE_WITH_EXCLUSIONS" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates?template_id=TEMPLATE_ID"

Ganti kode berikut:

  • EXCLUDED_PHRASE_1 dan EXCLUDED_PHRASE_2: kata atau frasa kamus yang akan dikecualikan dari deteksi injeksi perintah dan jailbreak—misalnya, ignore case when sorting this list dan ignore empty rows.
  • EXCLUDED_REGEX_PATTERN: pola ekspresi reguler yang akan dikecualikan dari deteksi keamanan AI yang bertanggung jawab—misalnya, (?i)kill process [0-9]+.
  • PROJECT_ID: ID project tempat template berada.
  • LOCATION: lokasi template.
  • TEMPLATE_ID: ID template.

Perintah ini menampilkan respons yang mirip dengan berikut ini:

{
  "filterConfig": {
    "raiSettings": {
      "raiFilters": [
        {
          "filterType": "DANGEROUS",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "HARASSMENT",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "HATE_SPEECH",
          "confidenceLevel": "LOW_AND_ABOVE"
        },
        {
          "filterType": "SEXUALLY_EXPLICIT",
          "confidenceLevel": "LOW_AND_ABOVE"
        }
      ]
    },
    "piAndJailbreakFilterSettings": {
      "filterEnforcement": "ENABLED",
      "confidenceLevel": "LOW_AND_ABOVE"
    },
    "filterRuleSettings": {
      "ruleSets": [
        {
          "filterTypes": [
            "PROMPT_INJECTION_AND_JAILBREAK"
          ],
          "rules": [
            {
              "exclusionRule": {
                "dictionary": {
                  "wordList": {
                    "words": [
                      "ignore case when sorting this list",
                      "ignore empty rows"
                    ]
                  }
                },
                "matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
              }
            }
          ]
        },
        {
          "filterTypes": [
            "RESPONSIBLE_AI"
          ],
          "rules": [
            {
              "exclusionRule": {
                "regex": {
                  "pattern": "(?i)kill process [0-9]+"
                },
                "matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
              }
            }
          ]
        }
      ]
    }
  },
  "templateMetadata": {
    "dataResidencyCompliant": true
  }
}

Memperbarui aturan pengecualian dalam template

Untuk memperbarui aturan pengecualian dalam template yang ada, kirim permintaan PATCH dengan updateMask ditetapkan ke filterConfig.filterRuleSettings. Karena pembaruan menggantikan seluruh kolom filterRuleSettings, sertakan semua aturan yang ingin Anda pertahankan bersama dengan modifikasi Anda.

Contoh berikut memperbarui aturan pengecualian dari contoh sebelumnya dengan menambahkan aturan ekspresi reguler ke set aturan PROMPT_INJECTION_AND_JAILBREAK dan menghapus set aturan RESPONSIBLE_AI:

export EXCLUSION_RULES_UPDATE='{
  "filterConfig": {
    "filterRuleSettings": {
      "ruleSets": [
        {
          "filterTypes": [
            "PROMPT_INJECTION_AND_JAILBREAK"
          ],
          "rules": [
            {
              "exclusionRule": {
                "dictionary": {
                  "wordList": {
                    "words": [
                      "EXCLUDED_PHRASE_1",
                      "EXCLUDED_PHRASE_2"
                    ]
                  }
                },
                "matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
              }
            },
            {
              "exclusionRule": {
                "regex": {
                  "pattern": "EXCLUDED_REGEX_PATTERN"
                },
                "matchingScope": "MATCHING_SCOPE_FULL_MATCH"
              }
            }
          ]
        }
      ]
    }
  }
}'

curl -X PATCH \
  -d "$EXCLUSION_RULES_UPDATE" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates/TEMPLATE_ID?updateMask=filterConfig.filterRuleSettings"

Ganti kode berikut:

  • EXCLUDED_PHRASE_1 dan EXCLUDED_PHRASE_2: kata atau frasa kamus yang akan dikecualikan dari deteksi injeksi perintah dan jailbreak—misalnya, ignore case when sorting this list dan ignore empty rows.
  • EXCLUDED_REGEX_PATTERN: pola ekspresi reguler yang akan dikecualikan dari deteksi injeksi perintah dan jailbreak—misalnya, (?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b.
  • PROJECT_ID: ID project tempat template berada.
  • LOCATION: lokasi template.
  • TEMPLATE_ID: ID template.

Contoh pola pengecualian ekspresi reguler

Saat Anda menulis aturan pengecualian ekspresi reguler, cakup pola Anda ke istilah domain atau kata benda target tertentu sehingga Model Armor mengecualikan positif palsu yang diketahui tanpa mengabaikan pelanggaran keamanan atau keselamatan yang sebenarnya. Saat meneruskan pola ekspresi reguler di dalam isi permintaan JSON ("pattern"), hindari setiap garis miring terbalik dengan garis miring terbalik kedua (misalnya, gunakan \\b dan \\s).

Contoh deteksi injeksi perintah dan jailbreak

Kata kerja imperatif seperti ignore, disregard, bypass, atau override sering muncul dalam injeksi perintah berniat jahat dan petunjuk yang sah untuk triase email, pemformatan data, penanganan error, atau konfigurasi sistem. Untuk menghindari pengecualian kategori perintah yang luas, gabungkan batas kata (\\b), grup yang tidak mengambil ((?:...)), dan tanda tidak peka huruf besar/kecil ((?i)) dengan MATCHING_SCOPE_PARTIAL_MATCH untuk menyematkan ekspresi reguler Anda ke kata benda target operasional tertentu.

Tabel berikut memberikan contoh pola ekspresi reguler kecocokan parsial (dengan garis miring terbalik yang di-escape JSON) dan contoh perintah untuk injeksi perintah umum dan skenario positif palsu pelarian dari batasan.

Kategori petunjuk Istilah pemicu Skenario positif palsu Contoh pola ekspresi reguler kecocokan parsial Contoh perintah
Triage dan pemfilteran konten ignore, disregard Penyeleksian email, penanganan error, dan peninjauan draf (?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b Summarize my inbox and ignore the emails from the marketing vendor.

Contoh filter keamanan AI yang bertanggung jawab

Dokumentasi teknis, perintah administrasi sistem, dan idiom umum sering kali berisi kata-kata yang tumpang-tindih dengan kategori keamanan AI yang bertanggung jawab. Untuk memitigasi kesalahan positif di seluruh perintah atau respons yang lebih besar, gabungkan batas kata (\\b), grup yang tidak mengambil ((?:...)), dan tanda tidak peka huruf besar/kecil ((?i)) dengan MATCHING_SCOPE_PARTIAL_MATCH.

Tabel berikut memberikan contoh pola ekspresi reguler kecocokan parsial (dengan garis miring terbalik yang di-escape JSON) dan contoh perintah untuk skenario positif palsu AI yang bertanggung jawab umum.

Kategori risiko Istilah pemicu Skenario positif palsu Contoh pola ekspresi reguler kecocokan parsial Contoh perintah
Kekerasan atau berbahaya kill Penghentian proses, sakelar listrik atau HVAC, dan idiom umum (?i)\\b(?:kill\\s+(?:-9|all|process(?:es)?|switch(?:es)?|jobs?|pods?|sessions?|bill|lights?)|time\\s+to\\s+kill|dressed\\s+to\\s+kill)\\b Please kill all pods in the namespace.
Kata-kata tidak sopan atau menyinggung abort, terminate Transaksi database, siklus proses misi, dan persyaratan kerja atau kontrak (?i)\\b(?:abort\\s+(?:transactions?|missions?|requests?|connections?|retry|retries)|terminate\\s+(?:contracts?|sessions?|threads?|instances?|connections?))\\b Abort retry.
Kecocokan substring dalam istilah domain Substring karakter yang tumpang-tindih Istilah akademis, botani, ornitologi, penerbangan, dan nama diri (?i)\\b(?:class(?:room|ic)?|assess(?:ment)?|associate|passive|peacock|cockpit|cocktail|dickens)\\b I love reading Dickens.
Senjata atau bahan peledak bomb, blast, detonate Bioinformatika, idiom hiburan, dan peralatan industri atau pembersihan (?i)\\b(?:blast\\s+(?:search|alignment|radius|furnace)|box\\s+office\\s+bomb|had\\s+a\\s+blast)\\b Run a blast search on the genetic sequence.

Praktik terbaik untuk mengonfigurasi aturan pengecualian

Ikuti praktik terbaik berikut untuk meminimalkan positif palsu tanpa melemahkan postur keamanan template Anda:

  • Cakupan aturan yang sempit untuk konteks tertentu: Hindari mengecualikan satu kata kerja atau istilah luas (seperti ignore, kill, atau abort) atau menggunakan karakter pengganti yang tidak dibatasi (seperti .*ignore.*). Karena MATCHING_SCOPE_PARTIAL_MATCH menggantikan matchState ke NO_MATCH_FOUND untuk seluruh filter setiap kali substring cocok, aturan yang terlalu luas dapat menutupi pelanggaran asli di tempat lain dalam perintah atau respons yang sama. Selalu pasangkan verba pemicu dengan kata benda target tertentu (misalnya, ignore case when sorting this list atau (?i)kill process [0-9]+).
  • Gunakan batas kata dan gabungkan pola: Dalam aturan ekspresi reguler, gunakan batas kata (\b) untuk mencegah kecocokan substring yang tidak disengaja di dalam kata-kata yang tidak terkait. Gabungkan frasa terkait ke dalam satu ekspresi reguler dengan menggunakan grup non-penangkapan ((?:...)) dan alternatif (|) agar tetap dalam batas sistem 10 aturan per set aturan.
  • Lebih memilih MATCHING_SCOPE_FULL_MATCH untuk input yang dapat diprediksi: Saat mengecualikan perintah UI yang telah ditentukan sebelumnya, perintah siap pakai, atau payload pengujian otomatis, tetapkan matchingScope ke MATCHING_SCOPE_FULL_MATCH (atau jangkar ekspresi reguler dengan ^ dan $). Cakupan kecocokan penuh mencegah pengguna menambahkan instruksi yang merugikan ke frasa yang dikecualikan untuk melewati deteksi.
  • Menulis aturan untuk teks mentah yang tidak diubah: Model Armor mengevaluasi aturan pengecualian sebelum melakukan penghapusan identitas atau terjemahan. Pastikan pola Anda cocok dengan format aslinya sebelum proses penghapusan identitas, dan tambahkan frasa khusus bahasa atau pola ekspresi reguler untuk setiap bahasa yang didukung aplikasi Anda.
  • Tinjau dan nonaktifkan aturan sementara setelah upgrade filter: Saat Anda mengupgrade template ke versi filter yang lebih baru, evaluasi ulang kasus pengujian positif palsu dan hapus aturan pengecualian yang diselesaikan oleh model deteksi yang diupdate.

Langkah berikutnya