Anda dapat mengonfigurasi aturan eksklusif khusus template di Model Armor untuk mengurangi deteksi positif palsu. Aturan pengecualian adalah aturan khusus template yang berisi ekspresi reguler atau frasa yang akan dikecualikan dari deteksi.
Filter yang didukung
Anda dapat menggunakan aturan eksklusif untuk filter berikut:
- Deteksi prompt injection dan jailbreak
(
PROMPT_INJECTION_AND_JAILBREAK) - Filter keamanan AI yang bertanggung jawab
(
RESPONSIBLE_AI)
Kapan harus menggunakan aturan pengecualian
Gunakan aturan eksklusif khusus template saat Anda perlu menyembunyikan deteksi positif palsu yang diketahui untuk workload tertentu tanpa menonaktifkan filter sepenuhnya:
- Terminologi teknis atau khusus domain: Aplikasi Anda memproses
kosakata khusus—seperti perintah administrasi sistem (
kill process,abort transaction), terminologi pengujian keamanan (penetration testing), istilah ilmiah (blast search), atau idiom industri—yang tumpang-tindih dengan kategori keamanan Responsible AI. - Petunjuk pengoperasian atau pemformatan yang tidak berbahaya: Pengguna atau template perintah Anda menyertakan petunjuk yang sah yang menggunakan kata kerja imperatif (seperti
"ignore case when sorting this list","ignore empty rows", atau"Summarize my inbox and ignore the emails from the marketing vendor.") yang memicu positif palsu dalam deteksi injeksi perintah dan jailbreak. - Mitigasi yang ditargetkan sambil menunggu update model: Anda memerlukan solusi segera untuk positif palsu yang terverifikasi dalam alur kerja aplikasi tertentu sambil tetap mengaktifkan filter untuk semua input lainnya.
Tabel berikut menjelaskan kapan harus menggunakan setiap kombinasi jenis aturan dan cakupan pencocokan. Untuk mengetahui informasi selengkapnya tentang cara kerja pencocokan kamus dan ekspresi reguler, lihat Aturan kamus dan ekspresi reguler dan Cara kerja pencocokan.
| Konfigurasi aturan | Kapan digunakan | Contoh |
|---|---|---|
Aturan kamus dengan kecocokan sebagian
(MATCHING_SCOPE_PARTIAL_MATCH)
|
Anda memiliki daftar tetap kata atau frasa statis yang dapat muncul di mana saja dalam perintah atau respons. Untuk mengetahui informasi selengkapnya tentang perilaku pencocokan kamus, lihat Aturan kamus dan ekspresi reguler. |
Kamus berisi frasa
Hasil yang cocok:
Tidak cocok dengan:
|
Aturan kamus dengan kecocokan penuh
(MATCHING_SCOPE_FULL_MATCH)
|
Aplikasi Anda menggunakan opsi perintah yang telah ditentukan (seperti tombol balasan cepat UI atau perintah siap pakai) yang seluruh inputnya cocok dengan frasa yang diketahui, dan Anda ingin mencegah teks tambahan yang tidak disaring melewati filter. Untuk mengetahui informasi selengkapnya tentang perilaku pencocokan kamus, lihat Aturan kamus dan ekspresi reguler. |
Kamus berisi frasa
Hasil yang cocok:
Tidak cocok dengan:
|
Aturan ekspresi reguler dengan pencocokan parsial
(MATCHING_SCOPE_PARTIAL_MATCH)
|
Anda perlu mengecualikan pola terstruktur, ID dinamis, atau kombinasi kata kerja dan kata benda tertentu dalam perintah atau respons yang lebih besar. Untuk mengetahui informasi selengkapnya, lihat Contoh pola pengecualian ekspresi reguler. |
Pola ekspresi reguler:
Hasil yang cocok:
Tidak cocok dengan:
|
Aturan ekspresi reguler dengan pencocokan penuh
(MATCHING_SCOPE_FULL_MATCH)
|
Seluruh payload input mengikuti format struktural yang ketat (seperti ID pengujian otomatis atau perintah terstruktur). |
Pola ekspresi reguler:
Hasil yang cocok:
Tidak cocok dengan:
|
Menggunakan endpoint regional atau multi-regional
Saat menggunakan template Model Armor, Anda harus menggunakan
endpoint regional atau
multiregional
(modelarmor.LOCATION.rep.googleapis.com) yang cocok dengan
lokasi template. Untuk mengetahui informasi tentang cara penerapan residensi data untuk setiap
region atau multi-region, lihat Penerapan
residensi data untuk template.
Endpoint global (modelarmor.googleapis.com) tidak mendukung
pengelolaan template Model Armor atau pembersihan perintah dan
respons.
Sebelum memulai
Sebelum memulai, selesaikan tugas berikut.
Mendapatkan izin yang diperlukan
Guna mendapatkan izin yang
diperlukan untuk mengonfigurasi aturan eksklusif dalam template Model Armor,
minta administrator Anda untuk memberi Anda peran IAM
Model Armor Admin (roles/modelarmor.admin) di project Model Armor yang berisi template Model Armor.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Mengaktifkan API
Anda harus mengaktifkan Model Armor API sebelum dapat menggunakan Model Armor.
Konsol
Aktifkan Model Armor API, jika belum diaktifkan.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.Pilih project tempat Anda ingin mengaktifkan Model Armor.
gcloud
Sebelum memulai, ikuti langkah-langkah berikut menggunakan Google Cloud CLI dengan Model Armor API:
Di konsol Google Cloud , aktifkan Cloud Shell.
Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan dimulai dan menampilkan prompt command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.
Aktifkan Model Armor API, jika belum diaktifkan:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.gcloud services enable modelarmor.googleapis.com
Menetapkan penggantian endpoint API menggunakan gcloud CLI
Langkah ini hanya diperlukan jika Anda menggunakan gcloud CLI dengan
Model Armor dan ingin menggunakan region atau multi-region selain
multi-region us default. Anda harus menetapkan penggantian endpoint API secara manual
untuk memastikan gcloud CLI merutekan permintaan dengan benar ke
layanan Model Armor.
Jalankan perintah berikut untuk menetapkan endpoint API untuk layanan Model Armor.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
Ganti LOCATION dengan region atau multi-region tempat Anda ingin menggunakan Model Armor.
Cara kerja aturan pengecualian
Anda mengonfigurasi aturan pengecualian menggunakan Model Armor API.
Aturan kamus dan ekspresi reguler
Anda dapat menentukan dua jenis aturan eksklusif dalam template Model Armor:
- Aturan kamus: Tentukan daftar kata atau frasa (
wordList, hingga 128 KB per kamus) yang akan dikecualikan. Kamus harus berisi minimal satu frasa, dan setiap frasa harus berisi minimal dua karakter yang berupa huruf atau angka. Pencocokan kamus berfungsi sebagai berikut:- Tidak peka huruf besar/kecil: Kata dan frasa kamus tidak peka huruf besar/kecil.
- Karakter non-alfanumerik: Saat memindai kecocokan, semua karakter selain huruf dan angka dalam Basic Multilingual Plane Unicode akan diganti dengan spasi kosong. Misalnya, frasa kamus
Sam Johnsoncocok dengansam johnson,Sam, Johnson, danSam (Johnson). Frasa kamus yang berisi banyak karakter yang bukan huruf atau angka dapat menghasilkan kecocokan yang tidak terduga karena karakter tersebut diperlakukan sebagai spasi kosong. - Batas karakter: Karakter di sekitar kecocokan harus memiliki
jenis karakter yang berbeda dengan karakter yang berdekatan dalam kata
kamus. Huruf harus berdekatan dengan non-huruf, dan digit harus berdekatan dengan non-digit. Misalnya, kata dalam kamus
jencocok dengan tiga huruf pertamajen123, tetapi tidak cocok denganjennifer.
- Aturan ekspresi reguler: Tentukan pola ekspresi reguler (hingga
1.000 karakter) untuk dicocokkan dan dikecualikan. Kecocokan ekspresi reguler peka huruf besar/kecil secara default. Untuk melakukan
pencocokan yang tidak peka huruf besar/kecil, sertakan flag
(?i)dalam pola Anda. Misalnya,(?i)kill process [0-9]+cocok dengankill process 1234danKill Process 1234.
Cara kerja pencocokan
Setiap aturan pengecualian mendukung kolom matchingScope, yang menentukan cara Model Armor mencocokkan konten input dengan aturan:
- Partial match (
MATCHING_SCOPE_PARTIAL_MATCH, default):- Aturan kamus: Cocok jika kata atau frasa dalam kamus cocok dengan substring dalam konten input, sesuai dengan aturan batas karakter kamus. Misalnya, frasa kamus
ignore empty rowscocok denganignore empty rows,ignore EMPTY-rows, danPlease ignore empty rows and summarize this table, tetapi tidak cocok denganignore rowsatauignore the empty rows. - Aturan ekspresi reguler: Cocok jika substring apa pun dalam konten input cocok dengan pola ekspresi reguler.
- Aturan kamus: Cocok jika kata atau frasa dalam kamus cocok dengan substring dalam konten input, sesuai dengan aturan batas karakter kamus. Misalnya, frasa kamus
- Kecocokan penuh (
MATCHING_SCOPE_FULL_MATCH):- Aturan kamus: Hanya cocok jika entri kamus mencakup
seluruh konten input. Misalnya, frasa kamus
ignore empty rowscocok denganignore empty rowsdanignore EMPTY-rows, tetapi tidak cocok denganplease ignore empty rowsatauignore rows. - Aturan ekspresi reguler: Hanya cocok jika pola ekspresi reguler cocok dengan seluruh konten input.
- Aturan kamus: Hanya cocok jika entri kamus mencakup
seluruh konten input. Misalnya, frasa kamus
Penggantian aturan eksklusif selama sanitasi
Jika template menyertakan aturan eksklusif, Model Armor akan mengevaluasi aturan tersebut selama sanitasi perintah dan respons model setiap kali filter injeksi perintah dan deteksi jailbreak (PROMPT_INJECTION_AND_JAILBREAK) atau AI yang bertanggung jawab (RESPONSIBLE_AI) mengidentifikasi potensi kecocokan:
- Aturan cocok dengan input: Jika aturan eksklusif cocok dengan substring
(
MATCHING_SCOPE_PARTIAL_MATCH, default) atau seluruh input dari awal hingga akhir (MATCHING_SCOPE_FULL_MATCH), Model Armor akan mengganti hasil filterMATCH_FOUNDatauEXECUTION_SKIPPEDdan menetapkanmatchStatekeNO_MATCH_FOUNDuntuk seluruh jenis filter yang didukung (termasuk semua kategori keamanan AI yang bertanggung jawab untukRESPONSIBLE_AI), bukan mengecualikan frasa atau rentang individual dalam input. Dalam respons sanitasi,filterMatchStateadalahNO_MATCH_FOUNDjika tidak ada konten berbahaya yang terdeteksi atau saat aturan pengecualian menggantikan hasil filter. Untuk memecahkan masalah, aktifkan Cloud Logging untuk operasi sanitasi (logSanitizeOperations) di template dan filter pada labelmodelarmor.googleapis.com/exclusion_rule_overridden_filtersataumodelarmor.googleapis.com/exclusion_rule_skipped_filters. Model Armor mencatat label ini saat aturan pengecualian menggantikan hasil filter atau saatexecutionStatefilter adalahEXECUTION_SKIPPED. Untuk mengetahui informasi selengkapnya, lihat Melihat log aturan eksklusif. - Aturan tidak cocok dengan input lengkap (
MATCHING_SCOPE_FULL_MATCH): Jika input berisi teks tambahan di luar frasa atau pola yang dikonfigurasi, aturan tidak cocok dan filter mempertahankanMATCH_FOUND. - Input melebihi 130.000 token (0,5 MB): Aturan pengecualian hanya mengevaluasi
130.000 token awal (0,5 MB) teks input.
Payload 0,5 MB mendukung
sekitar 130.000 token untuk teks bahasa Inggris (sekitar 4 karakter
per token). Untuk teks non-Inggris, jumlah token yang didukung dapat bervariasi berdasarkan
bahasa karena karakter non-Inggris memerlukan lebih banyak byte per
karakter. Jika input melebihi 130.000 token (0,5 MB) dan
filter mendeteksi kecocokan di luar bagian yang dipindai awal, filter akan
menampilkan
EXECUTION_SKIPPED. Untuk mengetahui detail tentang nilaimessageItemsdan batas payload, lihat Batasan sistem aturan eksklusif.
Untuk contoh penyamaran perintah dan respons model dengan aturan pengecualian, lihat Menyamarkan perintah dengan aturan pengecualian dan Menyamarkan respons dengan aturan pengecualian.
Pertimbangan
Saat Anda mengonfigurasi aturan pengecualian, pertimbangkan hal berikut:
- Aturan pengecualian hanya berlaku untuk template tempat Anda menentukannya. Anda tidak dapat membagikan aturan pengecualian di seluruh template.
- Anda dapat mengonfigurasi aturan pengecualian untuk jenis filter yang didukung hanya jika filter tersebut diaktifkan dalam template.
Untuk deteksi prompt injection dan jailbreak
(
PROMPT_INJECTION_AND_JAILBREAK), tetapkanfilterEnforcementkeENABLEDdipiAndJailbreakFilterSettings. Untuk mengaktifkan filter keamanan responsible AI (RESPONSIBLE_AI), konfigurasi setidaknya satu kategori keamanan responsible AI diraiSettings.raiFilters. - Model Armor tidak mendukung aturan pengecualian di API streaming atau setelan tingkat.
- Model Armor mengevaluasi aturan pengecualian terhadap teks input mentah sebelum melakukan transformasi teks seperti penghapusan identitas atau terjemahan. Aturan pengecualian tidak mendukung deteksi multibahasa atau terjemahan otomatis; untuk mengecualikan konten di beberapa bahasa, tambahkan frasa khusus bahasa atau pola ekspresi reguler untuk setiap bahasa target.
- Aturan pengecualian memiliki dukungan terbatas untuk bahasa dengan skrip non-Latin dan karakter UTF-8 multi-byte. Secara khusus, aturan kamus (
wordList) mungkin tidak cocok seperti yang diharapkan untuk skrip yang menggunakan tanda gabungan (seperti skrip India) atau skrip tanpa spasi antar-kata (seperti China dan Jepang). Aturan pencocokan penuh (MATCHING_SCOPE_FULL_MATCH) tidak cocok dengan input yang berisi karakter UTF-8 multi-byte. Saat mengecualikan konten dalam skrip non-Latin atau input dengan karakter multi-byte, gunakan aturan ekspresi reguler (regex) denganMATCHING_SCOPE_PARTIAL_MATCH. - Aturan eksklusif tunduk pada batas sistem. Untuk mengetahui informasi selengkapnya, lihat Batas sistem aturan eksklusif.
Membuat template dengan aturan eksklusif
Untuk membuat template dengan aturan eksklusif, sertakan objek filterRuleSettings
dalam filterConfig di permintaan POST.
Contoh berikut membuat template yang mengaktifkan deteksi prompt injection dan jailbreak serta filter keamanan AI yang bertanggung jawab, dan mengonfigurasi dua aturan eksklusif dengan pencocokan parsial (MATCHING_SCOPE_PARTIAL_MATCH):
- Deteksi injeksi perintah dan jailbreak
(
PROMPT_INJECTION_AND_JAILBREAK): Menggunakan aturan kamus untuk mengecualikan input yang berisi frasa tertentu, sepertiignore case when sorting this listatauignore empty rows, dari deteksi injeksi perintah dan jailbreak. - Responsible AI (
RESPONSIBLE_AI): Menggunakan aturan ekspresi reguler untuk mengecualikan input yang cocok dengan pola yang ditentukan, seperti(?i)kill process [0-9]+, dari deteksi keamanan Responsible AI.
export TEMPLATE_WITH_EXCLUSIONS='{
"filterConfig": {
"piAndJailbreakFilterSettings": {
"filterEnforcement": "ENABLED",
"confidenceLevel": "LOW_AND_ABOVE"
},
"raiSettings": {
"raiFilters": [
{
"filterType": "DANGEROUS",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HARASSMENT",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HATE_SPEECH",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "SEXUALLY_EXPLICIT",
"confidenceLevel": "LOW_AND_ABOVE"
}
]
},
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"EXCLUDED_PHRASE_1",
"EXCLUDED_PHRASE_2"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
},
{
"filterTypes": [
"RESPONSIBLE_AI"
],
"rules": [
{
"exclusionRule": {
"regex": {
"pattern": "EXCLUDED_REGEX_PATTERN"
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
}
]
}
}
}'
curl -X POST \
-d "$TEMPLATE_WITH_EXCLUSIONS" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates?template_id=TEMPLATE_ID"
Ganti kode berikut:
EXCLUDED_PHRASE_1danEXCLUDED_PHRASE_2: kata atau frasa kamus yang akan dikecualikan dari deteksi injeksi perintah dan jailbreak—misalnya,ignore case when sorting this listdanignore empty rows.EXCLUDED_REGEX_PATTERN: pola ekspresi reguler yang akan dikecualikan dari deteksi keamanan responsible AI—misalnya,(?i)kill process [0-9]+.PROJECT_ID: ID project tempat template berada.LOCATION: lokasi template.TEMPLATE_ID: ID template.
Perintah ini menampilkan respons yang mirip dengan berikut ini:
{
"filterConfig": {
"raiSettings": {
"raiFilters": [
{
"filterType": "DANGEROUS",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HARASSMENT",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HATE_SPEECH",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "SEXUALLY_EXPLICIT",
"confidenceLevel": "LOW_AND_ABOVE"
}
]
},
"piAndJailbreakFilterSettings": {
"filterEnforcement": "ENABLED",
"confidenceLevel": "LOW_AND_ABOVE"
},
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"ignore case when sorting this list",
"ignore empty rows"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
},
{
"filterTypes": [
"RESPONSIBLE_AI"
],
"rules": [
{
"exclusionRule": {
"regex": {
"pattern": "(?i)kill process [0-9]+"
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
}
]
}
},
"templateMetadata": {
"dataResidencyCompliant": true
}
}
Memperbarui aturan eksklusif dalam template
Untuk memperbarui aturan eksklusif di template yang ada, kirim permintaan PATCH
dengan updateMask ditetapkan ke filterConfig.filterRuleSettings. Karena update
menggantikan seluruh kolom filterRuleSettings, sertakan semua aturan yang ingin Anda
pertahankan beserta modifikasi Anda.
Contoh berikut memperbarui aturan pengecualian dari contoh sebelumnya dengan
menambahkan aturan ekspresi reguler ke set aturan PROMPT_INJECTION_AND_JAILBREAK
dan menghapus set aturan RESPONSIBLE_AI:
export EXCLUSION_RULES_UPDATE='{
"filterConfig": {
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"EXCLUDED_PHRASE_1",
"EXCLUDED_PHRASE_2"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
},
{
"exclusionRule": {
"regex": {
"pattern": "EXCLUDED_REGEX_PATTERN"
},
"matchingScope": "MATCHING_SCOPE_FULL_MATCH"
}
}
]
}
]
}
}
}'
curl -X PATCH \
-d "$EXCLUSION_RULES_UPDATE" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates/TEMPLATE_ID?updateMask=filterConfig.filterRuleSettings"
Ganti kode berikut:
EXCLUDED_PHRASE_1danEXCLUDED_PHRASE_2: kata atau frasa kamus yang akan dikecualikan dari deteksi injeksi perintah dan jailbreak—misalnya,ignore case when sorting this listdanignore empty rows.EXCLUDED_REGEX_PATTERN: pola ekspresi reguler yang akan dikecualikan dari deteksi injeksi perintah dan jailbreak—misalnya,(?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b.PROJECT_ID: ID project tempat template berada.LOCATION: lokasi template.TEMPLATE_ID: ID template.
Contoh pola pengecualian ekspresi reguler
Saat Anda menulis aturan pengecualian ekspresi reguler, cakup pola Anda ke istilah domain atau kata benda target tertentu sehingga Model Armor mengecualikan kesalahan positif yang diketahui tanpa mengabaikan pelanggaran keamanan atau keselamatan yang sebenarnya. Saat meneruskan pola ekspresi reguler di dalam isi permintaan JSON
("pattern"), escape setiap garis miring terbalik dengan garis miring terbalik kedua (misalnya, gunakan
\\b dan \\s).
Contoh deteksi prompt injection dan jailbreak
Kata kerja imperatif seperti ignore, disregard, bypass, atau override sering muncul dalam injeksi perintah berniat jahat dan petunjuk yang sah untuk triase email, pemformatan data, penanganan error, atau konfigurasi sistem. Agar tidak mengecualikan kategori perintah yang luas, gabungkan batas kata (\\b), grup non-tangkapan ((?:...)), dan flag tidak peka huruf besar/kecil ((?i)) dengan MATCHING_SCOPE_PARTIAL_MATCH untuk mengaitkan ekspresi reguler Anda ke kata benda target operasional tertentu.
Tabel berikut memberikan contoh pola ekspresi reguler pencocokan parsial (dengan garis miring terbalik yang di-escape JSON) dan contoh perintah untuk injeksi perintah umum dan skenario positif palsu jailbreak.
| Kategori petunjuk | Istilah pemicu | Skenario positif palsu | Contoh pola ekspresi reguler pencocokan sebagian | Contoh perintah |
|---|---|---|---|---|
| Triage dan pemfilteran konten | ignore, disregard |
Triase email, penanganan error, dan peninjauan draf |
(?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b
|
Summarize my inbox and ignore the emails from the marketing vendor.
|
Contoh filter keamanan responsible AI
Dokumentasi teknis, perintah administrasi sistem, dan idiom umum sering kali
berisi kata-kata yang tumpang-tindih dengan kategori keamanan responsible AI. Untuk mengurangi
positif palsu di seluruh perintah atau respons yang lebih besar, gabungkan batas kata
(\\b), grup non-penangkapan ((?:...)), dan tanda tidak peka huruf besar/kecil
((?i)) dengan MATCHING_SCOPE_PARTIAL_MATCH.
Tabel berikut memberikan contoh pola ekspresi reguler kecocokan parsial (dengan garis miring terbalik yang di-escape JSON) dan contoh perintah untuk skenario positif palsu AI yang bertanggung jawab umum.
| Kategori risiko | Istilah pemicu | Skenario positif palsu | Contoh pola ekspresi reguler pencocokan sebagian | Contoh perintah |
|---|---|---|---|---|
| Kekerasan atau berbahaya | kill |
Penghentian proses, sakelar listrik atau HVAC, dan idiom umum |
(?i)\\b(?:kill\\s+(?:-9|all|process(?:es)?|switch(?:es)?|jobs?|pods?|sessions?|bill|lights?)|time\\s+to\\s+kill|dressed\\s+to\\s+kill)\\b
|
Please kill all pods in the namespace. |
| Kata-kata beracun atau menyinggung | abort, terminate |
Transaksi database, siklus proses misi, dan persyaratan kerja atau kontrak |
(?i)\\b(?:abort\\s+(?:transactions?|missions?|requests?|connections?|retry|retries)|terminate\\s+(?:contracts?|sessions?|threads?|instances?|connections?))\\b
|
Abort retry. |
| Kecocokan substring dalam istilah domain | Substring karakter yang tumpang-tindih | Istilah akademis, botani, ornitologi, penerbangan, dan nama diri |
(?i)\\b(?:class(?:room|ic)?|assess(?:ment)?|associate|passive|peacock|cockpit|cocktail|dickens)\\b
|
I love reading Dickens. |
| Senjata atau bahan peledak | bomb, blast, detonate |
Bioinformatika, idiom hiburan, dan peralatan industri atau pembersihan |
(?i)\\b(?:blast\\s+(?:search|alignment|radius|furnace)|box\\s+office\\s+bomb|had\\s+a\\s+blast)\\b
|
Run a blast search on the genetic sequence. |
Melihat log aturan pengecualian
Untuk mencatat hasil evaluasi aturan pengecualian log, tetapkan logSanitizeOperations ke true
saat Anda mengonfigurasi logging di
template. Saat
logging diaktifkan, Model Armor menulis
entri log SanitizeOperationLogEntry untuk
resource yang dimonitor modelarmor.googleapis.com/SanitizeOperation ke
Cloud Logging.
Untuk mengetahui informasi selengkapnya tentang cara mengaktifkan dan membuat kueri log sanitasi, lihat Mengonfigurasi logging.
Praktik terbaik untuk mengonfigurasi aturan pengecualian
Ikuti praktik terbaik berikut untuk meminimalkan positif palsu tanpa melemahkan postur keamanan template Anda:
- Cakupan aturan yang sempit untuk konteks tertentu: Hindari mengecualikan satu kata kerja
atau istilah luas (seperti
ignore,kill, atauabort) atau menggunakan karakter pengganti yang tidak dibatasi (seperti.*ignore.*). KarenaMATCHING_SCOPE_PARTIAL_MATCHmenggantikanmatchStatehinggaNO_MATCH_FOUNDuntuk seluruh filter setiap kali substring cocok, aturan yang terlalu luas dapat menutupi pelanggaran asli di tempat lain dalam perintah atau respons yang sama. Selalu pasangkan verba pemicu dengan kata benda target tertentu (misalnya,ignore case when sorting this listatau(?i)kill process [0-9]+). - Gunakan batas kata dan gabungkan pola: Dalam aturan ekspresi reguler,
gunakan batas kata (
\b) untuk mencegah pencocokan substring yang tidak disengaja di dalam kata yang tidak terkait. Gabungkan frasa terkait ke dalam satu ekspresi reguler menggunakan grup non-tangkapan ((?:...)) dan alternatif (|) agar tetap berada dalam batas sistem 10 aturan per set aturan. - Lebih memilih
MATCHING_SCOPE_FULL_MATCHuntuk input yang dapat diprediksi: Saat mengecualikan perintah UI yang telah ditentukan sebelumnya, perintah siap pakai, atau payload pengujian otomatis, tetapkanmatchingScopekeMATCHING_SCOPE_FULL_MATCH(atau anchor ekspresi reguler dengan^dan$). Cakupan kecocokan penuh mencegah pengguna menambahkan instruksi berbahaya ke frasa yang dikecualikan untuk melewati deteksi. - Menulis aturan untuk teks mentah yang tidak diubah: Model Armor mengevaluasi aturan pengecualian sebelum melakukan penghapusan identitas atau terjemahan. Pastikan pola Anda cocok dengan format aslinya sebelum de-identifikasi, dan tambahkan frasa khusus bahasa atau pola ekspresi reguler untuk setiap bahasa yang didukung aplikasi Anda.
- Tinjau dan hentikan aturan sementara setelah upgrade filter: Saat Anda mengupgrade template ke versi filter yang lebih baru, evaluasi ulang kasus pengujian positif palsu dan hapus aturan pengecualian yang diselesaikan oleh model deteksi yang diupdate.
Langkah berikutnya
- Lihat contoh cara membersihkan perintah dan membersihkan respons model dengan aturan pengecualian.
- Tinjau batas sistem aturan pengecualian.
- Pelajari cara mengonfigurasi logging untuk Model Armor.
- Pelajari cara membuat dan mengelola template Model Armor.