Anda dapat mengonfigurasi aturan pengecualian khusus template di Model Armor untuk mengurangi deteksi positif palsu. Aturan pengecualian adalah aturan khusus template yang berisi ekspresi reguler atau frasa yang akan dikecualikan dari deteksi.
Filter yang didukung
Anda dapat menggunakan aturan pengecualian untuk filter berikut:
- Deteksi injeksi perintah dan jailbreak
(
PROMPT_INJECTION_AND_JAILBREAK) - Filter keamanan Responsible AI
(
RESPONSIBLE_AI)
Kapan harus menggunakan aturan pengecualian
Gunakan aturan pengecualian khusus template saat Anda perlu menyembunyikan deteksi positif palsu yang diketahui untuk workload tertentu tanpa menonaktifkan filter sepenuhnya:
- Terminologi teknis atau khusus domain: Aplikasi Anda memproses
kosakata khusus—seperti perintah administrasi sistem (
kill process,abort transaction), terminologi pengujian keamanan (penetration testing), istilah ilmiah (blast search), atau idiom industri—yang tumpang-tindih dengan kategori keamanan Responsible AI. - Petunjuk operasional atau pemformatan yang tidak berbahaya: Pengguna atau template perintah Anda menyertakan petunjuk yang sah yang menggunakan kata kerja imperatif (seperti
"ignore case when sorting this list","ignore empty rows", atau"Summarize my inbox and ignore the emails from the marketing vendor.") yang memicu positif palsu dalam deteksi injeksi perintah dan jailbreak. - Mitigasi yang ditargetkan sambil menunggu update model: Anda memerlukan solusi langsung untuk positif palsu yang diverifikasi dalam alur kerja aplikasi tertentu sambil tetap mengaktifkan filter untuk semua input lainnya.
Tabel berikut menjelaskan kapan harus menggunakan setiap kombinasi jenis aturan dan cakupan pencocokan. Untuk mengetahui informasi selengkapnya tentang cara kerja pencocokan kamus dan ekspresi reguler, lihat Aturan kamus dan ekspresi reguler serta Cara kerja pencocokan.
| Konfigurasi aturan | Kapan digunakan | Contoh |
|---|---|---|
Aturan kamus dengan pencocokan sebagian
(MATCHING_SCOPE_PARTIAL_MATCH)
|
Anda memiliki daftar tetap kata atau frasa statis yang dapat muncul di mana saja dalam perintah atau respons. Untuk mengetahui informasi selengkapnya tentang perilaku pencocokan kamus, lihat Aturan kamus dan ekspresi reguler. |
Kamus berisi frasa
Hasil yang cocok:
Tidak cocok dengan:
|
Aturan kamus dengan kecocokan penuh
(MATCHING_SCOPE_FULL_MATCH)
|
Aplikasi Anda menggunakan opsi perintah yang telah ditentukan (seperti tombol balasan cepat UI atau perintah siap pakai) yang seluruh inputnya cocok dengan frasa yang diketahui, dan Anda ingin mencegah teks tambahan yang tidak disaring melewati filter. Untuk mengetahui informasi selengkapnya tentang perilaku pencocokan kamus, lihat Aturan kamus dan ekspresi reguler. |
Kamus berisi frasa
Hasil yang cocok:
Tidak cocok dengan:
|
Aturan ekspresi reguler dengan pencocokan parsial
(MATCHING_SCOPE_PARTIAL_MATCH)
|
Anda perlu mengecualikan pola terstruktur, ID dinamis, atau kombinasi kata kerja dan kata benda tertentu dalam perintah atau respons yang lebih besar. Untuk mengetahui informasi selengkapnya, lihat Contoh pola pengecualian ekspresi reguler. |
Pola ekspresi reguler:
Hasil yang cocok:
Tidak cocok dengan:
|
Aturan ekspresi reguler dengan pencocokan penuh
(MATCHING_SCOPE_FULL_MATCH)
|
Seluruh payload input mengikuti format struktural yang ketat (seperti ID pengujian otomatis atau perintah terstruktur). |
Pola ekspresi reguler:
Hasil yang cocok:
Tidak cocok dengan:
|
Menggunakan endpoint regional atau multi-regional
Saat menggunakan template Model Armor, Anda harus menggunakan
endpoint regional atau
multi-regional
(modelarmor.LOCATION.rep.googleapis.com) yang cocok dengan
lokasi template. Untuk mengetahui informasi tentang cara penerapan residensi data untuk setiap
region atau multi-region, lihat Penerapan
residensi data untuk template.
Endpoint global (modelarmor.googleapis.com) tidak mendukung pengelolaan template Model Armor atau sanitasi perintah dan respons.
Sebelum memulai
Sebelum memulai, selesaikan tugas berikut.
Mendapatkan izin yang diperlukan
Guna mendapatkan izin yang
diperlukan untuk mengonfigurasi aturan pengecualian di template Model Armor,
minta administrator untuk memberi Anda
peran IAM Model Armor Admin (roles/modelarmor.admin) di project Model Armor yang berisi template Model Armor.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Mengaktifkan API
Anda harus mengaktifkan Model Armor API sebelum dapat menggunakan Model Armor.
Konsol
Aktifkan API Model Armor, jika belum diaktifkan.
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.Pilih project tempat Anda ingin mengaktifkan Model Armor.
gcloud
Sebelum memulai, ikuti langkah-langkah berikut menggunakan Google Cloud CLI dengan Model Armor API:
Di konsol Google Cloud , aktifkan Cloud Shell.
Di bagian bawah konsol Google Cloud , sesi Cloud Shell akan terbuka dan menampilkan prompt command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk melakukan inisialisasi pada sesi.
Aktifkan Model Armor API, jika belum diaktifkan:
Peran yang diperlukan untuk mengaktifkan API
Untuk mengaktifkan API, Anda memerlukan izin
serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.gcloud services enable modelarmor.googleapis.com
Menetapkan penggantian endpoint API menggunakan gcloud CLI
Langkah ini hanya diperlukan jika Anda menggunakan gcloud CLI dengan
Model Armor dan ingin menggunakan region atau multi-region selain
multi-region us default. Anda harus menetapkan penggantian endpoint API secara manual
untuk memastikan gcloud CLI merutekan permintaan dengan benar ke
layanan Model Armor.
Jalankan perintah berikut untuk menetapkan endpoint API untuk layanan Model Armor.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
Ganti LOCATION dengan region atau multi-region tempat
Anda ingin menggunakan Model Armor.
Cara kerja aturan pengecualian
Anda mengonfigurasi aturan pengecualian menggunakan Model Armor API.
Aturan kamus dan ekspresi reguler
Anda dapat menentukan dua jenis aturan pengecualian dalam template Model Armor:
- Aturan kamus: Tentukan daftar kata atau frasa (
wordList, hingga 128 KB per kamus) yang akan dikecualikan. Kamus harus berisi minimal satu frasa, dan setiap frasa harus berisi minimal dua karakter yang berupa huruf atau angka. Pencocokan kamus berfungsi sebagai berikut:- Tidak peka huruf besar/kecil: Kata dan frasa kamus tidak peka huruf besar/kecil.
- Karakter non-alfanumerik: Saat memindai kecocokan, semua karakter selain huruf dan angka di Basic Multilingual Plane Unicode akan diganti dengan spasi kosong. Misalnya, frasa kamus
Sam Johnsoncocok dengansam johnson,Sam, Johnson, danSam (Johnson). Frasa kamus yang berisi banyak karakter yang bukan huruf atau angka dapat menghasilkan kecocokan yang tidak terduga karena karakter tersebut diperlakukan sebagai spasi kosong. - Batas karakter: Karakter di sekitar kecocokan harus memiliki
jenis karakter yang berbeda dengan karakter yang berdekatan dalam kata
kamus. Huruf harus berdekatan dengan non-huruf, dan digit harus berdekatan dengan non-digit. Misalnya, kata kamus
jencocok dengan tiga huruf pertamajen123, tetapi tidak cocok denganjennifer.
- Aturan ekspresi reguler: Tentukan pola ekspresi reguler (hingga
1.000 karakter) untuk dicocokkan dan dikecualikan. Kecocokan ekspresi reguler peka huruf besar/kecil secara default. Untuk melakukan pencocokan yang tidak peka huruf besar/kecil, sertakan flag
(?i)dalam pola Anda. Misalnya,(?i)kill process [0-9]+cocok dengankill process 1234danKill Process 1234.
Cara kerja pencocokan
Setiap aturan pengecualian mendukung kolom matchingScope, yang menentukan cara
Model Armor mencocokkan konten input dengan aturan:
- Partial match (
MATCHING_SCOPE_PARTIAL_MATCH, default):- Aturan kamus: Cocok jika kata atau frasa dalam kamus cocok dengan substring dalam konten input, sesuai dengan aturan batas karakter kamus. Misalnya, frasa kamus
ignore empty rowscocok denganignore empty rows,ignore EMPTY-rows, danPlease ignore empty rows and summarize this table, tetapi tidak cocok denganignore rowsatauignore the empty rows. - Aturan ekspresi reguler: Cocok jika substring apa pun dalam konten input cocok dengan pola ekspresi reguler.
- Dukungan streaming: Didukung dalam mode streaming yang di-buffer
(
STREAMING_MODE_BUFFERED) dan mode streaming real-time (STREAMING_MODE_REALTIME, default). Untuk mengetahui informasi selengkapnya, lihat Aturan pengecualian dalam sanitasi streaming.
- Aturan kamus: Cocok jika kata atau frasa dalam kamus cocok dengan substring dalam konten input, sesuai dengan aturan batas karakter kamus. Misalnya, frasa kamus
- Pertandingan lengkap (
MATCHING_SCOPE_FULL_MATCH):- Aturan kamus: Hanya cocok jika entri kamus mencakup
seluruh konten input. Misalnya, frasa kamus
ignore empty rowscocok denganignore empty rowsdanignore EMPTY-rows, tetapi tidak cocok denganplease ignore empty rowsatauignore rows. - Aturan ekspresi reguler: Hanya cocok jika pola ekspresi reguler cocok dengan seluruh konten input.
- Dukungan streaming: Hanya didukung dalam mode streaming yang di-buffer
(
STREAMING_MODE_BUFFERED). Untuk mengetahui informasi selengkapnya, lihat Aturan pengecualian dalam pembersihan streaming.
- Aturan kamus: Hanya cocok jika entri kamus mencakup
seluruh konten input. Misalnya, frasa kamus
Penggantian aturan pengecualian selama sanitasi
Jika template menyertakan aturan pengecualian, Model Armor akan mengevaluasi
aturan tersebut selama sanitasi perintah dan respons model setiap kali filter
deteksi injeksi perintah dan jailbreak (PROMPT_INJECTION_AND_JAILBREAK) atau
AI yang bertanggung jawab (RESPONSIBLE_AI) mengidentifikasi potensi kecocokan:
- Aturan cocok dengan input: Jika aturan pengecualian cocok dengan substring
(
MATCHING_SCOPE_PARTIAL_MATCH, default) atau seluruh input dari awal hingga akhir (MATCHING_SCOPE_FULL_MATCH), Model Armor akan mengganti hasil filterMATCH_FOUNDatauEXECUTION_SKIPPEDdan menetapkanmatchStatekeNO_MATCH_FOUNDuntuk seluruh jenis filter yang didukung tersebut (termasuk semua kategori keamanan Responsible AI untukRESPONSIBLE_AI), bukan mengecualikan frasa atau rentang individual dalam input. Dalam respons sanitasi,filterMatchStateadalahNO_MATCH_FOUNDjika tidak ada hal berbahaya yang terdeteksi atau jika aturan pengecualian menggantikan hasil filter. Untuk memecahkan masalah, aktifkan Cloud Logging untuk operasi sanitasi (logSanitizeOperations) di template dan filter pada labelmodelarmor.googleapis.com/exclusion_rule_overridden_filtersataumodelarmor.googleapis.com/exclusion_rule_skipped_filters. Model Armor mencatat label ini ke dalam log saat aturan pengecualian menggantikan hasil filter atau saatexecutionStatefilter adalahEXECUTION_SKIPPED. Untuk mengetahui informasi selengkapnya, lihat Melihat log aturan pengecualian. - Aturan tidak cocok dengan input lengkap (
MATCHING_SCOPE_FULL_MATCH): Jika input berisi teks tambahan di luar frasa atau pola yang dikonfigurasi, aturan tidak akan cocok dan filter akan mempertahankanMATCH_FOUND. - Input melebihi 130.000 token (0,5 MB): Aturan pengecualian hanya mengevaluasi
130.000 token awal (0,5 MB) teks input.
Payload 0,5 MB mendukung
sekitar 130.000 token untuk teks bahasa Inggris (sekitar
4 karakter per token). Untuk teks non-Inggris, jumlah token yang didukung dapat bervariasi berdasarkan bahasa karena karakter non-Inggris memerlukan lebih banyak byte per karakter. Jika input melebihi 130.000 token (0,5 MB) dan
filter mendeteksi kecocokan di luar bagian awal yang dipindai, filter akan
menampilkan
EXECUTION_SKIPPED. Untuk mengetahui detail tentang nilaimessageItemsdan batas payload, lihat Batas sistem aturan pengecualian.
Untuk contoh sanitasi perintah dan respons model dengan aturan pengecualian, lihat Sanitasi perintah dengan aturan pengecualian dan Sanitasi respons dengan aturan pengecualian.
Aturan pengecualian dalam sanitasi streaming
Model Armor mendukung aturan pengecualian dalam metode streaming StreamSanitizeUserPrompt dan StreamSanitizeModelResponse.
Cara Model Armor mengevaluasi aturan pengecualian bergantung pada
mode streaming (streamingMode) yang ditentukan dalam permintaan:
- Mode buffering (
STREAMING_MODE_BUFFERED): MendukungMATCHING_SCOPE_PARTIAL_MATCH(default) danMATCHING_SCOPE_FULL_MATCH. Model Armor mengumpulkan semua potongan yang di-streaming dan mengevaluasi aturan pengecualian terhadap konten lengkap yang di-streaming:- Partial match (
MATCHING_SCOPE_PARTIAL_MATCH): Jika frasa kamus atau pola ekspresi reguler cocok dengan substring apa pun dalam konten yang di-streaming, Model Armor akan mengganti hasil filter dan menetapkanmatchStatekeNO_MATCH_FOUNDuntuk jenis filter tersebut. - Pencocokan penuh (
MATCHING_SCOPE_FULL_MATCH): Jika frasa kamus atau pola ekspresi reguler cocok dengan seluruh konten yang di-streaming dari awal hingga akhir, Model Armor akan mengganti hasil filter dan menetapkanmatchStatekeNO_MATCH_FOUNDuntuk jenis filter tersebut. Jika ada potongan yang menambahkan teks di luar frasa atau pola yang dikonfigurasi, aturan tidak akan cocok dan filter akan mempertahankanMATCH_FOUND.
- Partial match (
- Mode real-time (
STREAMING_MODE_REALTIME, default): MendukungMATCHING_SCOPE_PARTIAL_MATCH(default), dan tidak mendukungMATCHING_SCOPE_FULL_MATCH.- Pencocokan parsial (
MATCHING_SCOPE_PARTIAL_MATCH): Model Armor mengevaluasi setiap potongan yang diproses secara independen (ditampilkan dalamsanitizationMetadata.streamChunkProcessedsaatfilterMatchStateadalahNO_MATCH_FOUND). Jika frasa kamus atau pola ekspresi reguler cocok dalam potongan yang diproses, Model Armor akan mengganti hasil filter dan menetapkanmatchStatekeNO_MATCH_FOUNDuntuk potongan tersebut, sambil terus mengevaluasi potongan berikutnya dalam aliran data secara independen. Jika frasa atau pola yang dikecualikan dibagi menjadi beberapa bagian yang diproses secara terpisah, fragmen parsial tidak akan cocok. Jika potongan sebelumnya memicu verdictMATCH_FOUNDtanpa cocok dengan aturan pengecualian, aliran data akan tetap diblokir untuk potongan berikutnya. - Pertandingan penuh (
MATCHING_SCOPE_FULL_MATCH): Tidak didukung. Jika template menyertakan aturan pengecualian denganMATCHING_SCOPE_FULL_MATCHdan permintaan menggunakan mode streaming real-time, Model Armor akan menolak permintaan dengan errorINVALID_ARGUMENTberikut:Invalid filter rule settings: FULL_MATCH matching scope is not supported in real-time streaming mode. UsePARTIAL_MATCHorSTREAMING_MODE_BUFFERED`.
- Pencocokan parsial (
Untuk contoh sanitasi streaming dengan aturan pengecualian, lihat Melakukan sanitasi pada perintah streaming dengan aturan pengecualian dan Melakukan sanitasi pada respons streaming dengan aturan pengecualian.
Pertimbangan
Saat Anda mengonfigurasi aturan pengecualian, pertimbangkan hal berikut:
- Aturan pengecualian hanya berlaku untuk template tempat Anda menentukannya. Anda tidak dapat membagikan aturan pengecualian di seluruh template.
- Anda dapat mengonfigurasi aturan pengecualian untuk jenis filter yang didukung hanya jika filter tersebut diaktifkan di template.
Untuk deteksi prompt injection dan jailbreak
(
PROMPT_INJECTION_AND_JAILBREAK), tetapkanfilterEnforcementkeENABLEDdipiAndJailbreakFilterSettings. Untuk mengaktifkan filter keamanan responsible AI (RESPONSIBLE_AI), konfigurasikan setidaknya satu kategori keamanan responsible AI diraiSettings.raiFilters. - Model Armor tidak mendukung aturan pengecualian dalam setelan minimum.
- Dalam sanitasi streaming,
Model Armor hanya mendukung aturan pengecualian pencocokan penuh
(
MATCHING_SCOPE_FULL_MATCH) dalam mode buffering (STREAMING_MODE_BUFFERED). MenggunakanMATCHING_SCOPE_FULL_MATCHdalam mode real-time (STREAMING_MODE_REALTIME, mode streaming default) akan menampilkan errorINVALID_ARGUMENTberikut:Invalid filter rule settings: FULL_MATCH matching scope is not supported in real-time streaming mode. UsePARTIAL_MATCHorSTREAMING_MODE_BUFFERED`. - Model Armor mengevaluasi aturan pengecualian terhadap teks input mentah sebelum melakukan transformasi teks seperti de-identifikasi atau terjemahan. Aturan pengecualian tidak mendukung deteksi multibahasa atau terjemahan otomatis; untuk mengecualikan konten di beberapa bahasa, tambahkan frasa khusus bahasa atau pola ekspresi reguler untuk setiap bahasa target.
- Aturan pengecualian memiliki dukungan terbatas untuk bahasa skrip non-Latin dan
karakter UTF-8 multi-byte. Secara khusus, aturan kamus (
wordList) mungkin tidak cocok seperti yang diharapkan untuk skrip yang menggunakan tanda penggabung (seperti skrip India) atau skrip tanpa spasi di antara kata (seperti bahasa China dan Jepang). Aturan pencocokan penuh (MATCHING_SCOPE_FULL_MATCH) tidak cocok dengan input yang berisi karakter UTF-8 multi-byte. Saat mengecualikan konten dalam skrip non-Latin atau input dengan karakter multi-byte, gunakan aturan ekspresi reguler (regex) denganMATCHING_SCOPE_PARTIAL_MATCH. - Aturan pengecualian tunduk pada batas sistem. Untuk mengetahui informasi selengkapnya, lihat Batas sistem aturan pengecualian.
Membuat template dengan aturan pengecualian
Untuk membuat template dengan aturan pengecualian, sertakan objek
filterRuleSettings
dalam
filterConfig dalam
permintaan POST.
Contoh berikut membuat template yang mengaktifkan deteksi prompt injection dan
jailbreak serta filter keamanan responsible AI, dan mengonfigurasi dua
aturan pengecualian dengan pencocokan parsial (MATCHING_SCOPE_PARTIAL_MATCH):
- Deteksi prompt injection dan jailbreak
(
PROMPT_INJECTION_AND_JAILBREAK): Menggunakan aturan kamus untuk mengecualikan input yang berisi frasa tertentu, sepertiignore case when sorting this listatauignore empty rows, dari deteksi prompt injection dan jailbreak. - Responsible AI (
RESPONSIBLE_AI): Menggunakan aturan ekspresi reguler untuk mengecualikan input yang cocok dengan pola yang ditentukan, seperti(?i)kill process [0-9]+, dari deteksi keamanan Responsible AI.
export TEMPLATE_WITH_EXCLUSIONS='{
"filterConfig": {
"piAndJailbreakFilterSettings": {
"filterEnforcement": "ENABLED",
"confidenceLevel": "LOW_AND_ABOVE"
},
"raiSettings": {
"raiFilters": [
{
"filterType": "DANGEROUS",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HARASSMENT",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HATE_SPEECH",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "SEXUALLY_EXPLICIT",
"confidenceLevel": "LOW_AND_ABOVE"
}
]
},
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"EXCLUDED_PHRASE_1",
"EXCLUDED_PHRASE_2"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
},
{
"filterTypes": [
"RESPONSIBLE_AI"
],
"rules": [
{
"exclusionRule": {
"regex": {
"pattern": "EXCLUDED_REGEX_PATTERN"
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
}
]
}
}
}'
curl -X POST \
-d "$TEMPLATE_WITH_EXCLUSIONS" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates?template_id=TEMPLATE_ID"
Ganti kode berikut:
EXCLUDED_PHRASE_1danEXCLUDED_PHRASE_2: kata atau frasa kamus yang akan dikecualikan dari deteksi injeksi perintah dan jailbreak—misalnya,ignore case when sorting this listdanignore empty rows.EXCLUDED_REGEX_PATTERN: pola ekspresi reguler yang akan dikecualikan dari deteksi keamanan responsible AI—misalnya,(?i)kill process [0-9]+.PROJECT_ID: ID project yang memiliki template.LOCATION: lokasi template.TEMPLATE_ID: ID template.
Perintah ini menampilkan respons yang mirip dengan berikut ini:
{
"filterConfig": {
"raiSettings": {
"raiFilters": [
{
"filterType": "DANGEROUS",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HARASSMENT",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HATE_SPEECH",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "SEXUALLY_EXPLICIT",
"confidenceLevel": "LOW_AND_ABOVE"
}
]
},
"piAndJailbreakFilterSettings": {
"filterEnforcement": "ENABLED",
"confidenceLevel": "LOW_AND_ABOVE"
},
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"ignore case when sorting this list",
"ignore empty rows"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
},
{
"filterTypes": [
"RESPONSIBLE_AI"
],
"rules": [
{
"exclusionRule": {
"regex": {
"pattern": "(?i)kill process [0-9]+"
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
}
]
}
},
"templateMetadata": {
"dataResidencyCompliant": true
}
}
Memperbarui aturan pengecualian dalam template
Untuk memperbarui aturan pengecualian di template yang ada, kirim permintaan PATCH
dengan updateMask ditetapkan ke filterConfig.filterRuleSettings. Karena update
mengganti seluruh kolom filterRuleSettings, sertakan semua aturan yang ingin Anda
pertahankan beserta modifikasi Anda.
Contoh berikut memperbarui aturan pengecualian dari contoh sebelumnya dengan
menambahkan aturan ekspresi reguler ke set aturan PROMPT_INJECTION_AND_JAILBREAK
dan menghapus set aturan RESPONSIBLE_AI:
export EXCLUSION_RULES_UPDATE='{
"filterConfig": {
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"EXCLUDED_PHRASE_1",
"EXCLUDED_PHRASE_2"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
},
{
"exclusionRule": {
"regex": {
"pattern": "EXCLUDED_REGEX_PATTERN"
},
"matchingScope": "MATCHING_SCOPE_FULL_MATCH"
}
}
]
}
]
}
}
}'
curl -X PATCH \
-d "$EXCLUSION_RULES_UPDATE" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates/TEMPLATE_ID?updateMask=filterConfig.filterRuleSettings"
Ganti kode berikut:
EXCLUDED_PHRASE_1danEXCLUDED_PHRASE_2: kata atau frasa kamus yang akan dikecualikan dari deteksi injeksi perintah dan jailbreak—misalnya,ignore case when sorting this listdanignore empty rows.EXCLUDED_REGEX_PATTERN: pola ekspresi reguler yang akan dikecualikan dari deteksi injeksi perintah dan jailbreak—misalnya,(?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b.PROJECT_ID: ID project yang memiliki template.LOCATION: lokasi template.TEMPLATE_ID: ID template.
Contoh pola pengecualian ekspresi reguler
Saat Anda menulis aturan pengecualian ekspresi reguler, cakup pola Anda ke
istilah domain atau kata benda target tertentu sehingga Model Armor
mengecualikan positif palsu yang diketahui tanpa mengabaikan pelanggaran keamanan atau keselamatan
yang sebenarnya. Saat meneruskan pola ekspresi reguler di dalam isi permintaan JSON
("pattern"), escape setiap garis miring terbalik dengan garis miring terbalik kedua (misalnya, gunakan
\\b dan \\s).
Contoh deteksi prompt injection dan jailbreak
Kata kerja imperatif seperti ignore, disregard, bypass, atau override sering muncul dalam injeksi perintah berniat jahat dan petunjuk yang sah untuk triase email, pemformatan data, penanganan error, atau konfigurasi sistem. Agar tidak mengecualikan kategori perintah yang luas, gabungkan batas kata (\\b), grup non-penangkapan ((?:...)), dan flag yang tidak peka huruf besar/kecil ((?i)) dengan MATCHING_SCOPE_PARTIAL_MATCH untuk mengaitkan ekspresi reguler Anda ke kata benda target operasional tertentu.
Tabel berikut memberikan contoh pola ekspresi reguler pencocokan parsial (dengan garis miring terbalik yang di-escape JSON) dan contoh perintah untuk injeksi perintah umum dan skenario positif palsu jailbreak.
| Kategori petunjuk | Istilah pemicu | Skenario positif palsu | Contoh pola ekspresi reguler pencocokan sebagian | Contoh perintah |
|---|---|---|---|---|
| Triase dan pemfilteran konten | ignore, disregard |
Triase email, penanganan error, dan peninjauan draf |
(?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b
|
Summarize my inbox and ignore the emails from the marketing vendor.
|
Contoh filter keamanan responsible AI
Dokumentasi teknis, perintah administrasi sistem, dan idiom umum sering kali
berisi kata-kata yang tumpang-tindih dengan kategori keamanan responsible AI. Untuk mengurangi
positif palsu di seluruh perintah atau respons yang lebih besar, gabungkan batas kata
(\\b), grup non-penangkapan ((?:...)), dan flag tidak peka huruf besar/kecil
((?i)) dengan MATCHING_SCOPE_PARTIAL_MATCH.
Tabel berikut memberikan contoh pola ekspresi reguler pencocokan parsial (dengan garis miring terbalik yang di-escape JSON) dan contoh perintah untuk skenario positif palsu Responsible AI yang umum.
| Kategori risiko | Istilah pemicu | Skenario positif palsu | Contoh pola ekspresi reguler pencocokan sebagian | Contoh perintah |
|---|---|---|---|---|
| Kekerasan atau bahaya | kill |
Penghentian proses, sakelar listrik atau HVAC, dan idiom umum |
(?i)\\b(?:kill\\s+(?:-9|all|process(?:es)?|switch(?:es)?|jobs?|pods?|sessions?|bill|lights?)|time\\s+to\\s+kill|dressed\\s+to\\s+kill)\\b
|
Please kill all pods in the namespace. |
| Toksisitas atau kata-kata menyinggung | abort, terminate |
Transaksi database, siklus proses misi, dan persyaratan pekerjaan atau kontrak |
(?i)\\b(?:abort\\s+(?:transactions?|missions?|requests?|connections?|retry|retries)|terminate\\s+(?:contracts?|sessions?|threads?|instances?|connections?))\\b
|
Abort retry. |
| Kecocokan substring dalam istilah domain | Substring karakter yang tumpang-tindih | Istilah akademik, botani, ornitologi, penerbangan, dan nama diri |
(?i)\\b(?:class(?:room|ic)?|assess(?:ment)?|associate|passive|peacock|cockpit|cocktail|dickens)\\b
|
I love reading Dickens. |
| Senjata atau bahan peledak | bomb, blast, detonate |
Bioinformatika, idiom hiburan, dan peralatan industri atau pembersihan |
(?i)\\b(?:blast\\s+(?:search|alignment|radius|furnace)|box\\s+office\\s+bomb|had\\s+a\\s+blast)\\b
|
Run a blast search on the genetic sequence. |
Melihat log aturan pengecualian
Untuk mencatat hasil evaluasi aturan pengecualian, tetapkan logSanitizeOperations ke true
saat Anda mengonfigurasi logging di
template. Saat logging diaktifkan, Model Armor menulis entri log SanitizeOperationLogEntry untuk resource yang dipantau modelarmor.googleapis.com/SanitizeOperation ke Cloud Logging.
Untuk mengetahui informasi selengkapnya tentang cara mengaktifkan dan membuat kueri log sanitasi, lihat Mengonfigurasi logging.
Praktik terbaik untuk mengonfigurasi aturan pengecualian
Ikuti praktik terbaik berikut untuk meminimalkan positif palsu tanpa melemahkan postur keamanan template Anda:
- Batasi cakupan aturan pada konteks tertentu: Hindari mengecualikan satu kata kerja
atau istilah luas (seperti
ignore,kill, atauabort) atau menggunakan karakter pengganti tanpa batasan (seperti.*ignore.*). KarenaMATCHING_SCOPE_PARTIAL_MATCHmenggantimatchStatemenjadiNO_MATCH_FOUNDuntuk seluruh filter setiap kali substring cocok, aturan yang terlalu luas dapat menyamarkan pelanggaran yang sebenarnya di tempat lain dalam perintah atau respons yang sama. Selalu pasangkan kata kerja pemicu dengan kata benda target tertentu (misalnya,ignore case when sorting this listatau(?i)kill process [0-9]+). - Gunakan batas kata dan gabungkan pola: Dalam aturan ekspresi reguler,
gunakan batas kata (
\b) untuk mencegah kecocokan substring yang tidak disengaja di dalam kata yang tidak terkait. Gabungkan frasa terkait menjadi satu ekspresi reguler menggunakan grup non-penangkapan ((?:...)) dan alternatif (|) agar tetap berada dalam batas sistem 10 aturan per set aturan. - Pilih
MATCHING_SCOPE_FULL_MATCHuntuk input yang dapat diprediksi: Saat mengecualikan perintah UI yang telah ditentukan, perintah siap pakai, atau payload pengujian otomatis, tetapkanmatchingScopekeMATCHING_SCOPE_FULL_MATCH(atau ekspresi reguler anchor dengan^dan$). Cakupan pencocokan penuh mencegah pengguna menambahkan petunjuk berbahaya ke frasa yang dikecualikan untuk mengabaikan deteksi. - Tulis aturan untuk teks mentah yang belum diubah: Model Armor mengevaluasi aturan pengecualian sebelum de-identifikasi atau penerjemahan. Pastikan pola Anda cocok dengan format asli sebelum de-identifikasi, dan tambahkan frasa atau pola ekspresi reguler khusus bahasa untuk setiap bahasa yang didukung aplikasi Anda.
- Tinjau dan hentikan aturan sementara setelah upgrade filter: Saat Anda mengupgrade template ke versi filter yang lebih baru, evaluasi ulang kasus pengujian positif palsu dan hapus aturan pengecualian yang diselesaikan oleh model deteksi yang diupdate.
Langkah berikutnya
- Lihat contoh cara membersihkan perintah dan membersihkan respons model dengan aturan pengecualian.
- Tinjau batas sistem aturan pengecualian.
- Pelajari cara mengonfigurasi logging untuk Model Armor.
- Pelajari cara membuat dan mengelola template Model Armor.