כדי לצמצם את מספר הזיהויים החיוביים השגויים, אתם יכולים להגדיר ב-Model Armor כללי החרגה ספציפיים לתבנית. כללי החרגה הם כללים ספציפיים לתבנית, שמכילים ביטויים רגולריים או ביטויים שצריך להחריג מהזיהוי.
מסננים נתמכים
אפשר להשתמש בכללי החרגה במסננים הבאים:
- זיהוי של החדרת פרומפטים ופריצת מגבלות (Jailbreak)
(
PROMPT_INJECTION_AND_JAILBREAK) - מסנני בטיחות לשימוש אחראי ב-AI
(
RESPONSIBLE_AI)
מתי כדאי להשתמש בכללי החרגה
כדי להשתיק זיהויים חיוביים מוטעים ידועים בעומסי עבודה ספציפיים בלי להשבית את המסנן לגמרי, אפשר להשתמש בכללי החרגה ספציפיים לתבנית:
- טרמינולוגיה טכנית או ספציפית לתחום: האפליקציה שלכם מעבדת אוצר מילים ספציפי, כמו פקודות לניהול המערכת (
kill process,abort transaction), טרמינולוגיה של בדיקות אבטחה (penetration testing), מונחים מדעיים (blast search) או ניבים בתחום, שחופפים לקטגוריות הבטיחות של AI אחראי. - הוראות תפעול או עיצוב תקינות: המשתמשים או התבניות לפרומפטים כוללים הוראות לגיטימיות שמשתמשות בפעלים בציווי (כמו
"ignore case when sorting this list","ignore empty rows"או"Summarize my inbox and ignore the emails from the marketing vendor.") שמפעילים תוצאות חיוביות כוזבות בזיהוי של החדרת פרומפטים ופריצות. - הפחתת סיכונים ממוקדת בזמן ההמתנה לעדכוני המודל: אתם צריכים פתרון עקיף מיידי לזיהוי חיובי כוזב מאומת בתהליך עבודה ספציפי של האפליקציה, תוך שמירה על המסנן פעיל לכל שאר הקלטים.
בטבלה הבאה מוסבר מתי להשתמש בכל שילוב של סוג כלל והיקף התאמה. למידע נוסף על אופן הפעולה של התאמה למילון ולביטוי רגולרי, אפשר לעיין במאמרים כללים של מילון וביטוי רגולרי ואיך פועלת ההתאמה.
| הגדרת הכלל | מתי משתמשים | דוגמה |
|---|---|---|
כלל מילון עם התאמה חלקית
(MATCHING_SCOPE_PARTIAL_MATCH)
|
יש לכם רשימה קבועה של מילים או ביטויים סטטיים שיכולים להופיע בכל מקום בהנחיה או בתשובה. למידע נוסף על התאמה למילון, קראו את המאמר כללים של מילון וביטויים רגולריים. |
המילון מכיל את הביטוי
התאמות:
לא תואם:
|
כלל מילון עם התאמה מלאה
(MATCHING_SCOPE_FULL_MATCH)
|
האפליקציה משתמשת באפשרויות הנחיה מוגדרות מראש (כמו כפתורי תגובה מהירה בממשק המשתמש או פקודות מוכנות מראש) שבהן כל הקלט תואם לביטוי מוכר, ואתם רוצים למנוע מטקסט נוסף שלא נבדק לעקוף את המסנן. למידע נוסף על התנהגות ההתאמה למילון, ראו כללים של מילון וביטויים רגולריים. |
המילון מכיל את הביטוי
התאמות:
לא תואם:
|
כלל של ביטוי רגולרי עם התאמה חלקית
(MATCHING_SCOPE_PARTIAL_MATCH)
|
אתם צריכים להחריג תבניות מובנות, מזהים דינמיים או שילובים ספציפיים של פעלים ושמות עצם בתוך הנחיות או תשובות ארוכות יותר. מידע נוסף זמין במאמר דוגמאות לתבניות של ביטויים רגולריים להחרגה. |
תבנית של ביטוי רגולרי:
התאמות:
לא תואם:
|
כלל של ביטוי רגולרי עם התאמה מלאה
(MATCHING_SCOPE_FULL_MATCH)
|
כל המטען הייעודי (payload) של הקלט הוא בפורמט מבני קפדני (כמו מזהה בדיקה אוטומטית או פקודה מובנית). |
תבנית של ביטוי רגולרי:
התאמות:
לא תואם:
|
שימוש בנקודת קצה אזורית או בכמה אזורים
כשעובדים עם תבנית של "הגנה מוגברת על המודל", צריך להשתמש בנקודת קצה אזורית או במספר אזורים (modelarmor.LOCATION.rep.googleapis.com) שתואמת למיקום של התבנית. במאמר אכיפת מיקום אחסון הנתונים בתבניות מוסבר איך אוכפים את מיקום אחסון הנתונים בכל אזור או במספר אזורים.
נקודת הקצה הגלובלית (modelarmor.googleapis.com) לא תומכת בניהול תבניות של Model Armor או בהסרת תוכן זדוני או רגיש מהנחיות ומתשובות.
לפני שמתחילים
לפני שמתחילים, צריך לבצע את המשימות הבאות.
קבלת ההרשאות הנדרשות
כדי לקבל את ההרשאות שנדרשות להגדרת כללי החרגה בתבניות של Model Armor, בקשו מהאדמין להקצות לכם את התפקיד אדמין של Model Armor (roles/modelarmor.admin) ב-IAM בפרויקט של Model Armor שמכיל את התבנית של Model Armor.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
הפעלת ממשקי ה-API
כדי להשתמש ב-Model Armor, צריך להפעיל את Model Armor API.
המסוף
מפעילים את Model Armor API, אם הוא עדיין לא מופעל.
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, אתם יכולים לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםבוחרים את הפרויקט שבו רוצים להפעיל את Model Armor.
gcloud
לפני שמתחילים, מבצעים את השלבים הבאים באמצעות Google Cloud CLI עם Model Armor API:
מפעילים את Cloud Shell במסוף Google Cloud .
בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
מפעילים את Model Armor API, אם הוא עדיין לא מופעל:
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable modelarmor.googleapis.com
הגדרת שינוי ברירת המחדל של נקודת הקצה ל-API באמצעות ה-CLI של gcloud.
הגדרת שינוי ברירת המחדל של נקודת הקצה ל-API באמצעות ה-CLI של gcloud
השלב הזה נדרש רק אם אתם משתמשים ב-CLI של gcloud עם Model Armor ורוצים להשתמש באזור או במספר אזורים שאינם ברירת המחדל של מספר האזורים us. כדי לוודא שה-CLI של gcloud מנתב בצורה נכונה את הבקשות לשירות Model Armor, צריך להגדיר באופן ידני את שינוי ברירת המחדל של נקודת הקצה ל-API.
מריצים את הפקודה הבאה כדי להגדיר את נקודת הקצה ל-API של שירות Model Armor.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
מחליפים את LOCATION באזור או במספר האזורים שבהם רוצים להשתמש ב-Model Armor.
איך פועלים כללי ההחרגה
כדי להגדיר כללי החרגה, משתמשים ב-Model Armor API.
כללים של מילון וביטויים רגולריים
אפשר להגדיר שני סוגים של כללי החרגה בתבנית של Model Armor:
- כללי מילון: מציינים רשימה של מילים או ביטויים (
wordList, עד 128KB לכל מילון) שרוצים להחריג. מילון חייב להכיל לפחות ביטוי אחד, וכל ביטוי חייב להכיל לפחות שני תווים שהם אותיות או ספרות. ההתאמה למילון פועלת באופן הבא:- לא תלוי-רישיות: המילים והביטויים במילון לא תלויי-רישיות.
- תווים לא אלפאנומריים: כשסורקים כדי למצוא התאמות, כל התווים שאינם אותיות וספרות ב-Basic Multilingual Plane של Unicode מוחלפים ברווחים. לדוגמה, הביטוי
Sam Johnsonבמילון תואם ל-sam johnson, ל-Sam, Johnsonול-Sam (Johnson). ביטויים במילון שמכילים הרבה תווים שהם לא אותיות או ספרות יכולים להוביל להתאמות לא צפויות, כי התווים האלה נחשבים לרווחים. - גבולות התווים: התווים שמקיפים את ההתאמה צריכים להיות מסוג שונה מהתווים הסמוכים במילה שבמילון. אותיות חייבות להיות צמודות לתווים שהם לא אותיות, וספרות חייבות להיות צמודות לתווים שהם לא ספרות. לדוגמה, המילה
jenמהמילון תואמת לשלוש האותיות הראשונות שלjen123, אבל לא תואמת ל-jennifer.
- כללים של ביטויים רגולריים: מציינים תבנית של ביטוי רגולרי (עד 1,000 תווים) להתאמה ולהחרגה. כברירת מחדל, התאמות של ביטויים רגולריים הן תלויות אותיות רישיות. כדי לבצע התאמה לא תלוית-רישיות, צריך לכלול את הדגל
(?i)בתבנית. לדוגמה,(?i)kill process [0-9]+תואם גם ל-kill process 1234וגם ל-Kill Process 1234.
איך מתבצעת ההתאמה למילות מפתח
כל כלל החרגה תומך בשדה matchingScope, שמציין איך Model Armor מתאים את תוכן הקלט לכלל:
- התאמה חלקית (
MATCHING_SCOPE_PARTIAL_MATCH, ברירת מחדל):- כללי מילון: התאמה מתרחשת כשמילה או ביטוי במילון תואמים למחרוזת משנה בתוכן הקלט, בכפוף לכללי גבולות התווים של המילון. לדוגמה, הביטוי
ignore empty rowsבמילון תואם ל-ignore empty rows, ל-ignore EMPTY-rowsול-Please ignore empty rows and summarize this table, אבל לא תואם ל-ignore rowsאו ל-ignore the empty rows. - כללי ביטויים רגולריים: התאמה מתרחשת כשמחרוזת משנה כלשהי בתוכן הקלט תואמת לתבנית של הביטוי הרגולרי.
- תמיכה בסטרימינג: נתמך גם במצב סטרימינג במאגר נתונים זמני (
STREAMING_MODE_BUFFERED) וגם במצב סטרימינג בזמן אמת (STREAMING_MODE_REALTIME, ברירת המחדל). מידע נוסף זמין במאמר כללי החרגה בהסרת תוכן זדוני או רגיש בסטרימינג.
- כללי מילון: התאמה מתרחשת כשמילה או ביטוי במילון תואמים למחרוזת משנה בתוכן הקלט, בכפוף לכללי גבולות התווים של המילון. לדוגמה, הביטוי
- התאמה מלאה (
MATCHING_SCOPE_FULL_MATCH):- כללי מילון: התאמה רק כשהערך במילון מכסה את כל תוכן הקלט. לדוגמה, הביטוי
ignore empty rowsבמילון תואם ל-ignore empty rowsול-ignore EMPTY-rows, אבל לא תואם ל-please ignore empty rowsאו ל-ignore rows. - כללים של ביטויים רגולריים: התאמה רק כשתבנית הביטוי הרגולרי תואמת לכל תוכן הקלט.
- תמיכה בסטרימינג: נתמך רק במצב סטרימינג במאגר זמני (
STREAMING_MODE_BUFFERED). מידע נוסף זמין במאמר כללי החרגה בחיטוי סטרימינג.
- כללי מילון: התאמה רק כשהערך במילון מכסה את כל תוכן הקלט. לדוגמה, הביטוי
כללי החרגה שגוברים על כללי הסרת תוכן זדוני או רגיש
אם התבנית כוללת כללי החרגה, Model Armor בודק את הכללים האלה במהלך הסרת התוכן הזדוני או הרגיש מההנחיה ומהתשובה של המודל, בכל פעם שמסנן לזיהוי פריצה ו-prompt injection (PROMPT_INJECTION_AND_JAILBREAK) או מסנן ל-AI אחראי (RESPONSIBLE_AI) מזהה התאמה פוטנציאלית:
- הכלל תואם לקלט: אם כלל החרגה תואם למחרוזת משנה (
MATCHING_SCOPE_PARTIAL_MATCH, ברירת המחדל) או לכל הקלט מההתחלה ועד הסוף (MATCHING_SCOPE_FULL_MATCH), Model Armor מבטל את תוצאת הסינון שלMATCH_FOUNDאוEXECUTION_SKIPPEDומגדיר אתmatchStateכ-NO_MATCH_FOUNDלכל סוג המסנן הנתמך (כולל כל קטגוריות הבטיחות של AI אחראי ב-RESPONSIBLE_AI), במקום להחריג ביטויים או טווחים ספציפיים בתוך הקלט. בתגובה להסרת תוכן זדוני או רגיש, הערך שלfilterMatchStateהואNO_MATCH_FOUNDאם לא זוהה תוכן זדוני או אם כללי ההחרגה מבטלים את תוצאות הסינון. כדי לפתור בעיות, מפעילים את Cloud Logging לפעולות הסרת תוכן זדוני או רגיש (logSanitizeOperations) בתבנית ומסננים לפי התוויותmodelarmor.googleapis.com/exclusion_rule_overridden_filtersאוmodelarmor.googleapis.com/exclusion_rule_skipped_filters. התוויות האלה נרשמות ביומנים של Model Armor כשכללי ההחרגה מבטלים את תוצאות הסינון, או כשערך השדהexecutionStateשל המסנן הואEXECUTION_SKIPPED. איך צופים ביומנים של כללי ההחרגה - הכלל לא תואם לקלט המלא (
MATCHING_SCOPE_FULL_MATCH): אם הקלט מכיל טקסט נוסף מעבר לביטוי או לתבנית שהוגדרו, הכלל לא תואם והמסנן שומר אתMATCH_FOUND. - הקלט חורג מ-130,000 טוקנים (0.5MB): כללי ההחרגה בודקים רק את 130,000 הטוקנים הראשונים (0.5MB) של טקסט הקלט.
מטען ייעודי (payload) של 0.5MB תומך בכ-130,000 אסימונים לטקסט באנגלית (כ-4 תווים לכל אסימון). בטקסטים בשפות אחרות, מספר האסימונים הנתמכים יכול להשתנות בהתאם לשפה, כי תווים בשפות אחרות דורשים יותר בייטים לכל תו. אם הקלט חורג מ-130,000 טוקנים (0.5MB) ומסנן מזהה התאמה מחוץ לחלק הראשוני שנסרק, המסנן מחזיר את הערך
EXECUTION_SKIPPED. לפרטים על הערכים שלmessageItemsומגבלות המטען הייעודי (payload), קראו את המאמר מגבלות המערכת של כללי ההחרגה.
דוגמאות להסרת תוכן זדוני או רגיש מהנחיות ומתשובות של מודלים באמצעות כללי החרגה מופיעות במאמרים הסרת תוכן זדוני או רגיש מהנחיה באמצעות כלל החרגה והסרת תוכן זדוני או רגיש מתשובה באמצעות כלל החרגה.
כללי החרגה בהסרת תוכן זדוני או רגיש בסטרימינג
הגנה מוגברת על המודל תומכת בכללי החרגה בשיטות הסטרימינג StreamSanitizeUserPrompt ו-StreamSanitizeModelResponse.
האופן שבו Model Armor מעריך את כללי ההחרגה תלוי במצב הסטרימינג (streamingMode) שצוין בבקשה:
- מצב מאגר נתונים זמני (
STREAMING_MODE_BUFFERED): תומך גם ב-MATCHING_SCOPE_PARTIAL_MATCH(ברירת המחדל) וגם ב-MATCHING_SCOPE_FULL_MATCH. Model Armor אוסף את כל החלקים שמועברים בסטרימינג ומעריך את כללי ההחרגה ביחס לתוכן המלא שמועבר בסטרימינג:- התאמה חלקית (
MATCHING_SCOPE_PARTIAL_MATCH): אם ביטוי במילון או תבנית של ביטוי רגולרי תואמים למחרוזת משנה כלשהי בתוכן שמועבר בסטרימינג, Model Armor מבטל את תוצאת הסינון ומגדיר אתmatchStateכ-NO_MATCH_FOUNDלסוג המסנן הזה. - התאמה מלאה (
MATCHING_SCOPE_FULL_MATCH): אם ביטוי במילון או תבנית של ביטוי רגולרי תואמים לכל התוכן שמועבר בסטרימינג מההתחלה ועד הסוף, Model Armor מבטל את תוצאת הסינון ומגדיר אתmatchStateל-NO_MATCH_FOUNDלסוג המסנן הזה. אם קטע כלשהו מוסיף טקסט מעבר לביטוי או לתבנית שהוגדרו, הכלל לא תואם והמסנן שומר אתMATCH_FOUND.
- התאמה חלקית (
- מצב בזמן אמת (
STREAMING_MODE_REALTIME, ברירת המחדל): תומך ב-MATCHING_SCOPE_PARTIAL_MATCH(ברירת המחדל) ולא תומך ב-MATCHING_SCOPE_FULL_MATCH.- התאמה חלקית (
MATCHING_SCOPE_PARTIAL_MATCH): המערכת בודקת כל חלק שעבר עיבוד בנפרד (מוחזר ב-sanitizationMetadata.streamChunkProcessedכש-filterMatchStateהואNO_MATCH_FOUND). אם ביטוי במילון או תבנית של ביטוי רגולרי תואמים לחלק שעבר עיבוד, המערכת מבטלת את תוצאת הסינון ומגדירה אתmatchStateכ-NO_MATCH_FOUNDלחלק הזה, וממשיכה לבדוק את החלקים הבאים בסטרימינג בנפרד. אם ביטוי או תבנית שהוחרגו מפוצלים בין קטעים נפרדים שעברו עיבוד, החלקים החלקיים לא תואמים. אם קטע קודם מפעיל פסיקה שלMATCH_FOUNDבלי להתאים לכלל החרגה, השידור נשאר חסום בקטעים הבאים. - התאמה מלאה (
MATCHING_SCOPE_FULL_MATCH): לא נתמכת. אם תבנית כוללת כלל להחרגה עםMATCHING_SCOPE_FULL_MATCHוהבקשה משתמשת במצב סטרימינג בזמן אמת, המערכת של Model Armor דוחה את הבקשה ומחזירה את השגיאהINVALID_ARGUMENTהבאה:Invalid filter rule settings: FULL_MATCH matching scope is not supported in real-time streaming mode. UsePARTIAL_MATCHorSTREAMING_MODE_BUFFERED` במקום זאת.
- התאמה חלקית (
דוגמאות להסרת תוכן זדוני או רגיש בסטרימינג באמצעות כללי החרגה מופיעות במאמרים הסרת תוכן זדוני או רגיש מהנחיה בסטרימינג באמצעות כלל החרגה והסרת תוכן זדוני או רגיש מתשובה בסטרימינג באמצעות כלל החרגה.
לתשומת ליבכם
כשמגדירים כללי החרגה, חשוב לשים לב לדברים הבאים:
- כללי החרגה חלים רק על התבנית שבה אתם מגדירים אותם. אי אפשר לשתף כללי החרגה בין תבניות.
- אפשר להגדיר כללי החרגה לסוג מסנן נתמך רק כשהמסנן הזה מופעל בתבנית.
כדי לזהות החדרת פרומפטים ופריצת מגבלות (
PROMPT_INJECTION_AND_JAILBREAK), מגדירים אתfilterEnforcementלערךENABLEDב-piAndJailbreakFilterSettings. כדי להפעיל מסנני בטיחות של AI אחראי (RESPONSIBLE_AI), צריך להגדיר לפחות קטגוריית בטיחות אחת של AI אחראי ב-raiSettings.raiFilters. - הגנה מוגברת על המודל לא תומכת בכללי החרגה בהגדרות של רצפת המחיר.
- בהסרת תוכן זדוני או רגיש בסטרימינג, Model Armor תומך בכללי החרגה של התאמה מלאה (
MATCHING_SCOPE_FULL_MATCH) רק במצב מאגר נתונים זמני (STREAMING_MODE_BUFFERED). אם משתמשים ב-MATCHING_SCOPE_FULL_MATCHבמצב זמן אמת (STREAMING_MODE_REALTIME, מצב הסטרימינג שמוגדר כברירת מחדל), מוחזרת השגיאהINVALID_ARGUMENTהבאה:Invalid filter rule settings: FULL_MATCH matching scope is not supported in real-time streaming mode. UsePARTIAL_MATCHorSTREAMING_MODE_BUFFERED` במקום זאת. - התכונה "הגנה מוגברת על המודל" בודקת את כללי ההחרגה מול טקסט הקלט הגולמי לפני שהיא מבצעת שינויים בטקסט, כמו הסרת פרטים מזהים או תרגום. כללי ההחרגה לא תומכים בזיהוי של כמה שפות או בתרגום אוטומטי. כדי להחריג תוכן בכמה שפות, צריך להוסיף ביטויים ספציפיים לשפה או תבניות של ביטויים רגולריים לכל שפת יעד.
- בכללי ההחרגה יש תמיכה מוגבלת בשפות עם כתב לא לטיני ובתווי UTF-8 עם כמה בייטים. באופן ספציפי, יכול להיות שכללי המילון (
wordList) לא יתאימו כמצופה לכתבים שמשתמשים בסימנים משולבים (כמו כתבים הודיים) או לכתבים ללא רווחים בין מילים (כמו סינית ויפנית). כללי התאמה מלאה (MATCHING_SCOPE_FULL_MATCH) לא תואמים לקלט שמכיל תווים בקידוד UTF-8 של כמה בייטים. כשמחריגים תוכן בכתב לא לטיני או קלט עם תווים של כמה בייטים, צריך להשתמש בכללים של ביטויים רגולריים (regex) עםMATCHING_SCOPE_PARTIAL_MATCH. - כללי ההחרגה כפופים למגבלות המערכת. מידע נוסף זמין במאמר מגבלות המערכת על כללי החרגה.
יצירת תבנית עם כללי החרגה
כדי ליצור תבנית עם כללים להחרגה, צריך לכלול את האובייקט filterRuleSettings בתוך filterConfig בבקשת POST.
בדוגמה הבאה נוצרת תבנית שמפעילה זיהוי של החדרת פרומפטים ופריצה, ומסנני בטיחות של AI אחראי, ומגדירה שני כללי החרגה עם התאמה חלקית (MATCHING_SCOPE_PARTIAL_MATCH):
- זיהוי של החדרת פרומפטים ופריצת מגבלות (
PROMPT_INJECTION_AND_JAILBREAK): שימוש בכלל מילון כדי להחריג קלט שמכיל ביטויים מסוימים, כמוignore case when sorting this listאוignore empty rows, מזיהוי של החדרת פרומפטים ופריצת מגבלות. - AI אחראי (
RESPONSIBLE_AI): משתמש בכלל של ביטוי רגולרי כדי להחריג קלטים שתואמים לתבנית מסוימת, כמו(?i)kill process [0-9]+, מזיהויים של בטיחות ב-AI אחראי.
export TEMPLATE_WITH_EXCLUSIONS='{
"filterConfig": {
"piAndJailbreakFilterSettings": {
"filterEnforcement": "ENABLED",
"confidenceLevel": "LOW_AND_ABOVE"
},
"raiSettings": {
"raiFilters": [
{
"filterType": "DANGEROUS",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HARASSMENT",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HATE_SPEECH",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "SEXUALLY_EXPLICIT",
"confidenceLevel": "LOW_AND_ABOVE"
}
]
},
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"EXCLUDED_PHRASE_1",
"EXCLUDED_PHRASE_2"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
},
{
"filterTypes": [
"RESPONSIBLE_AI"
],
"rules": [
{
"exclusionRule": {
"regex": {
"pattern": "EXCLUDED_REGEX_PATTERN"
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
}
]
}
}
}'
curl -X POST \
-d "$TEMPLATE_WITH_EXCLUSIONS" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates?template_id=TEMPLATE_ID"
מחליפים את מה שכתוב בשדות הבאים:
-
EXCLUDED_PHRASE_1ו-EXCLUDED_PHRASE_2: המילים או הביטויים במילון שרוצים להחריג מזיהוי של החדרת פרומפטים ופריצת מגבלות (Jailbreak), לדוגמהignore case when sorting this listו-ignore empty rows. -
EXCLUDED_REGEX_PATTERN: תבנית הביטוי הרגולרי שרוצים להחריג מזיהוי הבטיחות של AI אחראי, לדוגמה(?i)kill process [0-9]+. -
PROJECT_ID: מזהה הפרויקט שהתבנית שייכת אליו. -
LOCATION: המיקום של התבנית. -
TEMPLATE_ID: מזהה התבנית.
הפקודה הזו מחזירה תגובה שדומה לזו:
{
"filterConfig": {
"raiSettings": {
"raiFilters": [
{
"filterType": "DANGEROUS",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HARASSMENT",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "HATE_SPEECH",
"confidenceLevel": "LOW_AND_ABOVE"
},
{
"filterType": "SEXUALLY_EXPLICIT",
"confidenceLevel": "LOW_AND_ABOVE"
}
]
},
"piAndJailbreakFilterSettings": {
"filterEnforcement": "ENABLED",
"confidenceLevel": "LOW_AND_ABOVE"
},
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"ignore case when sorting this list",
"ignore empty rows"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
},
{
"filterTypes": [
"RESPONSIBLE_AI"
],
"rules": [
{
"exclusionRule": {
"regex": {
"pattern": "(?i)kill process [0-9]+"
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
}
]
}
]
}
},
"templateMetadata": {
"dataResidencyCompliant": true
}
}
עדכון כללי ההחרגה בתבנית
כדי לעדכן את כללי ההחרגה בתבנית קיימת, שולחים בקשת PATCH עם הערך filterConfig.filterRuleSettings ב-updateMask. מכיוון שהעדכון מחליף את כל השדה filterRuleSettings, צריך לכלול את כל הכללים שרוצים לשמור יחד עם השינויים.
בדוגמה הבאה, אנחנו מעדכנים את כללי ההחרגה מהדוגמה הקודמת על ידי הוספת כלל של ביטוי רגולרי לקבוצת הכללים PROMPT_INJECTION_AND_JAILBREAK והסרת קבוצת הכללים RESPONSIBLE_AI:
export EXCLUSION_RULES_UPDATE='{
"filterConfig": {
"filterRuleSettings": {
"ruleSets": [
{
"filterTypes": [
"PROMPT_INJECTION_AND_JAILBREAK"
],
"rules": [
{
"exclusionRule": {
"dictionary": {
"wordList": {
"words": [
"EXCLUDED_PHRASE_1",
"EXCLUDED_PHRASE_2"
]
}
},
"matchingScope": "MATCHING_SCOPE_PARTIAL_MATCH"
}
},
{
"exclusionRule": {
"regex": {
"pattern": "EXCLUDED_REGEX_PATTERN"
},
"matchingScope": "MATCHING_SCOPE_FULL_MATCH"
}
}
]
}
]
}
}
}'
curl -X PATCH \
-d "$EXCLUSION_RULES_UPDATE" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://modelarmor.LOCATION.rep.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/templates/TEMPLATE_ID?updateMask=filterConfig.filterRuleSettings"
מחליפים את מה שכתוב בשדות הבאים:
-
EXCLUDED_PHRASE_1ו-EXCLUDED_PHRASE_2: המילים או הביטויים במילון שרוצים להחריג מזיהוי של החדרת פרומפטים ופריצת מגבלות (Jailbreak), לדוגמהignore case when sorting this listו-ignore empty rows. -
EXCLUDED_REGEX_PATTERN: תבנית הביטוי הרגולרי שרוצים להחריג מזיהוי של החדרת פרומפטים ופריצה – לדוגמה,(?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b. -
PROJECT_ID: מזהה הפרויקט שהתבנית שייכת אליו. -
LOCATION: המיקום של התבנית. -
TEMPLATE_ID: מזהה התבנית.
דוגמאות לתבניות של ביטויים רגולריים להחרגה
כשאתם כותבים כללי החרגה של ביטויים רגולריים, כדאי להגדיר את היקף התבניות למונחים ספציפיים של דומיינים או לשמות עצם ספציפיים, כדי ש-Model Armor יחריג תוצאות חיוביות מוטעות ידועות בלי להתעלם מהפרות אמיתיות של אבטחה או בטיחות. כשמעבירים תבניות של ביטויים רגולריים בתוך גוף הבקשה של JSON ("pattern"), צריך להוסיף לכל לוכסן הפוך עוד לוכסן הפוך (לדוגמה, להשתמש ב-\\b וב-\\s).
דוגמאות לזיהוי של החדרת פרומפטים ופריצת מגבלות (jailbreak)
פעלים בציווי כמו ignore, disregard, bypass או override מופיעים לעיתים קרובות גם בהחדרת פרומפטים זדוניים וגם בהוראות לגיטימיות למיון אימיילים, עיצוב נתונים, טיפול בשגיאות או הגדרת המערכת. כדי להימנע מהחרגה של קטגוריות רחבות של הנחיות, שלבו גבולות מילים (\\b), קבוצות ללא תיעוד ((?:...)) ואת הדגל ללא תלות-רישיות ((?i)) עם MATCHING_SCOPE_PARTIAL_MATCH כדי לעגן את הביטוי הרגולרי לשמות עצם ספציפיים של יעדים תפעוליים.
בטבלה הבאה מוצגת דוגמה לתבנית של ביטוי רגולרי להתאמה חלקית (עם לוכסנים הפוכים עם תו בריחה ב-JSON) ודוגמה לפרומפט לתרחיש נפוץ של תוצאה חיובית מוטעית של החדרת פרומפטים ופריצה.
| קטגוריית ההוראות | תנאי הטריגר | תרחישים של תוצאות חיוביות כוזבות | דוגמה לתבנית של ביטוי רגולרי להתאמה חלקית | פרומפט לדוגמה |
|---|---|---|---|---|
| מיון וסינון של תוכן | ignore, disregard |
מיון אימיילים, טיפול בשגיאות ובדיקת טיוטות |
(?i)\\b(?:ignore\\s+(?:the\\s+)?(?:emails?|spams?|warnings?|drafts?|typos?|duplicates?|noise))\\b
|
Summarize my inbox and ignore the emails from the marketing vendor.
|
דוגמאות למסנני בטיחות של AI אחראי
תיעוד טכני, פקודות לניהול המערכת וביטויים נפוצים מכילים לעיתים קרובות מילים שחופפות לקטגוריות הבטיחות של AI אחראי. כדי לצמצם את מספר הזיהויים החיוביים השגויים בהנחיות או בתשובות ארוכות יותר, משלבים גבולות מילים (\\b), קבוצות ללא חילוץ ((?:...)) ואת הדגל "לא תלוי-רישיות" ((?i)) עם MATCHING_SCOPE_PARTIAL_MATCH.
בטבלה הבאה מוצגות דוגמאות לתבניות של ביטויים רגולריים להתאמה חלקית (עם לוכסנים הפוכים עם תו בריחה ב-JSON) ודוגמאות להנחיות לתרחישים נפוצים של תוצאות חיוביות מוטעות בנושא AI אחראי.
| קטגוריית הסיכון | תנאי הטריגר | תרחישים של תוצאות חיוביות כוזבות | דוגמה לתבנית של ביטוי רגולרי להתאמה חלקית | פרומפט לדוגמה |
|---|---|---|---|---|
| אלימות או פגיעה | kill |
סיום תהליך, מתגי חשמל או בקרת אקלים וביטויים נפוצים |
(?i)\\b(?:kill\\s+(?:-9|all|process(?:es)?|switch(?:es)?|jobs?|pods?|sessions?|bill|lights?)|time\\s+to\\s+kill|dressed\\s+to\\s+kill)\\b
|
Please kill all pods in the namespace. |
| תוכן רעיל או שפה פוגענית | abort, terminate |
עסקאות במסד הנתונים, מחזור החיים של המשימה ותנאי העסקה או חוזה |
(?i)\\b(?:abort\\s+(?:transactions?|missions?|requests?|connections?|retry|retries)|terminate\\s+(?:contracts?|sessions?|threads?|instances?|connections?))\\b
|
Abort retry. |
| התאמות של מחרוזות משנה במונחי דומיין | מחרוזות משנה חופפות של תווים | מונחים אקדמיים, בוטניקה, אורניתולוגיה, תעופה ושמות פרטיים |
(?i)\\b(?:class(?:room|ic)?|assess(?:ment)?|associate|passive|peacock|cockpit|cocktail|dickens)\\b
|
I love reading Dickens. |
| כלי נשק או חומרי נפץ | bomb, blast, detonate |
ביואינפורמטיקה, ביטויים מתחום הבידור וציוד תעשייתי או ניקוי תעשייתי |
(?i)\\b(?:blast\\s+(?:search|alignment|radius|furnace)|box\\s+office\\s+bomb|had\\s+a\\s+blast)\\b
|
Run a blast search on the genetic sequence. |
הצגת יומנים של כללים להחרגה
כדי לתעד ביומן את תוצאות ההערכה של כללי ההחרגה, צריך להגדיר את logSanitizeOperations לערך true כשמגדירים את הרישום ביומן בתבניות. כשהרישום ביומן מופעל, המערכת של "הגנה מוגברת על המודל" כותבת רשומות ביומן של SanitizeOperationLogEntry למשאב modelarmor.googleapis.com/SanitizeOperation שבמעקב ב-Cloud Logging.
מידע נוסף על הפעלה של יומני חיטוי ושליחת שאילתות לגביהם זמין במאמר הגדרת רישום ביומן.
שיטות מומלצות להגדרת כללי החרגה
כדי לצמצם את מספר התוצאות החיוביות הכוזבות בלי להחליש את מצב האבטחה של התבנית, כדאי לפעול לפי השיטות המומלצות הבאות:
- הגדרת כללים מצומצמים להקשרים ספציפיים: אל תחריגו פעלים בודדים או מונחים רחבים (כמו
ignore,killאוabort) ואל תשתמשו בתווים כלליים לחיפוש ללא הגבלה (כמו.*ignore.*). מכיוון ש-MATCHING_SCOPE_PARTIAL_MATCHמבטל אתmatchStateל-NO_MATCH_FOUNDבכל המסנן בכל פעם שיש התאמה למחרוזת משנה, כללים רחבים מדי יכולים להסתיר הפרות אמיתיות במקומות אחרים באותה הנחיה או באותה תשובה. תמיד צריך לשלב פעלים שמפעילים פעולה עם שמות עצם ספציפיים (לדוגמה,ignore case when sorting this listאו(?i)kill process [0-9]+). - שימוש בגבולות מילים ואיחוד תבניות: בכללים של ביטויים רגולריים, השתמשו בגבולות מילים (
\b) כדי למנוע התאמות מקריות של מחרוזות משנה בתוך מילים לא קשורות. כדי לא לחרוג ממגבלת המערכת של 10 כללים לכל קבוצת כללים, אתם יכולים לאחד ביטויים קשורים לביטוי רגולרי אחד באמצעות קבוצות ללא חילוץ ((?:...)) וחלופות (|). - העדיפו את
MATCHING_SCOPE_FULL_MATCHלקלטים צפויים: כשמחריגים הנחיות מוגדרות מראש לממשק המשתמש, פקודות מוכנות מראש או מטענים ייעודיים (payloads) לבדיקה אוטומטית, מגדירים אתmatchingScopeל-MATCHING_SCOPE_FULL_MATCH(או מעגנים ביטויים רגולריים באמצעות^ו-$). היקף התאמה מלאה מונע מהמשתמשים להוסיף הוראות זדוניות לביטוי שהוחרג כדי לעקוף את הזיהוי. - לכתוב כללים לטקסט גולמי שלא עבר שינוי: Model Armor מעריך את כללי ההחרגה לפני הסרת פרטי הזיהוי או התרגום. חשוב לוודא שהתבניות תואמות לפורמט המקורי לפני הסרת פרטי הזיהוי, ולהוסיף ביטויים ספציפיים לשפה או תבניות של ביטויים רגולריים לכל שפה שהאפליקציה תומכת בה.
- בדיקה והסרה של כללים זמניים אחרי שדרוג המסננים: כשמשדרגים תבנית לגרסת מסנן חדשה יותר, צריך לבדוק מחדש את מקרי הבדיקה של תוצאות חיוביות מוטעות ולהסיר כללים להחרגה שהמודלים המעודכנים של הזיהוי פותרים.
המאמרים הבאים
- כאן אפשר לראות דוגמאות להסרת תוכן זדוני או רגיש מהנחיות, וכאן אפשר לראות דוגמאות להסרת תוכן זדוני או רגיש מתשובות של מודלים באמצעות כללי החרגה.
- בודקים את מגבלות המערכת של כללי ההחרגה.
- איך מגדירים רישום ביומן ב-Model Armor
- איך יוצרים ומנהלים תבניות של Model Armor