הגנה מוגברת על המודל הוא Google Cloud שירות שנועד לשפר את האבטחה והבטיחות של אפליקציות AI, במיוחד אלה שמבוססות על מודלים גדולים של שפה (LLM). הכלי בודק את ההנחיות שנשלחות למודלים ואת התשובות שנוצרות על ידם, ועוזר לכם לצמצם סיכונים ולאכוף שיטות עבודה אחראיות בתחום ה-AI.
פרטים על הממצאים שנוצרים ב-הגנה מוגברת על המודל מופיעים במאמר ממצאים של הגנה מוגברת על המודל.
הגדרת תבניות
כדי להגדיר איך הגנה מוגברת על המודל תסנן תוכן, צריך ליצור תבניות של הגנה מוגברת על המודל ולהשתמש בהן. תבנית היא קבוצת הגדרות לשימוש חוזר שבה מציינים אילו מסננים להפעיל, את רמות הוודאות של המסננים ואת סוג האכיפה של כל מסנן. מידע נוסף זמין במאמר בנושא יצירה וניהול של תבניות.
קביעת הגדרות אבטחה מינימליות
כדי להבטיח רמת הגנה בסיסית, מנהלי אבטחה יכולים להגדיר הגדרות אבטחה מינימליות ברמת הארגון, התיקייה או הפרויקט. ההגדרות האלה קובעות דרישות מינימליות למסננים שכל תבניות Model Armor שנוצרו במסגרת ההיקף הזה חייבות לעמוד בהן, וכך עוזרות למנוע הגדרות מתירניות מדי. מידע נוסף מופיע במאמר הגדרות אבטחה מינימליות.
ניקוי פרומפטים ותשובות
כשמשתמש שולח פרומפט לאפליקציה, האפליקציה שולחת את הפרומפט הזה קודם ל-Model Armor. הגנה מוגברת על המודל מעבדת את הפרומפט באמצעות המסננים המופעלים בתבנית, ומחזירה תשובה שמציינת אם נמצאו הפרות מדיניות כלשהן ותוצאות מפורטות מכל מסנן. הלוגיקה של האפליקציה מחליטה מה לעשות בהמשך.
כשמודל LLM יוצר תגובה, לפני שהאפליקציה מציגה את התגובה למשתמש, היא שולחת אותה ל-Model Armor. Model Armor מסנן את הפלט של ה-LLM באמצעות הגדרות המסנן שמוגדרות בתבנית ומחזיר את תוצאות הניתוח. לאחר מכן האפליקציה מחליטה אם להציג את התגובה למשתמש, ויכולה לחסום אותה אם נמצאו הפרות.
מידע נוסף זמין במאמר ניקוי הנחיות ותשובות.