מודלים של AI גנרטיבי כמו Gemini דורשים אמצעי בטיחות חזקים כדי לצמצם סיכונים כמו יצירת תוכן פוגעני, דליפת מידע רגיש או שימוש לרעה. Gemini Enterprise Agent Platform מספק חבילה של כלים ושיטות להטמעת בטיחות הוליסטית במודלים של Gemini.
סיכוני בטיחות פוטנציאליים ואסטרטגיות לצמצום הסיכונים
כשפורסים מודלים של Gemini, חשוב לזהות סיכונים פוטנציאליים שונים ולצמצם אותם. גישה יזומה להבנת הסיכונים האלה מאפשרת הטמעה יעילה יותר של אמצעי בטיחות. גישה רב-שכבתית לאבטחה היא חיונית, כי היא יכולה לצמצם או למנוע:
- סיכוני תוכן: סיכונים כאלה יכולים לכלול תוכן מזיק, שפה גסה, מיניות, אלימות ושפיכות דמים.
- סיכונים לשמירה על תדמית המותג: יכול להיות שהתוכן שנוצר לא יתאים לטון או לערכים של המותג שלכם, שהוא יתמוך במתחרים או במוצרים לא הולמים, או שהוא ייצור תוכן שעלול לפגוע במוניטין שלכם.
- סיכוני התאמה: התוכן שנוצר עלול להיות לא רלוונטי או לא מדויק.
- סיכוני אבטחה ופרטיות: יכול להיות שתוכן שנוצר יגרום לדליפה של נתוני אימון רגישים או הנחיות, או שמשתמשים בעלי כוונות זדוניות ינסו לגרום למודל לעקוף פרוטוקולי בטיחות או להתנהג בדרכים לא רצויות.
המודלים שפרסמנו מציעים תכונות שונות לטיפול בבעיות הפוטנציאליות האלה:
- מודל ברירת המחדל והמסננים שלא ניתן להגדיר מספקים רשת ביטחון כללית.
- הוראות מערכת מספקות למודל הנחיות ישירות לגבי התנהגות מועדפת ונושאים שכדאי להימנע מהם.
- מסנני תוכן מאפשרים להגדיר ספים ספציפיים לסוגים נפוצים של נזק.
- Gemini כמסנן מציע נקודת ביקורת מתקדמת וניתנת להתאמה אישית לבעיות בטיחות מורכבות או ניואנסיות, שאולי לא זוהו בשכבות הקודמות או שדורשות הערכה מודעת-הקשר.
- Sensitive Data Protection מתייחס באופן ספציפי לסיכון הקריטי של דליפת מידע אישי רגיש, במקרה שלמודל יש גישה למידע אישי רגיש. היא גם מאפשרת ליצור רשימות חסימה בהתאמה אישית.
- הגנה מוגברת על המודל מספקת הגנה ברמה ארגונית מפני החדרת פרומפטים ופריצות, פגיעות בתוכן, חשיפה של מידע אישי רגיש וזיהוי של תוכנות זדוניות.
- Content Credentials מוסיף מטא-נתונים של C2PA עם חתימה מוצפנת לתמונות שנוצרו באמצעות מודל התמונות Gemini 3 Pro, כדי לציין שהן נוצרו על ידי AI ולספק היסטוריה שניתנת לאימות של המקור שלהן.
כלי בטיחות שזמינים ב-Agent Platform for Gemini
Agent Platform מציעה כמה כלים לניהול הבטיחות של מודלים של Gemini. הבנה של אופן הפעולה של כל אחד מהם, השיקולים שלהם ותרחישי השימוש האידיאליים שלהם תעזור לכם לבנות פתרון בטיחות מותאם.
| גישה | איך זה עובד | הגנה מסופקת | הסיכונים | מתי משתמשים |
|---|---|---|---|---|
| הגדרות ברירת מחדל: Gemini + מסננים שלא ניתן להגדיר | המודלים של Gemini מתוכננים מראש עם דגש על בטיחות והוגנות, גם כשהם נתקלים בהנחיות שנועדו לבלבל. Google השקיעה בהערכות בטיחות מקיפות, כולל הערכות של הטיה ורעילות. הגדרות ברירת המחדל כוללות שכבת הגנה עצמאית שנועדה למנוע יצירה של תוכן שקשור לתוכן ויזואלי של התעללות מינית בילדים (CSAM) או לתוכן מוגן בזכויות יוצרים (הקראה). | הגנה בסיסית מפני תוכן שמתאר התעללות מינית בילדים (CSAM) וזכויות יוצרים (הקראה) | יכול להיות שהגדרות הבטיחות שמוגדרות כברירת מחדל ב-Gemini לא מתאימות לצרכים של הארגון שלכם. יכול להיות שהמודל יפיק הזיות או לא יפעל לפי ההוראות. תוקפים נחושים עדיין יכולים לבצע פריצות Jailbreak והחדרת פרומפטים | תהליכי עבודה שלא צפוי בהם קלט זדוני |
| מסננים שניתנים להגדרה |
מסנני התוכן המובנים של Gemini מספקים הגנה נוספת מפני קטגוריות שונות של תוכן מזיק, כמו תוכן מיני, דברי שטנה, הטרדה או תוכן מסוכן. אתם יכולים להגדיר ספי חסימה לכל קטגוריה של תוכן מזיק (לדוגמה, BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE, BLOCK_ONLY_HIGH) על סמך ההסתברות ו/או חומרת התוכן המזיק. השכבות האלה נפרדות מהמודל, ולכן הן חסינות מפני פריצות.
|
מערכת חזקה נגד הפרות בקטגוריות מוגדרות מראש, רגישות שניתנת להתאמה | אין אפשרות להתאמה אישית מעבר להגדרות הסף לקטגוריות מוגדרות מראש. יכול להיות שהמערכת תחסום מדי פעם תוכן לא מזיק (תוצאות חיוביות כוזבות) או תפספס תוכן מזיק (תוצאות שליליות כוזבות). האפשרות הזו זמינה רק לסינון תגובות, ולא לסינון הנחיות. | לספק רמת בטיחות בסיסית לאפליקציות או לסוכנים שפונים למשתמשים. אם המטרה שלכם היא לוודא שהתוכן והמותג בטוחים, כדאי לשלב בין מסנני תוכן לבין הוראות מערכת. |
| הוראות מערכת | אתם יכולים לתת למודל הנחיות לגבי המותג שלכם והנחיות לבטיחות תוכן באמצעות הוראות מערכת או מבואות. לדוגמה, אתם יכולים להנחות את המודל "לא לענות על שאלות שקשורות לפוליטיקה" או להקפיד על הנחיות ספציפיות לגבי סגנון וטון של המותג. הוראות המערכת מנחות ישירות את התנהגות המודל. | אפשר להתאים אישית את ההגדרות כדי להגן על התוכן או על המותג, והן יכולות להיות יעילות מאוד. | יכול להיות שהמודל יפיק הזיות או לא יפעל לפי ההוראות. תוקפים נחושים עדיין יכולים לבצע פריצות והחדרת פרומפטים | אפליקציות או סוכנים שנדרשים לפעול בהתאם להנחיות מותג ספציפיות או למדיניות תוכן מורכבת. אם המטרה שלכם היא להבטיח את בטיחות התוכן והמותג, כדאי לשלב בין הוראות למערכת לבין מסנני תוכן. |
| Sensitive Data Protection לרשימות חסימה בהתאמה אישית |
DLP API יכול לבדוק טקסט כדי לזהות ולסווג מידע רגיש על סמך מגוון רחב של גלאי מידע מוגדרים מראש ומותאמים אישית.
אחרי שהמערכת מזהה את המידע, היא יכולה להחיל עליו טכניקות להסרת פרטי הזיהוי, כמו צנזור, התממה (אנונימיזציה) או טוקניזציה. אפשר גם להשתמש ב-DLP API כדי לחסום מילות מפתח.
הגנה על קלט: לפני ששולחים הנחיות או נתונים של משתמשים אל Gemini, אפשר להעביר את הטקסט דרך DLP API כדי לצנזר או להסתיר מידע רגיש. כך נמנע מצב שבו המודל מעבד או מתעד מידע אישי רגיש. הגנה על הפלט: אם יש סיכון ש-Gemini יפיק או יחשוף בטעות מידע רגיש (למשל, אם הוא מסכם מסמכי מקור שמכילים פרטים אישיים מזהים), אפשר לסרוק את הפלט של המודל באמצעות DLP API לפני שהוא נשלח למשתמש. |
סינון חזק של מילים גסות או מילים מותאמות אישית. סינון חזק של מידע אישי רגיש. | מוסיף זמן אחזור. יכול לגרום לחסימת יתר. | Sensitive Data Protection לסוכנים שיש להם גישה למידע אישי רגיש. |
| הגנה מוגברת על המודל | Model Armor הוא Google Cloud שירות שנועד לשפר את האבטחה והבטיחות של אפליקציות ה-AI שלכם. הוא פועל על ידי סינון פרואקטיבי של הנחיות ותשובות של LLM, ומגן מפני סיכונים שונים. כך הוא מבטיח שיטות לפיתוח אחראי של AI. בין אם אתם פורסים AI ב- Google Cloud או בספקי ענן אחרים, הגנה מוגברת על המודל יכול לעזור לכם למנוע קלט זדוני, לאמת את בטיחות התוכן, להגן על מידע אישי רגיש, לשמור על תאימות ולאכוף את מדיניות הבטיחות והאבטחה של ה-AI באופן עקבי בכל אפליקציות ה-AI שלכם. | סינון של החדרת פרומפטים ופריצת Jailbreak, מסנני תוכן, הגנה על מידע רגיש, זיהוי תוכנות זדוניות וגלישה בטוחה. | עלות וזמן אחזור. | מוצר בתשלום ללקוחות עם צרכים של ארגונים גדולים. |
| Gemini כמסנן | אתם יכולים להשתמש ב-Gemini כדי לסנן הנחיות ותשובות עבור הסוכן או האפליקציה שלכם. התהליך כולל ביצוע קריאה שנייה למודל Gemini מהיר וחסכוני (כמו Gemini Flash או Flash-Lite) כדי להעריך אם הקלט ממשתמש או מכלי, או הפלט ממודל Gemini הראשי, בטוח. מודל המסנן מקבל הוראות להחליט אם התוכן בטוח או לא בטוח על סמך המדיניות שהגדרתם, כולל בטיחות תוכן, הגנה על המותג וחוסר התאמה של הסוכן. המודל הזה מציע הגנה חזקה וניתנת להתאמה אישית מפני הפרות של בטיחות תוכן, בעיות שקשורות לבטיחות המותג, סחף מודלים והזיות. הוא יכול לנתח טקסט, תמונות, סרטונים ואודיו כדי לספק הבנה הוליסטית. | חזק מאוד וניתן להתאמה אישית להגנה על תוכן/מותג, סחף, הזיות; הבנה מולטי-מודאלית. | עלות נוספת וזמן אחזור. יש סיכוי נמוך מאוד לתוצאות שליליות כוזבות. | אפשר לספק רמת בטיחות מותאמת אישית לאפליקציות או לסוכנים שפונים למשתמשים. |
| גישה משולבת: מסננים שניתנים להגדרה + הוראות מערכת + הגנה על מידע רגיש + Gemini כמסנן | משלב כמה שכבות הגנה: השמטת נתוני קלט ופלט באמצעות Sensitive Data Protection, הוראות מערכת להנחיות בנושא מותג ונושא, מסנני בטיחות שניתנים להגדרה לנזקים מוגדרים מראש ובדיקה משנית באמצעות Gemini כמסנן. | חזק מאוד וניתן להתאמה אישית להגנה על תוכן/מותג, סחף, הזיות; הבנה מולטי-מודאלית. | עלות נוספת וזמן אחזור. | לספק רמת בטיחות גבוהה לאפליקציות או לסוכנים שפונים למשתמשים, במיוחד במקרים שבהם צפוי שימוש זדוני או שימוש לרעה. |
| Content Credentials (C2PA) | במודלים נתמכים, Gemini Enterprise Agent Platform מוסיף באופן אוטומטי Content Credentials חתומים קריפטוגרפית לתמונות שנוצרו, כדי לציין שהן נוצרו על ידי AI ולספק היסטוריה ניתנת לאימות של המקור שלהן בהתאם לתקן C2PA. מידע נוסף מופיע במאמר בנושא אישורי תוכן. | שקיפות לגבי מקור התוכן; עוזר למשתמשים לזהות תמונות שנוצרו על ידי AI. | שימוש בכלים שלא עומדים בדרישות עלול לפגוע באותנטיות של הקובץ; לא מבטיח את מהימנות מקור המדיה. | תרחישי שימוש ביצירת מדיה, שבהם שקיפות לגבי המקור וההיסטוריה של הקובץ חשובה לאמון המשתמשים. |
הערכת בטיחות מתמשכת
הערכת בטיחות מתמשכת היא חיונית למערכות AI. השיטות לשימוש לרעה ב-AI משתנות כל הזמן, ולכן חשוב לבצע את ההערכות האלה.
לביצוע הערכות באופן קבוע יש כמה יתרונות מרכזיים. הם עוזרים לכם לזהות נקודות פגיעות, להעריך את האפקטיביות של אמצעי המיגון, להתאים את עצמכם לסיכונים משתנים, לוודא התאמה למדיניות ולערכים, לבנות אמון ולשמור על תאימות.
כדי ליהנות מהיתרונות האלה, אתם יכולים לבצע סוגים שונים של הערכות:
- הערכות פיתוח
- הערכות של רמת הוודאות
- צוות אדום
- הערכות חיצוניות
- בדיקות השוואה לשוק
היקף הבדיקה צריך לכלול כמה תחומים קריטיים:
- בטיחות בנוגע לתוכן
- הגנה על המותג
- רלוונטיות
- הטיה והוגנות
- אמינות
- עמידות בפני מתקפות זדוניות
כלים כמו שירות ההערכה של AI גנרטיבי בפלטפורמת הסוכנים יכולים לעזור במאמצים האלה. חשוב לזכור ששיפורים איטרטיביים, שמבוססים על ממצאי ההערכה, חיוניים לפיתוח אתיקה של בינה מלאכותית.
המאמרים הבאים
מדיניות
סקירה כללית על האופן שבו אדמינים של אבטחה יכולים להגדיר, להחיל ולנהל מדיניות שקובעת את האינטראקציות של הסוכן.
הערכת הסוכנים
יצירה ופריסה של סוכן בסיסי ושימוש בשירות ההערכה של AI גנרטיבי כדי להעריך את הסוכן