בטיחות ב-Gemini Enterprise Agent Platform

מודלים של AI גנרטיבי כמו Gemini דורשים אמצעי בטיחות חזקים כדי לצמצם סיכונים כמו יצירת תוכן פוגעני, דליפת מידע רגיש או שימוש לרעה. Google CloudGemini Enterprise Agent Platform מספקת חבילה של כלים ושיטות להטמעת בטיחות הוליסטית במודלים של Gemini.

סיכוני בטיחות פוטנציאליים ואסטרטגיות לצמצום סיכונים

כשפורסים מודלים של Gemini, חשוב לזהות סיכונים פוטנציאליים שונים ולצמצם אותם. גישה יזומה להבנת הסיכונים האלה מאפשרת ליישם אמצעי בטיחות בצורה יעילה יותר. גישה רב-שכבתית לבטיחות היא קריטית, כי היא יכולה לצמצם או למנוע:

• סיכונים שקשורים לתוכן: למשל, תוכן מזיק, שפה גסה, מיניות, אלימות ושפיכות דמים.
• סיכונים לבטיחות המותג: התוכן שנוצר עלול לא להתאים לסגנון או לערכים של המותג, לקדם מתחרים או מוצרים לא הולמים, או לגרום נזק למוניטין.
• סיכונים שקשורים להתאמה: התוכן שנוצר עלול להיות לא רלוונטי או לא מדויק.
• סיכוני אבטחה ופרטיות: תוכן שנוצר על ידי AI עלול להדליף נתוני אימון או הנחיות רגישים, או שמשתמשים עוינים עלולים לנסות לאלץ את המודל לעקוף פרוטוקולי בטיחות או להתנהג בדרכים לא מכוונות.

המודלים שלנו כוללים תכונות שונות שנועדו לטפל בבעיות הפוטנציאליות האלה:

• המודל שמוגדר כברירת מחדל והמסננים שלא ניתנים להגדרה מספקים רשת ביטחון כללית.
• הוראות מערכת מספקות למודל הנחיות ישירות לגבי ההתנהגות המועדפת ונושאים שכדאי להימנע מהם.
• מסנני תוכן מאפשרים להגדיר ערכי סף ספציפיים לסוגי פגיעה נפוצים.
• ‫Gemini כמסנן הוא נקודת בקרה מתקדמת וניתנת להתאמה אישית לבעיות בטיחות מורכבות או מרומזות, שעלולות להתפספס בשכבות הקודמות או שדורשות הערכה עם יותר מודעות להקשר.
• הגנה מוגברת על המודל מספקת הגנה ברמה שמתאימה לארגונים מפני החדרת פרומפטים ופריצות, תוכן פוגעני, הגנה על מידע רגיש, זיהוי תוכנות זדוניות וגלישה בטוחה.
• DLP מתייחס באופן ספציפי לסיכון הקריטי של דליפת מידע אישי רגיש, במקרה שלמודל יש גישה למידע אישי רגיש. הוא גם מאפשר ליצור רשימות חסימה בהתאמה אישית.
• ‫Content Credentials מוסיף מטא-נתונים של C2PA עם חתימה קריפטוגרפית לתמונות שנוצרו באמצעות מודל Gemini 3 Pro Image. המטא-נתונים האלה מציינים שהתמונות נוצרו על ידי AI ומספקים היסטוריה ניתנת לאימות של המקור שלהן.

כלי הבטיחות שזמינים ב-Gemini Enterprise Agent Platform ל-Gemini

ב-Gemini Enterprise Agent Platform יש כמה כלים לניהול הבטיחות של המודלים של Gemini. כדי ליצור פתרון בטיחות מותאם אישית, חשוב להבין איך כל אחד מהם פועל, מהם השיקולים שצריך לקחת בחשבון ומתי הכי כדאי להשתמש בהם.

גישה	איך זה עובד	ההגנה שניתנת	הסיכונים	מתי משתמשים
הגדרות ברירת המחדל: Gemini + מסננים שלא ניתנים להגדרה	המודלים של Gemini מתוכננים באופן מובנה תוך התחשבות בבטיחות ובהוגנות, גם כשהם נתקלים בהנחיות זדוניות. ‫Google השקיעה בהערכות בטיחות מקיפות, כולל הערכות לגבי הטיה ורעילות. הגדרות ברירת המחדל כוללות שכבת הגנה עצמאית שנועדה למנוע יצירת תוכן שקשור לתוכן ויזואלי של התעללות מינית בילדים (CSAM) או לתוכן שמוגן בזכויות יוצרים (הקראה).	הגנה בסיסית מפני תוכן ויזואלי של התעללות מינית בילדים (CSAM) והפרת זכויות יוצרים (דקלום)	יכול להיות שהגדרות הבטיחות שמוגדרות כברירת מחדל ב-Gemini לא מתאימות לצרכים של הארגון שלכם. המודל עלול להזות או לא לפעול לפי ההוראות. תוקפים עם מוטיבציה עדיין יכולים להצליח לפרוץ את המערכת ולהחדיר פרומפטים	תהליכי עבודה שלא צפוי בהם קלט זדוני
מסננים שניתן להגדיר	מסנני התוכן המובנים של Gemini מספקים הגנה נוספת מפני קטגוריות שונות של תוכן פוגעני, כמו תוכן מיני, דברי שטנה, הטרדה או תוכן מסוכן. אתם יכולים להגדיר סף חסימה לכל קטגוריית פגיעה (למשל, BLOCK_LOW_AND_ABOVE, BLOCK_MEDIUM_AND_ABOVE, BLOCK_ONLY_HIGH) על סמך הסבירות ו/או החומרה של התוכן הפוגעני. הן שכבה נפרדת מהמודל, ולכן הן עמידות בפני פריצות.	עמידות בפני הפרות בקטגוריות מוגדרות מראש, רגישות ניתנת להתאמה	אין אפשרות להתאמה אישית מדויקת מעבר להגדרות הסף של קטגוריות מוגדרות מראש. יכול להיות שלפעמים הוא יחסום תוכן לא מזיק (תוצאות חיוביות כוזבות) או יפספס תוכן מזיק (תוצאות שליליות כוזבות). האפשרות הזו זמינה רק לסינון תשובות, ולא לסינון הנחיות.	לספק רמת בטיחות בסיסית לאפליקציות או לסוכנים שגלויים למשתמשים. אם המטרה שלכם היא להבטיח שהתוכן יהיה בטוח לפרסום מותגים, כדאי לשלב מסנני תוכן עם הוראות למערכת.
הוראות מערכת	אתם יכולים להנחות את המודל לגבי המותג וההנחיות לבטיחות התוכן באמצעות הוראות מערכת או הוראות מקדימות. לדוגמה, אתם יכולים להורות למודל "לא לענות על שאלות שקשורות לפוליטיקה" או לפעול לפי הנחיות ספציפיות לגבי הקול והטון של המותג. הוראות המערכת מנחות ישירות את ההתנהגות של המודל.	אפשר להתאים אותן אישית כדי להגן על התוכן או על המותג, והן יכולות להיות יעילות מאוד.	המודל עלול להזות או לא לפעול לפי ההוראות. תוקפים עם מוטיבציה עדיין יכולים לפרוץ את המערכת ולהחדיר פרומפטים	אפליקציות או סוכנים שצריכים לפעול לפי הנחיות ספציפיות של ספר מותג או מדיניות תוכן מורכבת. אם המטרה היא להבטיח את בטיחות התוכן והמותג, צריך לשלב את ההוראות למערכת עם מסנני תוכן.
Model Armor	הגנה מוגברת על המודל היא שירות של Google Cloud שנועד לשפר את האבטחה והבטיחות של אפליקציות ה-AI. הוא פועל באופן יזום כדי לסנן הנחיות ותשובות של מודלים גדולים של שפה (LLM), להגן מפני סיכונים שונים ולהבטיח שיטות לפיתוח אחראי של AI. לא משנה אם אתם פורסים את ה-AI ב- Google Cloud או אצל ספקי שירותי ענן אחרים, אתם יכולים להשתמש ב-Model Armor כדי למנוע קלט זדוני, לאמת את בטיחות התוכן, להגן על מידע אישי רגיש, לשמור על תאימות ולאכוף את מדיניות הבטיחות והאבטחה של ה-AI באופן עקבי בכל אפליקציות ה-AI שלכם.	סינון של החדרת פרומפטים ופריצת Jailbreak, מסנני תוכן, הגנה על מידע אישי רגיש, זיהוי תוכנות זדוניות וגלישה בטוחה.	עלות וזמן אחזור.	חבילה בתשלום ללקוחות עם צרכים ארגוניים.
DLP לרשימות חסימה בהתאמה אישית ולהגנה על מידע אישי רגיש (SDP)	‫DLP API יכול לבדוק טקסט כדי לזהות ולסווג מידע רגיש על סמך מגוון רחב של גלאי infoType מוגדרים מראש ומותאמים אישית. אחרי שהמידע מזוהה, אפשר להחיל עליו שיטות להסרת פרטי הזיהוי, כמו צנזור, התממה (אנונימיזציה) או טוקניזציה. אפשר להשתמש ב-DLP API גם כדי לחסום מילות מפתח. הגנה על הקלט: לפני ששולחים הנחיות או נתונים של משתמשים ל-Gemini, אפשר להעביר את הטקסט דרך DLP API כדי לצנזר או להסתיר מידע רגיש. כך המודל לא יעבד נתונים רגישים ולא יתעד אותם ביומן. הגנה על הפלט: אם יש סיכון ש-Gemini ייצור או יחשוף בטעות מידע רגיש (למשל, אם הוא מסכם מסמכי מקור שמכילים פרטים אישיים מזהים), אפשר לסרוק את הפלט של המודל באמצעות DLP API לפני שהוא נשלח למשתמש.	סינון יעיל של שפה גסה או מילים בהתאמה אישית. סינון חזק של מידע אישי רגיש.	מוסיף זמן אחזור. יכול לגרום לחסימת יתר.	הגנה מפני אובדן נתונים לסוכנים שיש להם גישה למידע אישי רגיש.
‫Gemini כמסנן	אתם יכולים להשתמש ב-Gemini כדי לסנן הנחיות ותשובות של הנציג או האפליקציה. כדי לעשות את זה, צריך לבצע קריאה שנייה למודל Gemini מהיר וחסכוני (כמו Gemini Flash או Flash Lite) כדי להעריך אם הקלט מהמשתמש או מהכלי, או הפלט מהמודל הראשי של Gemini, בטוחים. מודל הסינון מקבל הוראות להחליט אם התוכן בטוח או לא בטוח על סמך כללי המדיניות שהגדרת, כולל בטיחות התוכן, בטיחות המותג וחוסר התאמה של הנציג. הוא מציע הגנה חזקה וניתנת להתאמה אישית מפני הפרות של בטיחות התוכן, בעיות בבטיחות המותג, שינויים במודל והזיות, ויכול לנתח טקסט, תמונות, וידאו ואודיו כדי להבין את התוכן בצורה הוליסטית.	מודל חזק מאוד שניתן להתאמה אישית לבטיחות התוכן/המותג, לסטייה ולהזיה; הבנה מולטי-מודאלית.	עלות נוספת וזמן אחזור. סיכוי נדיר מאוד לתוצאות שליליות כוזבות.	הגדרת רמת בטיחות בהתאמה אישית לאפליקציות או לסוכנים שגלויים למשתמשים
גישה רב-שכבתית: מסננים שניתנים להגדרה + הוראות מערכת + DLP + Gemini כמסנן		יכולות חזקות במיוחד להתאמה אישית של בטיחות התוכן/המותג, סטייה, הזיה; הבנה מולטי-מודאלית	עלות נוספת וזמן אחזור.	לספק רמת בטיחות גבוהה לאפליקציות או לסוכנים שגלויים למשתמשים, במיוחד במקרים שבהם צפוי שימוש זדוני או עוין
‫Content Credentials של C2PA	במודלים נתמכים, Gemini Enterprise Agent Platform מוסיף באופן אוטומטי נתוני Content Credentials חתומים באופן קריפטוגרפי לתמונות שנוצרו על ידי AI, כדי לציין שהן נוצרו על ידי AI ולספק היסטוריה ניתנת לאימות של המקור שלהן בהתאם לתקן C2PA. מידע נוסף זמין במאמר בנושא נתוני Content Credentials.	שקיפות לגבי מקור התוכן, שעוזרת למשתמשים לזהות תמונות שנוצרו על ידי AI.	שימוש בכלים שלא עומדים בתקן עלול לפגוע באותנטיות של הקובץ, ולא מבטיח את המהימנות של מקור המדיה.	תרחישים לדוגמה של יצירת מדיה, שבהם השקיפות לגבי המקור וההיסטוריה של הקובץ חשובה לאמון המשתמשים.

הערכת בטיחות מתמשכת

חשוב מאוד לבצע הערכת בטיחות מתמשכת של מערכות AI, כי תחום ה-AI ושיטות השימוש לרעה מתפתחים כל הזמן. הערכות קבועות עוזרות לזהות נקודות חולשה, להעריך את יעילות ההשבתה הזמנית של אותות אכיפה, להתאים את עצמכם לסיכונים שמתפתחים, לוודא התאמה למדיניות ולערכים, לבנות אמון ולשמור על תאימות. כדי להשיג את המטרה הזו, אנחנו משתמשים בסוגים שונים של הערכות, כולל הערכות פיתוח, הערכות אבטחה, צוות אדום, הערכות חיצוניות ובדיקות השוואה. ההערכה צריכה לכלול את בטיחות התוכן, ההגנה על המותג, הרלוונטיות, ההטיה וההוגנות, האמינות והעמידות בפני מתקפות של יריבים. כלים כמו שירות ההערכה ל-AI גנרטיבי של Gemini Enterprise Agent Platform יכולים לעזור במאמצים האלה, ולהדגיש ששיפורים איטרטיביים שמבוססים על ממצאי ההערכה חיוניים לפיתוח אחראי של AI.