פלטפורמת הסוכנים של Gemini Enterprise כוללת מסווג בטיחות שמסנן בקשות לכל המודלים של Anthropic שמתארחים בפלטפורמה, שעשויים להכיל תמונות שכוללות תוכן שמתאר התעללות מינית בילדים (CSAM). מסווג הבטיחות של Gemini Enterprise Agent Platform לזיהוי חומרים חשודים של התעללות מינית בילדים (CSAM) נפרד מהמסננים של מהימנות ובטיחות (T&S) שמגיעים ישירות עם המודלים של Anthropic.
במסמך הזה מוסבר אילו חלקים בבקשה ובתגובה מסוננים על ידי מסווג הבטיחות של CSAM, ומה קורה כשהמסווג חוסם בקשה.
מסנני הבטיחות והתוכן פועלים כמחסום למניעת פלט מזיק, אבל הם לא משפיעים ישירות על התנהגות המודל. מידע נוסף על יכולת ההכוונה של מודלים
הנחיות לא בטוחות
מסווג ה-CSAM החשוד מסנן רק את התמונות בבקשות למודלים של Anthropic ב-Gemini Enterprise Agent Platform. המסווג של CSAM החשוד לא מסנן את הפלט של המודל.
בקשות שמפעילות את המסווג של חומרים חשודים של התעללות מינית בילדים נחסמות ומוחזר קוד הסטטוס 200 של HTTP עם ההודעה הבאה:
{
"promptFeedback": {
"blockReason": "PROHIBTED_CONTENT"
}
}
אם המסווג חוסם את הבקשה, זרם הבקשה מבוטל ומוחזרת ההודעה הבאה:
"event": "vertex-block-event",
"data": {"promptFeedback": {"blockReason": "PROHIBITED_CONTENT"}}
זמינות המיקום
המסווג לזיהוי חומרים חשודים של התעללות מינית בילדים זמין בכל האזורים הנתמכים.