במאמר הזה מוסבר איך לצפות בתובנות לגבי אבטחת תוכן מ-Model Armor עבור סוכני AI נתמכים.
Model Armor סורק את הבקשות והתשובות כדי לזהות סיכוני אבטחה, כמו התקפות עקיפות של החדרת הנחיות, דליפת מידע אישי רגיש ויצירה או הצגה של תוכן פוגעני. מידע נוסף זמין במאמר בנושא הגנה מוגברת על המודל.
אפשר לראות את התוצאות של פעולות הגנה מוגברת על המודל ברמות הבאות:
- תצוגה ברמה העליונה: תובנות לגבי כל סוכני ה-AI הנתמכים בפרויקט
- תצוגה ברמת הסוכן: תובנות לגבי סוכן AI יחיד
לפני שמתחילים
- נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
Enable the Model Armor API.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.Enable the Model Armor API.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.- מגדירים את הגנה מוגברת על המודל בשער אחד או יותר בפרויקט.
- כדי לעקוב אחרי סוכנים שמתקשרים עם שרת Google Cloud MCP, מגדירים את הגנה מוגברת על המודל עם שרתי MCP.
- הגדרת מעקב לסוכן.
תפקיד נדרש
כדי לקבל את ההרשאות שדרושות לניטור הפרות של אבטחת תוכן, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:
- גישה לתצוגת יכולת התבוננות (
roles/observability.viewAccessor) - משתמש ב-Observability Analytics (
roles/observability.analyticsUser) - כלי הצפייה ביומנים (
roles/logging.viewer) - בעל הרשאת גישה לתצוגת יומנים (
roles/logging.viewAccessor)
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי לעקוב אחרי הפרות של אבטחת תוכן. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לעקוב אחרי הפרות של אבטחת תוכן, נדרשות ההרשאות הבאות:
-
monitoring.monitoredResourceDescriptors.list -
monitoring.metricDescriptors.list
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
נציגי תמיכה מתאימים
בכרטיסייה אבטחה מוצגות תובנות של הגנה מוגברת על המודל רק לגבי הסוכנים הבאים:
- סוכנים שנפרסו ב-Agent Runtime ומנוהלים על ידי שער שבו מוגדרת הגנה מוגברת על המודל.
- סוכנים שנפרסו ב-Agent Runtime ומתקשרים עם שרתGoogle Cloud MCP.
- סוכנים שנפרסו ב-Agent Runtime בפרויקט שבו הוגדרו הגדרות בסיסיות של Model Armor.
צפייה בתובנות לגבי תוכן של סוכני AI נתמכים בפרויקט (תצוגה ברמה העליונה)
כדי לראות את התובנות לגבי אבטחת התוכן של כל סוכני ה-AI הנתמכים בפרויקט, פועלים לפי השלבים הבאים:
- במסוף Google Cloud , עוברים לכרטיסייה Security של Gemini Enterprise Agent Platform.
- בוחרים את הפרויקט הרצוי.
אם לא רואים את התובנות לגבי אבטחת התוכן בכרטיסייה אבטחה ויש לכם סוכני AI נתמכים בפרויקט, צריך לוודא שהגדרתם מעקב אחר הסוכנים.
צפייה בתובנות לגבי תוכן של סוכן AI (תצוגה ברמת הסוכן)
כדי לראות את התובנות לגבי אבטחת התוכן של סוכנים נתמכים, פועלים לפי השלבים הבאים:
- במסוף Google Cloud , נכנסים אל Agent Registry.
- בוחרים את הפרויקט הרצוי.
- לוחצים על השם של נציג התמיכה.
- לוחצים על הכרטיסייה אבטחה.
הצגת מספר האינטראקציות שסומנו או נחסמו
עוברים לכרטיסייה אבטחה ברמת העל או ברמת הסוכן.
בכרטיסייה אבטחה, אפשר לראות את מספר האינטראקציות, כולל אינטראקציות שסומנו ואינטראקציות שנחסמו. בכרטיסייה אבטחה מוצגים המדדים הבאים:
- סה"כ אינטראקציות: המספר הכולל של ההנחיות והתשובות שמנותחות על ידי Model Armor.
- אינטראקציות שסומנו: מספר האינטראקציות שהפרו מדיניות שהוגדרה בתבנית הגנה מוגברת על המודל או בהגדרות אבטחה מינימליות.
- אינטראקציות שנחסמו: מספר האינטראקציות שנחסמו אם הגדרתם את הגנה מוגברת על המודל במצב
INSPECT_AND_BLOCK. האינטראקציות החסומות האלה הפרו את הגדרות אבטחה מינימליות או את התבניות.
מעקב אחרי הפרות של אבטחת תוכן
עוברים לכרטיסייה אבטחה ברמת העל או ברמת הסוכן.
בתרשים הפרות לאורך זמן, אפשר לעקוב אחרי מספר ההפרות שזוהו לאורך זמן.
ההפרות שזוהו מסווגות לתחומים הבאים:
- החדרת הנחיות ופריצות: הפרות תוכן שמצביעות על נוכחות של הנחיות שמכילות פקודות זדוניות או ניסיונות פריצה. מידע נוסף זמין במאמר בנושא החדרת פרומפטים וזיהוי פריצה.
- כתובת URL זדונית: הפרות של מדיניות התוכן שמצביעות על נוכחות של כתובות URL זדוניות. מידע נוסף זמין במאמר בנושא זיהוי כתובות URL זדוניות.
- אתיקה של בינה מלאכותית: הפרות תוכן שמזוהות על ידי מסנני בטיחות, כמו הטרדה ודברי שטנה. רשימה מלאה של קטגוריות של אתיקה של בינה מלאכותית מופיעה במאמר מסנן הבטיחות של AI אחראי.
- נתונים רגישים: הפרות תוכן שקשורות לנוכחות של סוגי מידע רגיש או סוגי מידע בהתאמה אישית שהגדרתם. מידע נוסף זמין במאמר Sensitive Data Protection.
מידע נוסף על הגלאים האלה זמין במאמר מסנני Model Armor.
זיהוי הסוכנים עם הכי הרבה הפרות
עוברים לכרטיסייה אבטחה ברמת העל.
בכרטיסייה אבטחה מוצגים 10 הסוכנים המובילים עם הכי הרבה הפרות. ברשימה מוצג מזהה הנציג של כל נציג ומספר ההפרות שזוהו אצל הנציג הזה.
כדי לראות את התובנות של הגנה מוגברת על המודל לגבי סוכן ספציפי ברשימה, עוברים אל Agent Registry ומחפשים את הסוכן לפי מזהה הסוכן. אחרי כן, עוברים לכרטיסייה Security (אבטחה) ברמת הסוכן.
הרצת שאילתות וניתוח של נתוני טלמטריה באמצעות SQL
כדי לשלוח שאילתות ולנתח נתוני טלמטריה מ-Model Armor, משתמשים ב-Observability Analytics, שמספק ממשק שאילתות מבוסס-SQL.
- עוברים לכרטיסייה אבטחה ברמת העל.
- בתצוגה שרוצים להריץ עליה שאילתה, לוחצים על אפשרויות נוספות של התרשים > ניתוח ב-Observability Analytics.
הוראות כלליות לשימוש ב-Observability Analytics מפורטות במאמר שאילתה וניתוח של טלמטריה באמצעות Observability Analytics.
הורדת נתוני ההפרות לקובץ PNG או CSV
כדי להוריד נתוני הפרות לקובץ PNG או CSV, פועלים לפי השלבים הבאים:
- בתצוגה הפרות לאורך זמן בכרטיסייה אבטחה, בוחרים את התקופה שעבורה רוצים להוריד את הנתונים.
- לוחצים על אפשרויות נוספות של תרשים > הורדה.
- לוחצים על הורדת PNG או על הורדת CSV כדי להוריד את הנתונים בפורמט המועדף.