מעקב אחרי אבטחת התוכן

תצוגה מקדימה – תובנות לגבי הגנה מוגברת על המודל

השימוש בתכונה הזו כפוף לתנאי השימוש במוצרים בגרסת טרום-GA, שמפורטים בחלק "תנאי שירות הכלליים" בתנאים הספציפיים של השירות. השימוש בתכונות בגרסת טרום-GA הוא "כפי שהן" (As is), ויכול להיות שהתמיכה בהן תהיה מוגבלת. מידע נוסף זמין בקטע תיאור שלבי ההשקה.

במאמר הזה מוסבר איך לצפות בתובנות לגבי אבטחת תוכן מ-Model Armor עבור סוכני AI נתמכים.

‫הגנה מוגברת על המודל סורק את הבקשות והתשובות כדי לזהות סיכוני אבטחה, כמו התקפות עקיפות של החדרת פרומפטים, דליפת מידע אישי רגיש ויצירה או הצגה של תוכן פוגעני. מידע נוסף זמין במאמר בנושא הגנה מוגברת על המודל.

אפשר לראות את התוצאות של פעולות הגנה מוגברת על המודל ברמות הבאות:

• תצוגה ברמה העליונה: תובנות לגבי כל סוכני ה-AI הנתמכים בפרויקט
• תצוגה ברמת הסוכן: תובנות לגבי סוכן AI יחיד

לפני שמתחילים

נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

Enable the Model Armor API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

Enable the Model Armor API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. מגדירים את הגנה מוגברת על המודל בשער אחד או יותר בפרויקט.
2. כדי לעקוב אחרי סוכנים שמתקשרים עם שרת MCP Google Cloud , צריך להגדיר את Model Armor עם שרתי MCP.
3. הגדרת מעקב לסוכן.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לכם כדי לעקוב אחרי הפרות של אבטחת התוכן, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• גישה לתצוגת יכולת התבוננות (roles/observability.viewAccessor)
• משתמש עם הרשאת ניתוח נתוני Observability (roles/observability.analyticsUser)
• כלי הצפייה ביומנים (roles/logging.viewer)
• בעל הרשאת גישה לתצוגת יומנים (roles/logging.viewAccessor)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי לעקוב אחרי הפרות של אבטחת תוכן. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לעקוב אחרי הפרות של אבטחת תוכן, נדרשות ההרשאות הבאות:

• monitoring.monitoredResourceDescriptors.list
• monitoring.metricDescriptors.list

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

סוכנים נתמכים

בכרטיסייה אבטחה מוצגות תובנות לגבי הגנה מוגברת על המודל רק לסוכנים הבאים:

• סוכנים שנפרסו ב-Agent Runtime ומנוהלים על ידי שער שבו מוגדרת הגנה מוגברת על המודל.
• סוכנים שנפרסו ב-Agent Runtime ומתקשרים עם שרתGoogle Cloud MCP.
• סוכנים שנפרסו ב-Agent Runtime בפרויקט שבו הוגדרו הגדרות מינימום של Model Armor.

צפייה בתובנות לגבי תוכן של סוכני AI נתמכים בפרויקט (תצוגה ברמה העליונה)

כדי לראות את התובנות לגבי אבטחת התוכן של כל סוכני ה-AI הנתמכים בפרויקט, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לכרטיסייה Security ב-Gemini Enterprise Agent Platform.

   מעבר אל "אבטחה"

2. בוחרים את הפרויקט הרצוי.

אם לא מופיעים תובנות לגבי אבטחת תוכן בכרטיסייה אבטחה ויש לכם סוכני AI נתמכים בפרויקט, צריך לוודא שהגדרתם מעקב אחר הסוכנים.

צפייה בתובנות לגבי תוכן של סוכן AI (תצוגה ברמת הסוכן)

כדי לראות את התובנות לגבי אבטחת התוכן של סוכנים נתמכים, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , נכנסים אל Agent Registry.

   כניסה ל-Agent Registry

2. בוחרים את הפרויקט הרצוי.
3. לוחצים על השם של הסוכן.
4. לוחצים על הכרטיסייה אבטחה.

הצגת מספר האינטראקציות שסומנו או נחסמו

עוברים לכרטיסייה אבטחה ברמת העל או ברמת הסוכן.

בכרטיסייה אבטחה, אפשר לראות את מספר האינטראקציות, כולל אינטראקציות שסומנו ואינטראקציות שנחסמו. בכרטיסייה אבטחה מוצגים המדדים הבאים:

• סך כל האינטראקציות: המספר הכולל של ההנחיות והתשובות שמנותחות על ידי Model Armor.
• אינטראקציות שסומנו: מספר האינטראקציות שהפרו מדיניות שהוגדרה בתבנית הגנה מוגברת על המודל או בהגדרות אבטחה מינימליות.
• אינטראקציות שנחסמו: מספר האינטראקציות שנחסמו אם הגדרתם את הגנה מוגברת על המודל במצב INSPECT_AND_BLOCK. האינטראקציות החסומות האלה הפרו את הגדרות אבטחה מינימליות או את התבניות.

הערה: כשמגדירים את הגנה מוגברת על המודל במצב INSPECT_ONLY, הפרות מתועדות ביומן, אבל הבקשות מועברות למודל. במצב הזה, אפשר לבדוק אילו פעולות הגנה מוגברת על המודל עשוי לבצע, ומכיוון שהבקשות לא נחסמות, אפשר גם לבדוק אם המודל דחה את הבקשה באופן עצמאי. צריך לבדוק את רשומות SanitizeOperationLogEntry ב-Cloud Logging ולא רק את גוף התגובה.

מעקב אחרי הפרות של אבטחת תוכן

עוברים לכרטיסייה אבטחה ברמת העל או ברמת הסוכן.

בתרשים הפרות לאורך זמן, אפשר לעקוב אחרי מספר ההפרות שזוהו לאורך זמן.

ההפרות שזוהו מסווגות לתחומים הבאים:

• החדרת הנחיות ופריצות: הפרות תוכן שמצביעות על נוכחות של הנחיות שמכילות פקודות זדוניות או ניסיונות פריצה. מידע נוסף זמין במאמר בנושא החדרת פרומפטים וזיהוי פריצה.
• כתובת URL זדונית: הפרות של מדיניות התוכן שמצביעות על נוכחות של כתובות URL זדוניות. מידע נוסף זמין במאמר בנושא זיהוי כתובות URL זדוניות.
• אתיקה של בינה מלאכותית: הפרות תוכן שמזוהות על ידי מסנני בטיחות, כמו הטרדה ודברי שטנה. רשימה מלאה של קטגוריות של אתיקה של בינה מלאכותית מופיעה במאמר מסנן הבטיחות של AI אחראי.
• נתונים רגישים: הפרות תוכן שקשורות לנוכחות של סוגי מידע רגיש או סוגי מידע בהתאמה אישית שהגדרתם. מידע נוסף זמין במאמר Sensitive Data Protection.
  הערה: הספירות של הפרות שקשורות לתוכן של מידע אישי רגיש נכללות בספירה הכוללת של ההפרות, אבל הן לא מוצגות בקטגוריה נפרדת.

מידע נוסף על הגלאים האלה זמין במאמר מסנני Model Armor.

זיהוי הסוכנים עם הכי הרבה הפרות

עוברים לכרטיסייה אבטחה ברמה העליונה.

בכרטיסייה אבטחה מוצגים 10 הסוכנים המובילים עם הכי הרבה הפרות. ברשימה מוצג מזהה הנציג של כל נציג ומספר ההפרות שזוהו אצל הנציג הזה.

כדי לראות את התובנות של הגנה מוגברת על המודל לגבי סוכן ספציפי ברשימה, עוברים אל Agent Registry ומחפשים את הסוכן לפי מזהה הסוכן. אחרי כן, עוברים לכרטיסייה Security (אבטחה) ברמת הסוכן.

כניסה ל-Agent Registry

הרצת שאילתות וניתוח של נתוני טלמטריה באמצעות SQL

כדי לשלוח שאילתות ולנתח נתוני טלמטריה מ-Model Armor, משתמשים ב-Observability Analytics, שמספק ממשק שאילתות מבוסס-SQL.

1. עוברים לכרטיסייה אבטחה ברמה העליונה.
2. בתצוגה שרוצים להריץ עליה שאילתה, לוחצים על אפשרויות נוספות של התרשים > ניתוח ב-Observability Analytics.

הוראות כלליות לשימוש ב-Observability Analytics מפורטות במאמר שאילתה וניתוח של טלמטריה באמצעות Observability Analytics.

הורדת נתוני ההפרות לקובץ PNG או CSV

כדי להוריד נתוני הפרות לקובץ PNG או CSV, פועלים לפי השלבים הבאים:

1. בתצוגה הפרות לאורך זמן בכרטיסייה אבטחה, בוחרים את התקופה שעבורה רוצים להוריד את הנתונים.
2. לוחצים על אפשרויות נוספות של תרשים > הורדה.
3. לוחצים על הורדת PNG או על הורדת CSV כדי להוריד את הנתונים בפורמט הרצוי.

צפייה ברשומות לא מובנות של יומני אבטחה ב-Logs Explorer

כדי להריץ שאילתות על רשומות של יומני אבטחה בפורמט טקסט גולמי ב-Logs Explorer, אפשר להשתמש בשדה logName כדי לחפש תוצאות של תוכן שעבר ניקוי על ידי Model Armor.

כדי לשלוח שאילתות ליומנים האלה:

1. נכנסים לדף Logs Explorer במסוף Google Cloud .

   כניסה לדף Logs Explorer

2. לוחצים על המתג Show query.

3. מדביקים את הטקסט הבא בשדה השאילתה:

   logName="projects/PROJECT_ID/logs/modelarmor.googleapis.com%2Fsanitize_operations"
   

   מחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud .

4. לוחצים על Run query.

מידע נוסף על ההשפעה של מסנני רישום ביומן וחלונות רענון על התוצאות מופיע בקטע אזהרה לגבי רענון היומן בדף המעקב אחר שערים.

המאמרים הבאים

מדריך

יומן ביקורת של הגנה מוגברת על המודל

מידע על כתיבה ביומני ביקורת ל-Model Armor

מדריך

הגדרת רישום ביומן עבור הגנה מוגברת על המודל

איך מגדירים רישום ביומן עבור Model Armor

פתרון בעיות

פתרון בעיות שקשורות להגנה מוגברת על המודל

איך לפתור בעיות ב-Model Armor