Model Armor בודק את ההנחיות והתשובות של אפליקציות ה-AI שלכם. לוח הבקרה של המעקב מספק לכם את הנתונים, המדדים וההצגות החזותיות שנוצרו בתהליך הסינון הזה. התובנות האלה עוזרות להבין איך Model Armor מגן על אפליקציות ה-AI ומזהה ניסיונות להחדרת הנחיות או פעילויות זדוניות אחרות.
לפני שמתחילים
תפקיד נדרש
כדי לקבל את ההרשאות שנדרשות לגישה ללוח הבקרה של מעקב, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM Monitoring Viewer (roles/monitoring.viewer) בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
זהו תפקיד מוגדר מראש עם ההרשאות שנדרשות לגישה ללוח הבקרה של המעקב. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לגשת ללוח הבקרה של המעקב, נדרשות ההרשאות הבאות:
-
monitoring.monitoredResourceDescriptors.list -
monitoring.metricDescriptors.list
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
הצגת לוח הבקרה למעקב
נכנסים לדף הגנה מוגברת על המודל במסוף Google Cloud .
מוודאים שאתם צופים בפרויקט שבו הפעלתם את הגנה מוגברת על המודל.
עוברים לכרטיסייה מעקב.
מעקב אחרי השימוש ב-Model Armor והביצועים שלו
כדי לעקוב אחרי השימוש ב-Model Armor והביצועים שלו בפירוט, אפשר להשתמש בסוגי המדדים הספציפיים שזמינים ב-Cloud Monitoring. אלה סוגי המדדים שזמינים:
-
modelarmor.googleapis.com/template/request_count: מספר הבקשות ל-SanitizeAPI -
modelarmor.googleapis.com/template/pi_jb_request_count: מספר המסננים של החדרה פרומפטים ופריצת Jailbreak modelarmor.googleapis.com/template/rai_request_count: מספר המסננים של אתיקה של בינה מלאכותית-
modelarmor.googleapis.com/template/sdp_request_count: מספר המסננים של Sensitive Data Protection modelarmor.googleapis.com/template/malicious_uri_request_count: מספר הסינונים של URI זדוני-
modelarmor.googleapis.com/template/used_token_count: כמות טוקנים בשימוש
מידע נוסף זמין במאמר סוגי מדדים של הגנה מוגברת על המודל.
הצגת מספר האינטראקציות שסומנו או נחסמו
במרכז הבקרה של המעקב אפשר לראות את מספר האינטראקציות, כולל אינטראקציות שסומנו ואינטראקציות שנחסמו. במרכז הבקרה של המעקב מוצגים המדדים הבאים:
- סך כל האינטראקציות: המספר הכולל של ההנחיות והתשובות שמנותחות על ידי Model Armor.
- אינטראקציות שסומנו: מספר האינטראקציות שהפרו מדיניות שהוגדרה בתבנית הגנה מוגברת על המודל או בהגדרות אבטחה מינימליות.
- אינטראקציות שנחסמו: מספר האינטראקציות שנחסמו אם הגדרתם את הגנה מוגברת על המודל במצב
INSPECT_AND_BLOCK. האינטראקציות החסומות האלה הפרו את הגדרות אבטחה מינימליות או את התבניות.
מעקב אחרי הפרות של אבטחת תוכן
בתרשים הפרות לאורך זמן, אפשר לעקוב אחרי מספר ההפרות שזוהו לאורך זמן.
ההפרות שזוהו מסווגות לתחומים הבאים:
- החדרת הנחיות ופריצות: הפרות תוכן שמצביעות על נוכחות של הנחיות שמכילות פקודות זדוניות או ניסיונות פריצה. מידע נוסף זמין במאמר בנושא החדרת פרומפטים וזיהוי פריצה.
- כתובת URL זדונית: הפרות של מדיניות התוכן שמצביעות על נוכחות של כתובות URL זדוניות. מידע נוסף זמין במאמר בנושא זיהוי כתובות URL זדוניות.
- אתיקה של בינה מלאכותית: הפרות תוכן שמזוהות על ידי מסנני בטיחות, כמו הטרדה ודברי שטנה. רשימה מלאה של קטגוריות של אתיקה של בינה מלאכותית מופיעה במאמר מסנן הבטיחות של AI אחראי.
- נתונים רגישים: הפרות תוכן שקשורות לנוכחות של סוגי מידע רגיש או סוגי מידע בהתאמה אישית שהגדרתם. מידע נוסף זמין במאמר Sensitive Data Protection.
מידע נוסף על הגלאים האלה זמין במאמר מסנני Model Armor.
החלת מסננים על תצוגות מפורטות
כשמחילים את המסננים האלה על לוח הבקרה של המעקב, כל התצוגות בלוח הבקרה מסוננות לפי הקריטריונים שבוחרים:
- תבניות/הגדרות אבטחה מינימליות: סינון התצוגות על סמך התבנית או הגדרות האבטחה המינימליות המשויכות.
- נקודות שילוב: סינון תצוגות על סמך שילובים של הגנה מוגברת על המודל.
- מיקומים: סינון הצפיות לפי המיקום שבו האינטראקציה עובדה.
- סוגי קלט: סינון התצוגות לפי סוג הקלט שנבדק: הנחיה או תגובה.
בדיקת יומנים קשורים
כדי לעיין ברשומות ביומן שקשורות לנתונים בלוח הבקרה של המעקב, צריך להפעיל את הרישום ביומן בתבניות או בהגדרות אבטחה מינימליות. כדי להציג יומנים, צריכים להיות לכם התפקידים הנדרשים ב-IAM.
כדי לבדוק את היומנים לתקופה שנבחרה, בלוח הבקרה של המעקב לוחצים על אפשרויות נוספות של התרשים > בדיקת יומנים שקשורים לתרשים.
הורדת נתוני ההפרות לקובץ PNG או CSV
כדי להוריד נתוני הפרות לקובץ PNG או CSV, פועלים לפי השלבים הבאים:
- בתצוגה Violations over time בלוח הבקרה של המעקב, בוחרים את התקופה שעבורה רוצים להוריד את הנתונים.
- לוחצים על אפשרויות נוספות של תרשים > הורדה.
- לוחצים על הורדת PNG או על הורדת CSV כדי להוריד את הנתונים בפורמט המועדף.
המאמרים הבאים
- מידע על כתיבה ביומני ביקורת של הגנה מוגברת על המודל
- הגדרת רישום ביומן עבור הגנה מוגברת על המודל
- פתרון בעיות ב-Model Armor