הגדרת הגדרות של תצוגה חזותית לסיווג תמונות ב-AutoML

‫Vertex AI ניתן להסברה מספק יכולות מובנות של ויזואליזציה של נתוני התמונות. אפשר להגדיר תרשימים ויזואליים למודלים של סיווג תמונות ב-AutoML.

כשמבקשים הסבר על מודל לסיווג תמונות, מקבלים את הסיווג החזוי יחד עם שכבת-על לתמונה שמראה אילו פיקסלים (שיפועים משולבים) או אזורים (שיפועים משולבים או XRAI) תרמו לחיזוי.

בתמונות הבאות מוצגים נתונים חזותיים על תמונה של האסקי סיבירי. הוויזואליזציה בצד ימין משתמשת בשיטת הגרדיאנטים המשולבים ומדגישה אזורים של שיוך חיובי. הוויזואליזציה הנכונה משתמשת בשיטת XRAI עם מעבר צבע שמציין אזורים עם השפעה קטנה יותר (כחול) והשפעה גדולה יותר (צהוב) על יצירת תחזית חיובית.

תמונה של האסקי עם ייצוג חזותי של שיוך תכונות באמצעות מעברי צבע משולבים
תצוגה חזותית של שיוך תכונות של כלב האסקי סיבירי באמצעות XRAI

סוג הנתונים שאתם עובדים איתם יכול להשפיע על השיטה שבה תבחרו להשתמש כדי להציג את ההסברים שלכם – שיטת הגרדיאנטים המשולבים או שיטת XRAI.

  • השימוש ב-XRAI בדרך כלל יעיל יותר עם תמונות טבעיות, והוא מספק סיכום טוב יותר של התובנות ברמה גבוהה, למשל, הוא מראה שהשיוך החיובי קשור לצורה של פני הכלב.
  • השימוש בשיפועים משולבים (IG) נוטה לספק פרטים ברמת הפיקסל, והוא שימושי לחשיפת שיוכים מפורטים יותר.

מידע נוסף על שיטות השיוך בדף הסקירה הכללית של Vertex AI ניתן להסברה

תחילת העבודה

הגדרת ויזואליזציה כשמאמנים מודל AutoML שתומך ב-Vertex AI ניתן להסברה ומפעילים הסברים כשפורסים את המודל.

אפשרויות להמחשה

הגדרות ברירת המחדל וההגדרות המומלצות תלויות בשיטת השיוך (משולבת או XRAI). ברשימה הבאה מתוארות אפשרויות ההגדרה ומוסבר איך אפשר להשתמש בהן. רשימה מלאה של האפשרויות זמינה במאמר API reference for the Visualization message.

  • ‫type: סוג התרשים להמחשה שבו נעשה שימוש: OUTLINES או PIXELS. מציינים את השדה הזה רק אם משתמשים בשיפועים משולבים. אי אפשר לציין אותו אם משתמשים ב-XRAI.

    לגבי מעברי צבע משולבים, ברירת המחדל של השדה היא OUTLINES, שבה מוצגים אזורים של שיוך. כדי להציג שיוך ברמת הפיקסל, מגדירים את השדה לערך PIXELS.

  • polarity: הכיוון של השיוכים המודגשים. positive מוגדר כברירת מחדל, והוא מדגיש אזורים עם השיוכים החיוביים הגבוהים ביותר. כלומר, המערכת מדגישה פיקסלים שהייתה להם השפעה רבה ביותר על התחזית החיובית של המודל. הגדרת הקוטביות ל-negative מדגישה אזורים שגורמים למודל לא לחזות את המחלקה החיובית. שימוש בקוטביות שלילית יכול להיות שימושי לניפוי באגים במודל, כי הוא מאפשר לזהות אזורים שבהם יש תוצאות שליליות שגויות. אפשר גם להגדיר את הקוטביות ל-both כדי להציג שיוכים חיוביים ושליליים.

  • ‫clip_percent_upperbound: מחריג את השיוכים מעל האחוזון שצוין מהאזורים המודגשים. השימוש בפרמטרים של הקליפ ביחד יכול להיות שימושי לסינון רעשים ולזיהוי קל יותר של אזורים עם שיוך חזק.

  • ‫clip_percent_lowerbound: לא כולל שיוכים מתחת לאחוזון שצוין באזורים המודגשים.

  • ‫color_map: ערכת הצבעים שמשמשת להדגשת האזורים. ברירת המחדל היא pink_green למעברי צבע משולבים, שבהם שיוכים חיוביים מוצגים בירוק ושליליים בוורוד. בוויזואליזציות של XRAI, מפת הצבעים היא גרדיאנט. ערך ברירת המחדל של XRAI הוא viridis, שמדגיש את האזורים המשפיעים ביותר בצהוב ואת האזורים הכי פחות משפיעים בכחול.

    רשימה מלאה של הערכים האפשריים זמינה בהפניית ה-API להודעה Visualization.

  • ‫overlay_type: איך התמונה המקורית מוצגת בהדמיה. אם קשה לראות את התצוגה החזותית בגלל התמונה המקורית, אפשר לשנות את שכבת העל כדי לשפר את הבהירות החזותית.

    רשימה מלאה של הערכים האפשריים זמינה בהפניית ה-API להודעה Visualization.

הגדרות לדוגמה

כדי להתחיל, הנה דוגמאות להגדרות Visualization שתוכלו להשתמש בהן כנקודת התחלה, ותמונות שמציגות מגוון הגדרות שהוחלו.

הדרגות משולבות

במקרה של מעברי צבע משולבים, יכול להיות שתצטרכו לשנות את ערכי החיתוך אם אזורי השיוך רועשים מדי.

visualization: {
  "type": "OUTLINES",
  "polarity": "positive",
  "clip_percent_lowerbound": 70,
  "clip_percent_upperbound": 99.9,
  "color_map": "pink_green",
  "overlay_type": "grayscale"
}

בהמשך מוצגות שתי תצוגות חזותיות שמשתמשות בסוגים outlines ו-pixels. העמודות עם התוויות 'רק תחזיות גבוהות', 'תחזיות בינוניות' ו'כמעט כל התחזיות' הן דוגמאות לחיתוך ברמות שונות שיכול לעזור לכם להתמקד בהמחשה.

תרשים שיוך תכונות עם קווי מתאר לשיוך ב-IG

תצוגה חזותית של שיוך תכונות עם פיקסלים לשיוך ב-IG

XRAI

לגבי ויזואליזציות של XRAI, מומלץ להתחיל בלי ערכי חיתוך של XRAI כי שכבת-העל משתמשת בהדרגה כדי להציג אזורים עם שיוך גבוה ונמוך.

visualization: {
  "clip_percent_lowerbound": 0,
  "clip_percent_upperbound": 100,
  "color_map": "viridis",
  "overlay_type": "grayscale"
}

בתמונה הבאה מוצגת ויזואליזציה של XRAI באמצעות מפת הצבעים viridis שמוגדרת כברירת מחדל ומגוון סוגי שכבות-על. האזורים הצהובים מציינים את האזורים המשפיעים ביותר שתרמו באופן חיובי לתחזית.

תצוגה חזותית של שיוך תכונות לשיוך XRAI

המאמרים הבאים

  • אפשר להשתמש בקבלת הסברים כדי לקבל תחזיות עם הסברים מהמודל.
  • לפרטים על שיפור התוצאות של Vertex Explainable AI עבור מודלים של AutoML לסיווג תמונות, אפשר לקרוא את המאמר בנושא שיפור ההסברים.