הגדרה של הגדרות ויזואליזציה מבוססות-תכונות

‫Vertex AI ניתן להסברה מספק יכולות מובנות של ויזואליזציה של נתוני התמונות. אתם יכולים להגדיר תרשימים למודלים של תמונות שעברו אימון בהתאמה אישית.

כשמבקשים הסבר על מודל לסיווג תמונות, מקבלים את הסיווג החזוי יחד עם שכבת-על של תמונה שמראה אילו פיקסלים או אזורים תרמו לחיזוי.

בתמונות הבאות מוצגים נתונים חזותיים על תמונה של האסקי סיבירי. הוויזואליזציה בצד ימין משתמשת בשיטת הגרדיאנטים המשולבים ומדגישה אזורים של שיוך חיובי. הוויזואליזציה הנכונה משתמשת בשיטת XRAI עם מעבר צבע שמציין אזורים עם השפעה קטנה יותר (כחול) והשפעה גדולה יותר (צהוב) על יצירת תחזית חיובית.

תמונה של האסקי עם ייצוג חזותי של שיוך תכונות באמצעות מעברי צבע משולבים
תצוגה חזותית של שיוך תכונות של כלב האסקי סיבירי באמצעות XRAI

סוג הנתונים שאתם עובדים איתם יכול להשפיע על השיטה שבה תבחרו להשתמש כדי להציג את ההסברים שלכם – שיטת הגרדיאנטים המשולבים או שיטת XRAI.

  • השימוש ב-XRAI בדרך כלל יעיל יותר עם תמונות טבעיות, והוא מספק סיכום טוב יותר של התובנות ברמה גבוהה, למשל, הוא מראה שהשיוך החיובי קשור לצורה של פני הכלב.
  • השימוש בשיפועים משולבים (IG) נוטה לספק פרטים ברמת הפיקסל, והוא שימושי לחשיפת שיוכים מפורטים יותר.

מידע נוסף על שיטות השיוך בדף הסקירה הכללית של Vertex AI ניתן להסברה

קדימה, מתחילים

אפשר להגדיר את ההדמיה כשיוצרים משאב Model שתומך ב-Vertex AI ניתן להסברה, או כשמבטלים את ברירת המחדל של ModelExplanationSpec.

כדי להגדיר את התצוגה החזותית של המודל, מאכלסים את השדה visualization של ההודעה InputMetadata שמתאימה לתכונה שרוצים להציג. בהודעת ההגדרה הזו אפשר לכלול אפשרויות כמו סוג שכבת-העל שבה נעשה שימוש, אילו שיוכים מודגשים, צבע ועוד. כל ההגדרות הן אופציונליות.

אפשרויות להמחשה

הגדרות ברירת המחדל וההגדרות המומלצות תלויות בשיטת השיוך (משולבת או XRAI). ברשימה הבאה מתוארות אפשרויות ההגדרה ומוסבר איך אפשר להשתמש בהן. רשימה מלאה של האפשרויות זמינה במאמר API reference for the Visualization message.

  • ‫type: סוג התרשים להמחשה שבו נעשה שימוש: OUTLINES או PIXELS. ערך ברירת המחדל של השדה type הוא OUTLINES, שבו מוצגים אזורים של שיוך. כדי להציג שיוך ברמת הפיקסל, מגדירים את השדה ל-PIXELS.

  • polarity: הכיוון של השיוכים המודגשים. positive מוגדר כברירת מחדל, והוא מדגיש אזורים עם השיוכים החיוביים הגבוהים ביותר. כלומר, המערכת מדגישה פיקסלים שהייתה להם השפעה רבה ביותר על התחזית החיובית של המודל. הגדרת הקוטביות ל-negative מדגישה אזורים שגורמים למודל לא לחזות את המחלקה החיובית. שימוש בקוטביות שלילית יכול להיות שימושי לניפוי באגים במודל, כי הוא מאפשר לזהות אזורים שבהם יש תוצאות שליליות שגויות. אפשר גם להגדיר את הקוטביות ל-both כדי להציג שיוכים חיוביים ושליליים.

  • ‫clip_percent_upperbound: מחריג את השיוכים מעל האחוזון שצוין מהאזורים המודגשים. השימוש בפרמטרים של הקליפ ביחד יכול להיות שימושי לסינון רעשים ולזיהוי קל יותר של אזורים עם שיוך חזק.

  • ‫clip_percent_lowerbound: לא כולל שיוכים מתחת לאחוזון שצוין באזורים המודגשים.

  • ‫color_map: ערכת הצבעים שמשמשת להדגשת האזורים. ברירת המחדל היא pink_green למעברי צבע משולבים, שבהם שיוכים חיוביים מוצגים בירוק ושליליים בוורוד. בוויזואליזציות של XRAI, מפת הצבעים היא גרדיאנט. ערך ברירת המחדל של XRAI הוא viridis, שמדגיש את האזורים המשפיעים ביותר בצהוב ואת האזורים הכי פחות משפיעים בכחול.

    רשימה מלאה של הערכים האפשריים זמינה בהפניית ה-API להודעה Visualization.

  • ‫overlay_type: איך התמונה המקורית מוצגת בהדמיה. אם קשה לראות את התצוגה החזותית בגלל התמונה המקורית, אפשר לשנות את שכבת העל כדי לשפר את הבהירות החזותית.

    רשימה מלאה של הערכים האפשריים זמינה בהפניית ה-API להודעה Visualization.

הגדרות לדוגמה

כדי להתחיל, הנה דוגמאות להגדרות של Visualization שאפשר להשתמש בהן כנקודת התחלה, ותמונות שמציגות מגוון הגדרות שהוחלו.

הדרגות משולבות

במקרה של מעברי צבע משולבים, יכול להיות שתצטרכו לשנות את ערכי החיתוך אם אזורי השיוך רועשים מדי.

visualization: {
  "type": "OUTLINES",
  "polarity": "positive",
  "clip_percent_lowerbound": 70,
  "clip_percent_upperbound": 99.9,
  "color_map": "pink_green",
  "overlay_type": "grayscale"
}

בתצוגות החזותיות הבאות נעשה שימוש בסוגים outlines ו-pixels. העמודות עם התוויות 'רק תחזיות גבוהות', 'תחזיות בינוניות' ו'כמעט כל התחזיות' הן דוגמאות לחיתוך ברמות שונות שיכול לעזור לכם להתמקד בהמחשה.

תרשים שיוך תכונות עם קווי מתאר לשיוך ב-IG

תצוגה חזותית של שיוך תכונות עם פיקסלים לשיוך ב-IG

XRAI

לגבי ויזואליזציות של XRAI, מומלץ להתחיל בלי ערכי חיתוך של XRAI כי שכבת-העל משתמשת בהדרגה כדי להציג אזורים עם שיוך גבוה ונמוך.

visualization: {
  "type": "PIXELS",
  "polarity": "positive",
  "clip_percent_lowerbound": 0,
  "clip_percent_upperbound": 100,
  "color_map": "viridis",
  "overlay_type": "grayscale"
}

התמונה הבאה היא ויזואליזציה של XRAI שמשתמשת במפת הצבעים viridis שמוגדרת כברירת מחדל ובמגוון סוגי שכבות-על. האזורים הצהובים מציינים את האזורים המשפיעים ביותר שתרמו באופן חיובי לתחזית.

תצוגה חזותית של שיוך תכונות לשיוך XRAI

המאמרים הבאים