הגדרה של הגדרות ויזואליזציה מבוססות-תכונות

Vertex AI ניתן להסברה מספק יכולות מובנות להצגה חזותית של נתוני התמונות. אתם יכולים להגדיר תרשימים למודלים של תמונות שעברו אימון בהתאמה אישית.

כשמבקשים הסבר על מודל לסיווג תמונות, מקבלים את הסיווג החזוי יחד עם שכבת-על לתמונה שמראה אילו פיקסלים או אזורים תרמו לחיזוי.

בתמונות הבאות מוצגות ויזואליזציות של תמונת האסקי סיבירי. הוויזואליזציה הימנית משתמשת בשיטת הגרדיאנטים המשולבים ומדגישה אזורים של שיוך חיובי. הוויזואליזציה הנכונה משתמשת בשיטת XRAI עם מעבר צבע שמציין אזורים עם השפעה קטנה יותר (כחול) וגדולה יותר (צהוב) על יצירת תחזית חיובית.

תמונה של כלב האסקי עם ייצוג חזותי של שיוך תכונות באמצעות מעברי צבע משולבים
תצוגה חזותית של שיוך תכונות של כלב האסקי באמצעות XRAI

סוג הנתונים שאתם עובדים איתם יכול להשפיע על ההחלטה אם להשתמש בגישה של שילוב הדרגתי או בגישת XRAI כדי להציג את ההסברים.

  • התוצאות של XRAI בדרך כלל טובות יותר עם תמונות טבעיות, והוא מספק סיכום טוב יותר של התובנות ברמה גבוהה, למשל, הוא מראה שהשיוך החיובי קשור לצורה של פני הכלב.
  • השימוש בשיפועים משולבים (IG) נוטה לספק פרטים ברמת הפיקסל, והוא שימושי לחשיפת שיוכים מפורטים יותר.

מידע נוסף על שיטות השיוך זמין בדף הסקירה הכללית של Vertex AI ניתן להסברה.

קדימה, מתחילים

אפשר להגדיר את ההדמיה כשיוצרים משאב Model שתומך ב-Vertex AI ניתן להסברה, או כשמבטלים את ברירת המחדל של ModelExplanationSpec.

כדי להגדיר את התצוגה החזותית של המודל, מאכלסים את השדה visualization של ההודעה InputMetadata שמתאימה לתכונה שרוצים להציג. בהודעת ההגדרה הזו אפשר לכלול אפשרויות כמו סוג שכבת העל שבה נעשה שימוש, אילו שיוכים מודגשים, צבע ועוד. כל ההגדרות הן אופציונליות.

אפשרויות להצגה חזותית

ההגדרות המומלצות שמוגדרות כברירת מחדל תלויות בשיטת השיוך (שיפועים משולבים או XRAI). ברשימה הבאה מתוארות אפשרויות ההגדרה ומוסבר איך אפשר להשתמש בהן. רשימה מלאה של האפשרויות זמינה במאמר הפניית API להודעה Visualization.

  • ‫type: סוג התצוגה החזותית שבה נעשה שימוש: OUTLINES או PIXELS. ערך ברירת המחדל של השדה type הוא OUTLINES, שבו מוצגים אזורי השיוך. כדי להציג שיוך ברמת הפיקסל, צריך להגדיר את השדה ל-PIXELS.

  • polarity: הכיוון של השיוכים המודגשים. positive מוגדר כברירת מחדל, והוא מדגיש אזורים עם השיוכים החיוביים הגבוהים ביותר. כלומר, המערכת מדגישה פיקסלים שהייתה להם השפעה רבה ביותר על התחזית החיובית של המודל. הגדרת הקוטביות ל-negative מדגישה אזורים שגורמים למודל לא לחזות את המחלקה החיובית. שימוש בקוטביות שלילית יכול להיות שימושי לניפוי באגים במודל, כי הוא מאפשר לזהות אזורים של שלילי כוזב. אפשר גם להגדיר את הערך both לקיטוב, כדי להציג שיוכים חיוביים ושליליים.

  • ‫clip_percent_upperbound: לא כולל את השיוכים מעל האחוזון שצוין באזורים המודגשים. השימוש בפרמטרים של הקליפ ביחד יכול להיות שימושי לסינון רעשים ולזיהוי קל יותר של אזורים עם שיוך חזק.

  • ‫clip_percent_lowerbound: לא כולל שיוכים מתחת לאחוזון שצוין באזורים המודגשים.

  • ‫color_map: ערכת הצבעים שמשמשת להדגשת האזורים. ברירת המחדל היא pink_green למעברי צבע משולבים, שבהם שיוכים חיוביים מוצגים בירוק ושליליים בוורוד. ב-XRAI, מפת הצבעים היא הדרגתית. ברירת המחדל של XRAI היא viridis, שמדגישה את האזורים המשפיעים ביותר בצהוב ואת האזורים הכי פחות משפיעים בכחול.

    רשימה מלאה של הערכים האפשריים זמינה בהפניית ה-API להודעה Visualization.

  • ‫overlay_type: איך התמונה המקורית מוצגת בהדמיה. אם קשה לראות את התצוגה החזותית בגלל התמונה המקורית, אפשר לשנות את שכבת-העל כדי לשפר את הבהירות החזותית.

    רשימה מלאה של הערכים האפשריים זמינה בהפניית ה-API להודעה Visualization.

הגדרות לדוגמה

כדי להתחיל, הנה דוגמאות להגדרות של Visualization שאפשר להשתמש בהן כנקודת התחלה, ותמונות שמציגות מגוון הגדרות שהוחלו.

הדרגות משולבות

במקרה של מעברי צבע משולבים, יכול להיות שתצטרכו לשנות את ערכי החיתוך אם אזורי השיוך רועשים מדי.

visualization: {
  "type": "OUTLINES",
  "polarity": "positive",
  "clip_percent_lowerbound": 70,
  "clip_percent_upperbound": 99.9,
  "color_map": "pink_green",
  "overlay_type": "grayscale"
}

בהצגות החזותיות הבאות נעשה שימוש בסוגים outlines ו-pixels. העמודות עם התוויות 'רק עם רמת חיזוי גבוהה', 'רמת חיזוי בינונית' ו'כמעט כל' הן דוגמאות לחיתוך ברמות שונות שיכול לעזור לכם להתמקד בהמחשה.

תרשים ויזואלי של שיוך תכונות עם קווי מתאר לשיוך ב-IG

תצוגה חזותית של ייחוס תכונות עם פיקסלים לייחוס ב-IG

XRAI

לגבי ויזואליזציות של XRAI, מומלץ להתחיל בלי ערכי חיתוך של XRAI, כי שכבת-העל משתמשת בהדרגה כדי להציג אזורים עם שיוך גבוה ונמוך.

visualization: {
  "type": "PIXELS",
  "polarity": "positive",
  "clip_percent_lowerbound": 0,
  "clip_percent_upperbound": 100,
  "color_map": "viridis",
  "overlay_type": "grayscale"
}

התמונה הבאה היא ויזואליזציה של XRAI שמשתמשת במפת הצבעים viridis שמוגדרת כברירת מחדל ובמגוון סוגי שכבות-על. האזורים הצהובים מציינים את האזורים המשפיעים ביותר שתרמו באופן חיובי לתחזית.

תצוגה חזותית של שיוך מאפיינים לשיוך (Attribution) של XRAI

המאמרים הבאים