מדדי הטיה של מודלים ב-Agent Platform

בדף הזה מפורטים מדדים להערכת מודלים שבהם אפשר להשתמש כדי לזהות הטיה במודל, שיכולה להופיע בפלט של חיזוי המודל אחרי שמבצעים אימון של המודל. בדוגמאות ובסימון בדף הזה, אנחנו משתמשים במערך נתונים היפותטי של בקשות קבלה למכללה, שמתואר בפירוט במאמר מבוא להערכת מודלים לצורך הוגנות.

לתיאורים של מדדים שנוצרים מנתוני אימון מוקדם, אפשר לעיין במאמר בנושא מדדים של הטיית נתונים.

סקירה כללית

במערך הנתונים לדוגמה של בקשות הקבלה למכללה, יש לנו 200 מועמדים מקליפורניה בפלח 1, ו-100 מועמדים מפלורידה בפלח 2. אחרי אימון המודל, אלה מטריצות השגיאה שקיבלנו:

מועמדים למשרות בקליפורניה הסכמות (צפויות) דחיות (צפויות)
אישורים (נתוני אמת) ‫50 (חיובי אמיתי) ‫10 (תוצאה שלילית שגויה)
דחיות (ערכי סף) ‫20 (תוצאה חיובית שגויה) ‫120 (שלילי אמיתי)
מועמדים בפלורידה הסכמות (צפויות) דחיות (צפויות)
אישורים (נתוני אמת) ‫20 (חיובי אמיתי) ‫0 (תוצאה שלילית שגויה)
דחיות (ערכי סף) ‫30 (תוצאה חיובית שגויה) ‫50 (שלילי אמיתי)

באופן כללי, אפשר לפרש את הסימן של רוב המדדים באופן הבא:

  • ערך חיובי: מציין הטיה פוטנציאלית לטובת פלח 1 על פני פלח 2.

  • ערך אפס: מציין שאין הטיה בין פלח 1 לפלח 2.

  • ערך שלילי: מציין הטיה אפשרית לטובת פלח 2 על פני פלח 1.

אנחנו מציינים איפה זה לא חל על מדד.

הבדל בדיוק

המדד 'הפרש בדיוק' מודד את ההפרש בדיוק בין פרוסת נתונים 1 לבין פרוסת נתונים 2:

$$ \frac{tp_1 + tn_1}{n_1} - \frac{tp_2 + tn_2}{n_2} $$

‫((True positives for slice 1 + True negatives for slice 1)/Total number of instances for slice 1) - ((True positives for slice 2 + True negatives for slice 2)/Total number of instances for slice 2)

במערך הנתונים לדוגמה:

‫((50 קבלות לקליפורניה שחזיתי נכון + 120 דחיות לקליפורניה שחזיתי נכון)/ 200 מועמדים לקליפורניה) – ((20 קבלות לפלורידה שחזיתי נכון + 50 דחיות לפלורידה שחזיתי נכון)/ 100 מועמדים לפלורידה) = 170/200 – 70/100 = 0.15

הערך החיובי של ההפרש בדיוק מציין שהמודל מדויק יותר לגבי מועמדים מקליפורניה בהשוואה למועמדים מפלורידה. יכול להיות שזה מעיד על הטיה פוטנציאלית לטובת מועמדים מקליפורניה.

הבדל בשיעורים חיוביים בתוויות חזויות (DPPPL)

המדד 'הבדל בשיעורי החיוביות בתוויות החזויות' (DPPPL) בודק אם למודל יש נטייה לתת באופן לא פרופורציונלי יותר תחזיות חיוביות לגבי פלח אחד בהשוואה לפלח אחר. המדד DPPPL מחשב את ההפרש בין שיעורי התוצאות החיוביות בתוויות החזויות, כאשר שיעורי התוצאות החיוביות בתוויות החזויות הם (תוצאות חיוביות חזויות חלקי מספר המקרים הכולל) עבור פרוסת נתונים:

$$ \frac{tp_1 + fp_1}{n_1} - \frac{tp_2 + fp_2}{n_2} $$

‫((True positives for slice 1 + False positives for slice 1)/Total number of instances for slice 1) - ((True positives for slice 2 + False positives for slice 2)/Total number of instances for slice 2)

עבור קבוצת הנתונים לדוגמה שלנו:

‫((50 קבלות לקליפורניה שחזיתי נכון + 20 קבלות לקליפורניה שחזיתי לא נכון)/ 200 מועמדים לקליפורניה) – ((20 קבלות לפלורידה שחזיתי נכון + 30 קבלות לפלורידה שחזיתי לא נכון)/ 100 מועמדים לפלורידה) = 70/200 – 50/100 = ‎-0.15

הערך השלילי של DPPPL מציין שהמודל מקבל באופן לא פרופורציונלי יותר מועמדים מפלורידה בהשוואה למועמדים מקליפורניה.

ההבדל בין מדד הזכירה

המדד 'הבדל בזיכרון' מודד את ההבדל בזיכרון בין פרוסת נתונים 1 לפרוסת נתונים 2, ומתייחס רק לתוצאות חיוביות עם תוויות. ההבדל בזיכרון עשוי להיקרא גם הזדמנות שווה.

$$ \frac{tp_1}{l^1_1} - \frac{tp_2}{l^1_2} $$

‫(True positives for slice 1/(True positives for slice 1 + False negatives for slice 1)) - (True positives for slice 2/(True positives for slice 2 + False negatives for slice 2))

במערך הנתונים לדוגמה:

‫(50 קבלות לקליפורניה שחזיתי נכון/(50 קבלות לקליפורניה שחזיתי נכון + 10 דחיות לקליפורניה שחזיתי לא נכון)) – (20 קבלות לפלורידה שחזיתי נכון/(20 קבלות לפלורידה שחזיתי נכון + 0 דחיות לפלורידה שחזיתי לא נכון)) = 50/60 – 20/20 = ‎-0.17

הערך השלילי מציין שהמודל טוב יותר בזיכרון של מועמדים מפלורידה מאשר של מועמדים מקליפורניה. במילים אחרות, המודל נוטה להיות מדויק יותר בהחלטות שלו לגבי קבלת מועמדים מפלורידה לעומת קליפורניה.

הבדל ברמת הספציפיות

המדד 'הפרש הספציפיות' מודד את ההפרש בספציפיות, שנקרא גם שיעור השליליים האמיתיים, בין פלח 1 לפלח 2. אפשר לחשוב על זה כהבדל בין ערכי הזיכרון, אבל עבור תוצאות שליליות מסומנות:

$$ \frac{tn_1}{l^0_1} - \frac{tn_2}{l^0_2} $$

‫(True negatives for slice 1/(True negatives for slice 1 + False positives for slice 1)) - (True negatives for slice 2/(True negatives for slice 2 + False positives for slice 2))

במערך הנתונים לדוגמה:

‫(120 דחיות בקליפורניה שחזיתי נכון/(120 דחיות בקליפורניה שחזיתי נכון + 20 קבלות בקליפורניה שחזיתי לא נכון)) – (50 דחיות בפלורידה שחזיתי נכון/(50 דחיות בפלורידה שחזיתי נכון + 30 קבלות בפלורידה שחזיתי לא נכון)) = 120/140 – 50/80 = 0.23

הערך החיובי מציין שכשמדובר בדחיית בקשות, למודל יש יכולת היזכרות טובה יותר לגבי מועמדים מקליפורניה בהשוואה למועמדים מפלורידה. במילים אחרות, המודל נוטה להיות מדויק יותר בהחלטות הדחייה שלו לגבי מועמדים מקליפורניה לעומת מועמדים מפלורידה.

הבדל ביחס בין סוגי השגיאות

המדד 'ההבדל ביחס בין סוגי השגיאות' מודד את ההבדל באופן שבו השגיאות (שליליות כוזבות וחיוביות כוזבות) מתחלקות בין פלח 1 לפלח 2. היחס בין סוגי השגיאות מחושב כך: (תוצאות שליליות שגויות (שגיאה מסוג I) חלקי תוצאות חיוביות שגויות (שגיאה מסוג II)). ההבדל ביחס בין סוגי השגיאות נקרא גם שוויון בטיפול.

$$ \frac{fn_1}{fp_1} - \frac{fn_2}{fp_2} $$

(False negatives for slice 1/False positives for slice 1) - (False negatives for slice 2/False positives for slice 2)

במערך הנתונים לדוגמה:

‫(10 דחיות בקליפורניה שחזיתי באופן שגוי/20 קבלות בקליפורניה שחזיתי באופן שגוי) – (0 דחיות בפלורידה שחזיתי באופן שגוי/30 קבלות בפלורידה שחזיתי באופן שגוי) = (10/20 – 0/30) = 0.5

למרות שהמודל טועה 30 פעמים גם לגבי המועמדים מקליפורניה וגם לגבי המועמדים מפלורידה, הערך החיובי של ההפרש ביחס בין סוגי השגיאות מצביע על כך שהמודל נוטה לחזות תוצאות חיוביות (שיעור גבוה יותר של חיוביים כוזבים) ולכן לחזות תוצאות שליליות (שיעור נמוך יותר של שליליים כוזבים) לגבי מועמדים מקליפורניה, בהשוואה למועמדים מפלורידה.

הסימן של ההפרש ביחס בין סוגי השגיאות יכול להתפרש באופן כללי כך:

  • ערך חיובי: מציין שהמודל מבצע באופן לא פרופורציונלי יותר שגיאות חיוביות שגויות מאשר שגיאות שליליות שגויות עבור פרוסת הנתונים 1.

  • ערך אפס: מציין שהמודל מבצע את אותו מספר של טעויות חיוביות כוזבות בשני הפלחים.

  • ערך שלילי: מציין שהמודל מבצע באופן לא פרופורציונלי יותר שגיאות חיוביות שגויות מאשר שגיאות שליליות שגויות עבור פרוסת הנתונים 2.

הסימן של המדד הזה לא בהכרח מצביע על הטיה במודל, כי מידת הנזק של תוצאות שליליות שגויות או תוצאות חיוביות שגויות תלויה ביישום של המודל.

המאמרים הבאים