מדדים של הטיית נתונים ב-Agent Platform

בדף הזה מפורטים מדדי הערכה שבהם אפשר להשתמש כדי לזהות הטיה בנתונים, שיכולה להופיע בנתונים גולמיים ובערכי האמת הבסיסית עוד לפני שמבצעים אימון של המודל. בדוגמאות ובסימון בדף הזה, אנחנו משתמשים במערך נתונים היפותטי של בקשות קבלה למכללה, שמתואר בפירוט במאמר מבוא להערכת מודלים לצורך הוגנות.

לתיאורים של מדדים שנוצרים מנתונים שאחרי האימון, אפשר לעיין במאמר בנושא מדדים של הטיית מודל.

סקירה כללית

במערך הנתונים לדוגמה של בקשות הקבלה למכללה, יש לנו 200 מועמדים מקליפורניה בפלח 1, ו-100 מועמדים מפלורידה בפלח 2, שמסומנים כך:

פרוסה דחייה אישור
קליפורניה 140 60
פלורידה 80 20

באופן כללי, אפשר לפרש את הסימן של רוב המדדים באופן הבא:

  • ערך חיובי: מציין הטיה פוטנציאלית לטובת פלח 1 על פני פלח 2.

  • ערך אפס: מציין שאין הטיה בין פלח 1 לפלח 2.

  • ערך שלילי: מציין הטיה אפשרית לטובת פלח 2 על פני פלח 1.

אנחנו מציינים איפה זה לא חל על מדד.

ההבדל בגודל האוכלוסייה

ההבדל בגודל האוכלוסייה מודד אם יש יותר דוגמאות בפלח 1 בהשוואה לפלח 2, אחרי נרמול לפי האוכלוסייה הכוללת של שני הפלחים:

$$ \frac{n_1-n_2}{n_1+n_2} $$

(האוכלוסייה הכוללת בפלח 1 – האוכלוסייה הכוללת בפלח 2) / (סכום האוכלוסיות בפלח 1 ובפלח 2)

במערך הנתונים לדוגמה:

(200 מועמדים מקליפורניה – 100 מועמדים מפלורידה)/ 300 מועמדים בסך הכול = 100/300 = 0.33.

הערך החיובי של ההבדל בגודל האוכלוסייה מציין שיש מספר לא פרופורציונלי של מועמדים מקליפורניה בהשוואה למספר המועמדים מפלורידה. הערך החיובי לא בהכרח מצביע על הטיה, אבל אם המודל יאומן על הנתונים האלה, יכול להיות שהוא ילמד להניב ביצועים טובים יותר עבור מועמדים מקליפורניה.

ההבדל בשיעורי הערכים החיוביים בתוויות האמיתיות (DPPTL)

המדד ההבדל בשיעורי התוויות החיוביות בתוויות האמת בודק אם במערך נתונים יש באופן לא פרופורציונלי יותר תוויות אמת חיוביות עבור פלח אחד בהשוואה לפלח אחר. במדד הזה מחושב ההפרש בשיעורי התוצאות החיוביות בתוויות האמת בין פלח 1 לפלח 2. שיעורי התוצאות החיוביות בתוויות האמת של פלח מסוים הם (תוצאות חיוביות עם תוויות / גודל האוכלוסייה הכולל). המדד הזה נקרא גם חוסר איזון בתוויות:

$$ \frac{l^1_1}{n_1} - \frac{l^1_2}{n_2} $$

(תוצאות חיוביות עם תווית עבור פרוסת נתונים 1/גודל האוכלוסייה הכולל של פרוסת נתונים 1) - (תוצאות חיוביות עם תווית עבור פרוסת נתונים 2/גודל האוכלוסייה הכולל של פרוסת נתונים 2)

במערך הנתונים לדוגמה:

‫(60 מועמדים מקליפורניה שהתקבלו חלקי 200 מועמדים מקליפורניה) פחות (20 מועמדים מפלורידה שהתקבלו חלקי 100 מועמדים מפלורידה) = 60/200 – 20/100 = 0.1.

הערך החיובי של DPPTL מצביע על כך שבמערך הנתונים יש תוצאות חיוביות גבוהות באופן לא פרופורציונלי למבקשי בקשות מקליפורניה בהשוואה למבקשי בקשות מפלורידה. הערך החיובי לא בהכרח מצביע על הטיה, אבל אם מאמנים מודל על הנתונים האלה, יכול להיות שהמודל ילמד לחזות תוצאות חיוביות באופן לא פרופורציונלי עבור מועמדים מקליפורניה.

המאמרים הבאים