מבוא להערכת מודלים לצורך הוגנות

תהליך עבודה של למידת מכונה יכול לכלול הערכה של המודל מבחינת הוגנות. מודל לא הוגן מציג הטיה מערכתית שעלולה לגרום נזק, במיוחד לקבוצות שבאופן מסורתי לא זוכות לייצוג הולם. מודל לא הוגן עשוי להניב ביצועים גרועים יותר עבור קבוצות משנה מסוימות, או פלחים, של מערך הנתונים.

אפשר לזהות הטיה במהלך תהליך איסוף הנתונים או במהלך ההערכה אחרי האימון. ‫Gemini Enterprise Agent Platform מספקת את מדדי הערכת המודל הבאים כדי לעזור לכם להעריך את המודל שלכם להטיה:

  • מדדים של הטיית נתונים: לפני שמאמנים את המודל ובונים אותו, המדדים האלה מאפשרים לזהות אם הנתונים הגולמיים כוללים הטיה. לדוגמה, יכול להיות שמערך נתונים של זיהוי חיוכים יכיל הרבה פחות אנשים מבוגרים מאשר אנשים צעירים. כמה מהמדדים האלה מבוססים על כימות המרחק בין התפלגות התוויות של קבוצות נתונים שונות:

    • ההבדל בגודל האוכלוסייה.

    • ההבדל בשיעורים החיוביים בתוויות האמיתיות.

  • מדדי הטיה של המודל: אחרי שמסיימים לאמן את המודל, המדדים האלה מאפשרים לזהות אם התחזיות של המודל כוללות הטיות. לדוגמה, יכול להיות שמודל מסוים יהיה מדויק יותר עבור קבוצת משנה אחת של הנתונים מאשר עבור שאר הנתונים:

    • הפרש הדיוק.

    • ההבדל בשיעורי החיוביות בתוויות החזויות.

    • הבדל בזיכרון.

    • הבדל במידת הספציפיות.

    • ההבדל ביחס בין סוגי השגיאות.

כדי ללמוד איך לכלול את רכיבי צינור הנתונים של הטיה בהערכת המודל בהרצת צינור הנתונים, אפשר לעיין במאמר בנושא רכיב הערכת המודל.

סקירה כללית של מערך נתונים לדוגמה

בכל הדוגמאות שקשורות למדדי הוגנות, אנחנו משתמשים במערך נתונים היפותטי של קבלה למכללה עם מאפיינים כמו הציונים של המועמד בבית ספר על-יסודי, המדינה והזהות המגדרית. אנחנו רוצים למדוד אם יש למכללה הטיה כלפי מועמדים מקליפורניה או מפלורידה.

תוויות היעד, או כל התוצאות האפשריות, הן:

  • אישור המועמד עם מלגה (p).

  • קבלת המועמד ללא מלגה (q)

  • דחיית המועמד (r).

אנחנו יכולים להניח שמומחי קבלה סיפקו את התוויות האלה כנתוני האמת. חשוב לזכור שגם התוויות האלה של מומחים יכולות להיות מוטות, כי הן הוקצו על ידי בני אדם.

כדי ליצור דוגמה לסיווג בינארי, אפשר לקבץ תוויות כדי ליצור שתי תוצאות אפשריות:

  • תוצאה חיובית, שמסומנת ב-1. אנחנו יכולים לקבץ את p ו-q לתוצאה החיובית 'התקבל {p,q}'.

  • תוצאה שלילית, מסומנת כ-0. האפשרות הזו יכולה להיות אוסף של כל התוצאות האפשריות מלבד התוצאה החיובית. בדוגמה של בקשת הקבלה למכללה, התוצאה השלילית היא "נדחית {r}".

כדי למדוד הטיה בין מועמדים מקליפורניה ומפלורידה, אנחנו מפרידים שתי קבוצות משנה משאר קבוצת הנתונים:

  • פלח 1 של מערך הנתונים שעבורו נמדדת ההטיה. בדוגמה של בקשת הקבלה למכללה, אנחנו מודדים הטיה לגבי מועמדים מקליפורניה.

  • חלק 2 של מערך הנתונים שביחס אליו נמדדת ההטיה. פלח 2 יכול לכלול כברירת מחדל 'כל מה שלא נכלל בפלח 1', אבל בדוגמה של בקשות הקבלה למכללה, אנחנו מקצים את פלח 2 למועמדים מפלורידה.

במערך הנתונים לדוגמה של בקשות הקבלה למכללה, יש לנו 200 מועמדים מקליפורניה בפלח 1, ו-100 מועמדים מפלורידה בפלח 2. אחרי אימון המודל, אלה מטריצות השגיאה שקיבלנו:

מועמדים למשרות בקליפורניה הסכמות (צפויות) דחיות (צפויות)
אישורים (נתוני אמת) ‫50 (חיוביים אמיתיים) ‫10 (תוצאות שליליות שגויות)
דחיות (ערכי סף) ‫20 (תוצאות חיוביות שגויות) ‫120 (שליליים אמיתיים)
מועמדים בפלורידה הסכמות (צפויות) דחיות (צפויות)
אישורים (נתוני אמת) ‫20 (חיוביים אמיתיים) ‫0 (תוצאות שליליות מטעות)
דחיות (ערכי סף) ‫30 (תוצאות חיוביות שגויות) ‫50 (שליליים אמיתיים)

השוואה בין המדדים בשתי מטריצות הבלבול מאפשרת למדוד הטיה. אפשר לעשות זאת על ידי מענה לשאלות כמו "האם למודל יש יכולת שליפה טובה יותר עבור פלח אחד מאשר עבור הפלח השני?"

אנחנו משתמשים גם בקיצור הבא כדי לייצג נתוני אמת מסומנים, כאשר i מייצג את מספר הפלח (1 או 2):

\( l^0_i = tn_i + fp_i \)
עבור הפלח i, מספר התוצאות השליליות המסומנות = true negatives + false positives.

\( l^1_i = fn_i + tp_i \)
עבור פרוסת המידע i, מספר התוצאות החיוביות המסומנות = שליליות מוטעות + חיוביות אמיתיות.

חשוב לשים לב לנקודות הבאות לגבי מערך הנתונים לדוגמה של בקשות לקולג':

  • אפשר להכליל חלק מהמדדים של הוגנות גם למספר תוצאות, אבל אנחנו משתמשים בסיווג בינארי כדי לפשט את התהליך.

  • הדוגמה מתמקדת במשימת הסיווג, אבל חלק ממדדי ההוגנות ניתנים להכללה לבעיות אחרות כמו רגרסיה.

  • בדוגמה הזו, אנחנו מניחים שנתוני האימון ונתוני הבדיקה זהים.

המאמרים הבאים