מניעת התאמת יתר

בעיה נפוצה באימון מודל BigQuery ML היא התאמת יתר. התאמת יתר מתרחשת כשהמודל מתאים לנתוני האימון בצורה הדוקה מדי, ולכן הביצועים שלו לא טובים כשמזינים לו נתונים חדשים. ‫BigQuery ML תומך בשתי שיטות למניעת התאמת יתר: עצירה מוקדמת ורגולריזציה.

כדי ללמוד איך לשנות את האפשרויות שמתוארות בהמשך, אפשר לעיין בהצהרה של CREATE MODEL.

עצירה מוקדמת

הפסקת אימון מוקדמת היא ברירת המחדל למניעת התאמת יתר ב-BigQuery ML. כשההפסקה המוקדמת מופעלת, המערכת עוקבת אחרי ההפסד בנתוני ההחזקה במהלך האימון, והאימון נעצר ברגע שהשיפור בהפסד באיטרציה האחרונה יורד מתחת לסף מסוים. מכיוון שלא נעשה שימוש בנתוני ההחזקה במהלך האימון, הם מספקים הערכה טובה של אובדן המודל בנתונים חדשים. האפשרויות early_stop,‏ min_rel_progress,‏ data_split_method ו-data_split_eval_fraction קובעות את ההתנהגות של העצירה המוקדמת.

רגולריזציה

רגולריזציה מונעת ממשקלי המודל לגדול יותר מדי, וכך המודל לא מתאים את עצמו לנתוני האימון בצורה הדוקה מדי. ‫BigQuery ML תומך בשתי שיטות לשליטה בגודל של משקלי המודל: רגולריזציה L1 ורגולריזציה L2.

כברירת מחדל, הערכים של l1_reg ו-l2_reg הם אפס, מה שמשבית את הרגולריזציה. במערכי נתונים מסוימים, הגדרת ערכים חיוביים ל-l1_reg ול-l2_reg תשפר את הביצועים של המודל שאומן על נתונים חדשים. בדרך כלל מוצאים את הערכים הכי טובים לפרמטרים של הרגולריזציה באמצעות ניסוי וטעייה, ומקובל להתנסות עם ערכים בסדרי גודל שונים (לדוגמה, 0.01,‏ 0.1,‏ 1,‏ 10 ו-100).

הנה כמה עצות כלליות לשימוש ברגולריזציה:

  • אם אתם עורכים ניסוי בפרמטרים של הרגולריזציה, כדאי להשבית את העצירה המוקדמת כדי שההשפעה של הרגולריזציה תהיה ברורה.

  • אם מספר התכונות גדול בהשוואה לגודל של קבוצת נתונים לאימון, נסו להשתמש בערכים גדולים לפרמטרים של הרגולריזציה. הסיכון להתאמת יתר גבוה יותר כשיש רק כמה תצפיות לכל תכונה.

  • אם אתם חוששים שהרבה מאפיינים לא רלוונטיים לחיזוי התווית, נסו להגדיר את l1_reg כגדול מ-l2_reg ולהיפך. יש הוכחות תיאורטיות לכך שרגולריזציה L1 פועלת טוב יותר כשהרבה תכונות לא רלוונטיות.

יתרון נוסף של רגולריזציה L1 הוא שהיא נוטה להגדיר משקלים רבים של מודלים לאפס בדיוק, מה שעוזר לזהות את התכונות הרלוונטיות ביותר ולאמן מודל קומפקטי.

המאמרים הבאים