סקירה כללית על הערכת מודלים ב-BigQuery ML

במאמר הזה מתואר איך BigQuery ML תומך בהערכת מודלים של למידת מכונה (ML).

סקירה כללית של הערכת מודל

אפשר להשתמש במדדי הערכה של מודלים של למידת מכונה למטרות הבאות:

• כדי להעריך את איכות ההתאמה בין המודל לנתונים.
• כדי להשוות בין מודלים שונים.
• כדי לחזות את רמת הדיוק של כל מודל בנתונים ספציפיים, בהקשר של בחירת מודל.

ההערכות של מודלים של למידה מפוקחת ולמידה לא מפוקחת מתבצעות באופן שונה:

• במודלים של למידה מונחית, הערכת המודל מוגדרת היטב. קבוצת הערכה, שהיא נתונים שלא נותחו על ידי המודל, בדרך כלל לא נכללת בקבוצת נתונים לאימון ואז משמשת להערכת הביצועים של המודל. מומלץ לא להשתמש בקבוצת נתונים לאימון לצורך הערכה, כי זה גורם למודל להניב ביצועים נמוכים כשמכלילים את תוצאות החיזוי לנתונים חדשים. התוצאה הזו נקראת התאמת יתר.
• במודלים של למידה לא מפוקחת, הערכת המודל פחות מוגדרת ובדרך כלל משתנה ממודל למודל. מכיוון שמודלים של למידה לא מפוקחת לא שומרים קבוצת נתונים להערכה, מדדי ההערכה מחושבים באמצעות כל קבוצת הנתונים של הקלט.

הצעות להערכת מודלים

‫BigQuery ML מספק את הפונקציות הבאות לחישוב מדדי הערכה של מודלים של למידת מכונה:

קטגוריית המודל	סוגי מודלים	פונקציות להערכת מודלים	מה הפונקציה עושה
למידה מונחית	רגרסיה לינארית רגרסיה של עצים מחוזקים רגרסיה של יער אקראי רגרסיה של DNN רגרסיה של רשת רחבה ועמוקה רגרסיה של AutoML Tables	ML.EVALUATE	הדוח כולל את המדדים הבאים: שגיאה ממוצעת מוחלטת שגיאה ריבועית ממוצעת שגיאת יומן ריבועית ממוצעת שגיאה מוחלטת חציונית ציון r2 שונות מוסברת
	רגרסיה לוגיסטית סיווג עצים משופר סיווג יערות אקראיים סיווג DNN סיווג רחב ועמוק סיווג AutoML Tables	ML.EVALUATE	הדוח כולל את המדדים הבאים: דיוק recall דיוק ציון F1 אובדן לוגריתמי roc auc
		ML.CONFUSION_MATRIX	הפונקציה מחזירה את מטריצת השגיאה.
		ML.ROC_CURVE	הדוחות כוללים מדדים לגבי ערכי סף שונים, כולל המדדים הבאים: recall שיעור התוצאות החיוביות השגויות חיוביים אמיתיים תוצאות חיוביות שגויות שליליים אמיתיים תוצאות שליליות שגויות המאפיין הזה רלוונטי רק למודלים של סיווג בינארי.
למידה לא מפוקחת	K-means	ML.EVALUATE	הפונקציה מחזירה את מדד Davies-Bouldin ואת המרחק הממוצע בריבוע בין נקודות הנתונים לבין מרכזי הכובד של האשכולות שהוקצו.
	פירוק מטריצות	ML.EVALUATE	בדגמים שמבוססים על משוב מפורש, המדדים הבאים מופיעים בדוחות: שגיאה ממוצעת מוחלטת שגיאה ריבועית ממוצעת שגיאת יומן ריבועית ממוצעת שגיאה מוחלטת חציונית ציון r2 שונות מוסברת
			בדגמים שמבוססים על משוב מרומז, המדדים הבאים מופיעים בדוחות: דיוק ממוצע שגיאה ריבועית ממוצעת normalized discounted cumulative gain דירוג ממוצע
	PCA	ML.EVALUATE	הדוח מציג את היחס הכולל של השונות המוסברת.
	Autoencoder	ML.EVALUATE	הדוח כולל את המדדים הבאים: שגיאה ממוצעת מוחלטת שגיאה ריבועית ממוצעת שגיאת יומן ריבועית ממוצעת
פעולות על ציר הזמן	ARIMA_PLUS	ML.EVALUATE	הדוח כולל את המדדים הבאים: שגיאה ממוצעת מוחלטת שגיאה ריבועית ממוצעת טעות ממוצעת באחוזים שגיאה סימטרית ממוצעת באחוזים הפונקציה הזו דורשת נתונים חדשים כקלט.
		ML.ARIMA_EVALUATE	הדוח כולל את המדדים הבאים לכל המודלים האפשריים של ARIMA שמאופיינים על ידי טפלים שונים (p, d, q, has_drift): log_likelihood AIC שונות היא גם מדווחת על מידע אחר לגבי עונתיות, השפעות של חגים, וחריגים של עליות וירידות. הפונקציה הזו לא דורשת נתונים חדשים כקלט.

הערכה אוטומטית ב-CREATE MODEL הצהרות

BigQuery ML תומכת בהערכה אוטומטית במהלך יצירת המודל. בהתאם לסוג המודל, לאפשרויות האימון של פיצול הנתונים ולשימוש בכוונון היפרפרמטרים, מדדי ההערכה מחושבים על מערך נתוני ההערכה השמור, על מערך נתוני הבדיקה השמור או על כל מערך נתוני הקלט.

• במודלים מסוג k-means,‏ PCA,‏ autoencoder ו-ARIMA_PLUS,‏ BigQuery ML משתמש בכל נתוני הקלט כנתוני אימון, ומדדי ההערכה מחושבים על בסיס כל מערך נתוני הקלט.

• במודלים של רגרסיה לינארית ורגרסיה לוגיסטית, עץ מחוזק, יער אקראי, DNN,‏ Wide-and-deep ופירוק מטריצות, מדדי ההערכה מחושבים על סמך מערך הנתונים שצוין באפשרויות הבאות: CREATE MODEL

  • DATA_SPLIT_METHOD
  • DATA_SPLIT_EVAL_FRACTION
  • DATA_SPLIT_COL

  כשמאמנים מודלים מהסוגים האלה באמצעות אופטימיזציה של היפרפרמטרים, האפשרות DATA_SPLIT_TEST_FRACTION עוזרת גם להגדיר את מערך הנתונים שלפיו מחושבים מדדי ההערכה. מידע נוסף מופיע במאמר בנושא פיצול נתונים.

• לגבי מודלים של AutoML Tables, אפשר לעיין במאמר מידע על פיצולי נתונים למודלים של AutoML.

כדי לקבל מדדי הערכה שמחושבים במהלך יצירת המודל, משתמשים בפונקציות הערכה כמו ML.EVALUATE במודל בלי לציין נתוני קלט. דוגמה אפשר לראות במאמר ML.EVALUATE ללא נתוני קלט שצוינו.

הערכה באמצעות מערך נתונים חדש

אחרי שיוצרים מודל, אפשר לציין מערכי נתונים חדשים להערכה. כדי לספק מערך נתונים חדש, משתמשים בפונקציות הערכה כמו ML.EVALUATE במודל עם נתוני קלט שצוינו. דוגמה אפשר לראות במאמר ML.EVALUATE עם סף מותאם אישית ונתוני קלט.

הערכת התוצאות של כל מודל רגרסיה או סיווג

‫ML.METRICS הפונקציה מאפשרת לחשב מדדי הערכה למשימות סיווג או רגרסיה של ML בכל טבלה או שאילתה שמכילות ערכים בפועל וערכים צפויים. הפונקציה הזו מאפשרת להעריך תחזיות בלי ליצור מודל מאוחסן או להפנות אליו.

המאמרים הבאים

מידע נוסף על פונקציות והצהרות SQL נתמכות עבור מודלים שתומכים בהערכה זמין במאמרים הבאים:

• תהליכי משתמש מקצה במודלים של AI גנרטיבי
• תהליכים מלאים שהמשתמשים עוברים במודלים של ML