תהליכים שהמשתמשים עוברים מתחילת האינטראקציה עם מודלים של למידת מכונה ועד סופה

במאמר הזה מתוארים תהליכי העבודה של משתמשים במודלים של למידת מכונה (ML) שאומנו ב-BigQuery ML, כולל ההצהרות והפונקציות שאפשר להשתמש בהן כדי לעבוד עם מודלים של ML. BigQuery ML מציעה את הסוגים הבאים של מודלים של למידת מכונה:

• מודלים של למידה מונחית:

  • רגרסיה לינארית ולוגיסטית
  • רשת נוירונים עמוקה (DNN)
  • Wide & Deep
  • Boosted trees
  • יער אקראי
  • AutoML

• מודלים של למידה לא מפוקחת:

  • גיבוש דפי אינטרנט לאשכולות לפי K-means
  • פירוק מטריצות
  • Autoencoder
  • ניתוח רכיבים עיקריים (PCA)

• מודלים של טרנספורמציה בלבד: מודלים של טרנספורמציה בלבד הם לא מודלים טיפוסיים של למידת מכונה, אלא ארטיפקטים שמבצעים טרנספורמציה של נתונים גולמיים לתכונות.

תהליכי יצירת מודלים

בטבלה הבאה מפורטים המשפטים והפונקציות שבהם אפשר להשתמש כדי ליצור מודלים ולשפר אותם:

קטגוריית המודל	סוג המודל	יצירת מודל	עיבוד מקדים של תכונות	כוונון היפר-פרמטרים^1	משקלים של מודלים	מידע על תכונות והדרכות	מדריכים
למידה מונחית	רגרסיה לינארית ולוגיסטית	CREATE MODEL	עיבוד מקדים אוטומטי עיבוד מקדים ידני	Hyperparameter tuning ML.TRIAL _INFO	ML.WEIGHTS	ML.FEATURE _INFO ML.TRAINING _INFO	Use linear regression to predict penguin weight Perform classification with a logistic regression model
	רשתות נוירונים עמוקות (DNN)	CREATE MODEL	עיבוד מקדים אוטומטי עיבוד מקדים ידני	Hyperparameter tuning ML.TRIAL _INFO	לא רלוונטי^2	ML.FEATURE _INFO ML.TRAINING _INFO	לא רלוונטי
	רשתות עמוקות בהקשר רחב	CREATE MODEL	עיבוד מקדים אוטומטי עיבוד מקדים ידני	כוונון היפר-פרמטרים ML.TRIAL _INFO	לא רלוונטי^2	ML.FEATURE _INFO ML.TRAINING _INFO	לא רלוונטי
	עצים מחוזקים	CREATE MODEL	עיבוד מקדים אוטומטי עיבוד מקדים ידני	כוונון היפר-פרמטרים ML.TRIAL _INFO	לא רלוונטי^2	ML.FEATURE _INFO ML.TRAINING _INFO	ביצוע סיווג באמצעות מודל של עצים משופרים
	יער אקראי	CREATE MODEL	עיבוד מקדים אוטומטי עיבוד מקדים ידני	כוונון היפר-פרמטרים ML.TRIAL _INFO	לא רלוונטי^2	ML.FEATURE _INFO ML.TRAINING _INFO	לא רלוונטי
	סיווג ורגרסיה ב-AutoML	CREATE MODEL	‫AutoML מבצע הנדסת פיצ'רים (feature engineering) באופן אוטומטי	‫AutoML מבצע באופן אוטומטי כוונון של היפרפרמטרים	לא רלוונטי^2	ML.FEATURE _INFO ML.TRAINING _INFO	לא רלוונטי
למידה לא מפוקחת	K-means	CREATE MODEL	עיבוד מקדים אוטומטי עיבוד מקדים ידני	כוונון היפר-פרמטרים ML.TRIAL _INFO	ML.CENTROIDS	ML.FEATURE _INFO ML.TRAINING _INFO	חיפוש אשכולות בנתונים של תחנות השכרת אופניים
	פירוק מטריצות לגורמים	CREATE MODEL	לא רלוונטי	כוונון היפר-פרמטרים ML.TRIAL _INFO	ML.WEIGHTS	ML.FEATURE _INFO ML.TRAINING _INFO	יצירת המלצות לסרטים באמצעות משוב מפורש יצירת המלצות לתוכן באמצעות משוב מרומז
	ניתוח רכיבים עיקריים (PCA)	CREATE MODEL	עיבוד מקדים אוטומטי עיבוד מקדים ידני	לא רלוונטי	ML.PRINCIPAL _COMPONENTS ML.PRINCIPAL _COMPONENT _INFO	ML.FEATURE _INFO ML.TRAINING _INFO	לא רלוונטי
	Autoencoder	CREATE MODEL	עיבוד מקדים אוטומטי עיבוד מקדים ידני	כוונון היפר-פרמטרים ML.TRIAL _INFO	לא רלוונטי^2	ML.FEATURE _INFO ML.TRAINING _INFO	לא רלוונטי
טרנספורמציה בלבד	טרנספורמציה בלבד	CREATE MODEL	עיבוד מקדים ידני	לא רלוונטי	לא רלוונטי	ML.FEATURE _INFO	לא רלוונטי

¹דוגמה מפורטת לשימוש בכוונון היפר-פרמטרים מופיעה במאמר שיפור ביצועי המודל באמצעות כוונון היפר-פרמטרים.

‫²BigQuery ML לא מציע פונקציה לאחזור המשקלים של המודל הזה. כדי לראות את המשקלים של המודל, אפשר לייצא את המודל מ-BigQuery ML ל-Cloud Storage ואז להשתמש בספריית XGBoost או בספריית TensorFlow כדי להציג את מבנה העץ של מודלים של עצים או את מבנה הגרף של רשתות עצביות. מידע נוסף זמין במאמרים EXPORT MODEL וייצוא מודל BigQuery ML לחיזוי אונליין.

תהליכים שעוברים המשתמשים במודל

בטבלה הבאה מפורטים המשפטים והפונקציות שבהם אפשר להשתמש כדי להעריך מודלים, לקבל מהם הסברים ותחזיות:

קטגוריית המודל	סוג המודל	הערכה	הסקת מסקנות	הסבר מ-AI	מעקב אחרי מודלים
למידה מונחית	רגרסיה לינארית ולוגיסטית	ML.EVALUATE ML.CONFUSION _MATRIX^1 ML.ROC_CURVE^2	ML.PREDICT ML.TRANSFORM	ML.EXPLAIN_PREDICT^3 ML.GLOBAL_EXPLAIN ML.ADVANCED_WEIGHTS^5	ML.DESCRIBE_DATA ML.VALIDATE_DATA _DRIFT ML.VALIDATE_DATA _SKEW ML.TFDV_DESCRIBE ML.TFDV_VALIDATE
	רשתות נוירונים עמוקות (DNN)	ML.EVALUATE ML.CONFUSION _MATRIX^1 ML.ROC_CURVE^2	ML.PREDICT ML.TRANSFORM	ML.EXPLAIN_PREDICT^3 ML.GLOBAL_EXPLAIN ML.ADVANCED_WEIGHTS^5	ML.DESCRIBE_DATA ML.VALIDATE_DATA _DRIFT ML.VALIDATE_DATA _SKEW ML.TFDV_DESCRIBE ML.TFDV_VALIDATE
	רשתות עמוקות בהקשר רחב	ML.EVALUATE ML.CONFUSION _MATRIX^1 ML.ROC_CURVE^2	ML.PREDICT ML.TRANSFORM	ML.EXPLAIN_PREDICT^3 ML.GLOBAL_EXPLAIN ML.ADVANCED_WEIGHTS^5	ML.DESCRIBE_DATA ML.VALIDATE_DATA _DRIFT ML.VALIDATE_DATA _SKEW ML.TFDV_DESCRIBE ML.TFDV_VALIDATE
	עצים מחוזקים	ML.EVALUATE ML.CONFUSION _MATRIX^1 ML.ROC_CURVE^2	ML.PREDICT ML.TRANSFORM	ML.EXPLAIN_PREDICT^3 ML.GLOBAL_EXPLAIN ML.FEATURE_IMPORTANCE^4	ML.DESCRIBE_DATA ML.VALIDATE_DATA _DRIFT ML.VALIDATE_DATA _SKEW ML.TFDV_DESCRIBE ML.TFDV_VALIDATE
	יער אקראי	ML.EVALUATE ML.CONFUSION _MATRIX^1 ML.ROC_CURVE^2	ML.PREDICT ML.TRANSFORM	ML.EXPLAIN_PREDICT^3 ML.GLOBAL_EXPLAIN ML.FEATURE_IMPORTANCE^4	ML.DESCRIBE_DATA ML.VALIDATE_DATA _DRIFT ML.VALIDATE_DATA _SKEW ML.TFDV_DESCRIBE ML.TFDV_VALIDATE
	סיווג ורגרסיה ב-AutoML	ML.EVALUATE ML.CONFUSION _MATRIX^1 ML.ROC_CURVE^2	ML.PREDICT	ML.GLOBAL_EXPLAIN	ML.DESCRIBE_DATA ML.VALIDATE_DATA _DRIFT ML.VALIDATE_DATA _SKEW ML.TFDV_DESCRIBE ML.TFDV_VALIDATE
למידה לא מפוקחת	K-means	ML.EVALUATE	ML.PREDICT ML.DETECT _ANOMALIES ML.TRANSFORM	לא רלוונטי	ML.DESCRIBE_DATA ML.VALIDATE_DATA _DRIFT ML.VALIDATE_DATA _SKEW ML.TFDV_DESCRIBE ML.TFDV_VALIDATE
	פירוק מטריצות לגורמים	ML.EVALUATE	ML.RECOMMEND ML.GENERATE _EMBEDDING	לא רלוונטי	לא רלוונטי
	ניתוח רכיבים עיקריים (PCA)	ML.EVALUATE	ML.PREDICT ML.GENERATE _EMBEDDING ML.DETECT _ANOMALIES ML.TRANSFORM	לא רלוונטי	ML.DESCRIBE_DATA ML.VALIDATE_DATA _DRIFT ML.VALIDATE_DATA _SKEW ML.TFDV_DESCRIBE ML.TFDV_VALIDATE
	Autoencoder	ML.EVALUATE	ML.PREDICT ML.GENERATE _EMBEDDING ML.DETECT _ANOMALIES ML.RECONSTRUCTION _LOSS ML.TRANSFORM	לא רלוונטי	ML.DESCRIBE_DATA ML.VALIDATE_DATA _DRIFT ML.VALIDATE_DATA _SKEW ML.TFDV_DESCRIBE ML.TFDV_VALIDATE
טרנספורמציה בלבד	טרנספורמציה בלבד	לא רלוונטי	ML.TRANSFORM	לא רלוונטי	לא רלוונטי

‫¹ML.CONFUSION_MATRIX רלוונטי רק למודלים של סיווג.

הערך ²ML.ROC_CURVE רלוונטי רק למודלים של סיווג בינארי.

‫³הפונקציה ML.EXPLAIN_PREDICT כוללת את הפונקציה ML.PREDICT כי הפלט שלה הוא קבוצת-על של התוצאות של ML.PREDICT.

⁴ כדי להבין את ההבדל בין ML.GLOBAL_EXPLAIN לבין ML.FEATURE_IMPORTANCE, אפשר לעיין בסקירה הכללית על AI ניתן להסברה.

‫⁵הפונקציה ML.ADVANCED_WEIGHTS כוללת את הפונקציה ML.WEIGHTS כי הפלט שלה הוא קבוצת-על של התוצאות של ML.WEIGHTS.