אפשר להשתמש במסוף Google Cloud כדי לבדוק את ביצועי המודל. לנתח שגיאות במבחנים כדי לשפר את איכות המודל באופן איטרטיבי על ידי תיקון בעיות בנתונים.
המדריך הזה כולל כמה דפים:
הערכה וניתוח של ביצועי המודל.
בכל דף מניחים שכבר ביצעתם את ההוראות מהדפים הקודמים של המדריך.
1. הסבר על תוצאות ההערכה של מודל AutoML
אחרי שהאימון מסתיים, המודל נבדק אוטומטית מול נתוני הבדיקה. כדי לראות את תוצאות ההערכה המתאימות, לוחצים על שם המודל בדף Model Registry או בדף Dataset.
משם תוכלו למצוא את המדדים למדידת הביצועים של המודל.
בקטע הערכה, בדיקה ופריסה של המודל מופיע הסבר מפורט יותר על מדדי הערכה שונים.
2. ניתוח תוצאות הבדיקה
אם רוצים להמשיך לשפר את ביצועי המודל, השלב הראשון הוא בדרך כלל לבדוק את מקרים השגיאה ולחקור את הסיבות האפשריות. בדף ההערכה של כל כיתה מוצגות תמונות בדיקה מפורטות של הכיתה הנתונה, שמסווגות כתוצאות שליליות כוזבות, תוצאות חיוביות כוזבות ותוצאות חיוביות אמיתיות. ההגדרה של כל קטגוריה מופיעה בקטע הערכה, בדיקה ופריסה של המודל.
לגבי כל תמונה בכל קטגוריה, אפשר ללחוץ על התמונה כדי לבדוק את פרטי התחזית ולקבל גישה לתוצאות הניתוח המפורטות. בצד ימין של הדף יופיע הפאנל בדיקת תמונות דומות, שבו מוצגות הדוגמאות הכי קרובות מקבוצת הנתונים לאימון עם מרחקים שנמדדו במרחב התכונות.
יש שני סוגים של בעיות בנתונים שכדאי לשים לב אליהן:
חוסר עקביות בתווית. אם דוגמה דומה מבחינה ויזואלית מסט האימון כוללת תוויות שונות מהדוגמה לבדיקה, יכול להיות שאחת מהן שגויה, או שההבדל העדין דורש יותר נתונים כדי שהמודל ילמד ממנו, או שהתוויות הנוכחיות של המחלקה פשוט לא מדויקות מספיק כדי לתאר את הדוגמה הנתונה. בדיקת תמונות דומות יכולה לעזור לכם לוודא שהמידע בתווית מדויק. תוכלו לתקן את המקרים שבהם יש שגיאות או להחריג את הדוגמה הבעייתית מקבוצת הנתונים לבדיקה. בנוסף, בחלונית בדיקת תמונות דומות באותו הדף, אפשר לשנות בקלות את התווית של תמונת הבדיקה או של תמונות האימון.
ערכים חריגים. אם דגימת בדיקה מסומנת כחריגה, יכול להיות שאין במערך האימון דגימות דומות מבחינה ויזואלית שיעזרו לאמן את המודל. בדיקה של תמונות דומות מתוך קבוצת נתונים לאימון יכולה לעזור לכם לזהות את הדוגמאות האלה ולהוסיף תמונות דומות לקבוצת נתונים לאימון כדי לשפר עוד יותר את ביצועי המודל במקרים האלה.
המאמרים הבאים
אם אתם מרוצים מביצועי המודל, אפשר לעבור אל הדף הבא במדריך הזה כדי לפרוס את מודל ה-AutoML שאומן לנקודת קצה ולשלוח תמונה למודל לצורך חיזוי. אחרת, אם מבצעים תיקונים בנתונים, צריך לאמן מודל חדש באמצעות המדריך אימון מודל לסיווג תמונות ב-AutoML.