נתוני תמונות שלום: הערכה וניתוח של ביצועי המודל

אפשר להשתמש במסוף Google Cloud כדי לבדוק את ביצועי המודל. לנתח את השגיאות בבדיקה כדי לשפר את איכות המודל באופן איטרטיבי על ידי תיקון בעיות בנתונים.

המדריך הזה כולל כמה דפים:

1. מגדירים את הפרויקט ואת הסביבה.

2. יוצרים מערך נתונים לסיווג תמונות ומייבאים תמונות.

3. אימון מודל AutoML לסיווג תמונות

4. הערכה וניתוח של ביצועי המודל.

5. פריסת מודל לנקודת קצה ושליחת חיזוי.

6. פינוי מקום בפרויקט

בכל דף מניחים שכבר ביצעתם את ההוראות מהדפים הקודמים של המדריך.

1. הסבר על תוצאות ההערכה של מודל AutoML

אחרי שהאימון מסתיים, המודל נבדק אוטומטית מול נתוני הבדיקה. כדי לראות את תוצאות ההערכה המתאימות, לוחצים על שם המודל בדף Model Registry או בדף Dataset.

שם תוכלו למצוא את המדדים למדידת הביצועים של המודל.

בקטע הערכה, בדיקה ופריסה של המודל מופיע הסבר מפורט יותר על מדדי הערכה שונים.

2. ניתוח תוצאות הבדיקה

אם רוצים להמשיך לשפר את ביצועי המודל, השלב הראשון הוא בדרך כלל לבדוק את מקרי השגיאות ולחקור את הסיבות האפשריות. בדף ההערכה של כל כיתה מוצגות תמונות בדיקה מפורטות של הכיתה הנתונה, שמסווגות כתוצאות שליליות כוזבות, תוצאות חיוביות כוזבות ותוצאות חיוביות אמיתיות. ההגדרה של כל קטגוריה מופיעה בקטע Evaluate, test, and deploy your model.

לכל תמונה בכל קטגוריה, אפשר ללחוץ על התמונה כדי לבדוק את פרטי התחזית ולקבל גישה לתוצאות הניתוח המפורטות. בצד ימין של הדף יופיע הפאנל בדיקת תמונות דומות, שבו מוצגות הדוגמאות הכי קרובות מקבוצת נתונים לאימון עם מרחקים שנמדדו במרחב התכונות.

יש שני סוגים של בעיות בנתונים שכדאי לשים לב אליהן:

1. חוסר עקביות בתווית. אם דוגמה דומה מבחינה ויזואלית מקבוצת נתונים לאימון כוללת תוויות שונות מהדוגמה שנבדקת, יכול להיות שאחת מהן שגויה, או שההבדל העדין דורש יותר נתונים כדי שהמודל יוכל ללמוד מהם, או שהתוויות הנוכחיות של המחלקה פשוט לא מדויקות מספיק כדי לתאר את הדוגמה הנתונה. בדיקת תמונות דומות יכולה לעזור לכם לוודא שהמידע בתווית מדויק. אפשר לתקן את המקרים שבהם יש שגיאות או להחריג את הדוגמה הבעייתית מקבוצת הנתונים לבדיקה. בנוסף, בחלונית בדיקת תמונות דומות באותו דף, אפשר לשנות בקלות את התווית של תמונת הבדיקה או של תמונות האימון.

2. חריגים. אם דוגמה לבדיקה מסומנת כחריגה, יכול להיות שאין דוגמאות דומות מבחינה ויזואלית בקבוצת הנתונים לאימון שיעזרו לאמן את המודל. בדיקה של תמונות דומות מתוך קבוצת נתונים לאימון יכולה לעזור לכם לזהות את הדוגמאות האלה ולהוסיף תמונות דומות לקבוצת נתונים לאימון כדי לשפר עוד יותר את ביצועי המודל במקרים האלה.

המאמרים הבאים

אם אתם מרוצים מביצועי המודל, אפשר לעבור אל הדף הבא במדריך הזה כדי לפרוס את מודל ה-AutoML שאומן לנקודת קצה ולשלוח תמונה למודל לצורך חיזוי. אחרת, אם מבצעים תיקונים בנתונים, צריך לאמן מודל חדש באמצעות המדריך אימון מודל לסיווג תמונות ב-AutoML.