חלק קריטי בשיטה המדעית הוא תיעוד התצפיות והפרמטרים של הניסוי. במדעי הנתונים, חשוב גם לעקוב אחרי הפרמטרים, הארטיפקטים והמדדים שמשמשים בניסוי של למידת מכונה (ML). המטא-נתונים האלה עוזרים לכם:
- ניתוח של הרצות של מערכת ML לייצור כדי להבין שינויים באיכות התחזיות.
- ניתוח של ניסויים ב-ML כדי להשוות את היעילות של קבוצות שונות של היפרפרמטרים.
- מעקב אחרי השושלת של ארטיפקטים של למידת מכונה, למשל מערכי נתונים ומודלים, כדי להבין מה תרם ליצירת ארטיפקט או איך הארטיפקט הזה שימש ליצירת ארטיפקטים צאצאים.
- להפעיל מחדש תהליך עבודה של למידת מכונה עם אותם פריטי מידע שנוצרו בתהליך הפיתוח (Artifacts) ואותם פרמטרים.
- מעקב אחרי השימוש בפריטי ML למטרות ניהול.
בעזרת Vertex ML Metadata אפשר לשמור את המטא-נתונים והארטיפקטים שנוצרו על ידי מערכת ה-ML שלכם, ולשאול שאילתות לגבי המטא-נתונים האלה כדי לעזור בניתוח, בניפוי באגים ובבדיקת הביצועים של מערכת ה-ML או של הארטיפקטים שהיא יוצרת.
Vertex ML Metadata מבוסס על המושגים שבהם נעשה שימוש בספריית ML Metadata (MLMD) בקוד פתוח, שפותחה על ידי צוות TensorFlow Extended של Google.
סקירה כללית על Vertex ML Metadata
Vertex ML Metadata מתעד את המטא-נתונים של מערכת ה-ML שלכם כגרף.
בתרשים המטא-נתונים, פריטי מידע והרצות הם צמתים, ואירועים הם קשתות שמקשרות בין פריטי מידע כקלט או כפלט של הרצות. ההקשרים מייצגים תתי-גרפים שמשמשים לקיבוץ הגיוני של קבוצות של ארטיפקטים והרצות.
אפשר להחיל מטא-נתונים של צמדי מפתח/ערך על ארטיפקטים, הפעלות והקשרים. לדוגמה, למודל יכולים להיות מטא-נתונים שמתארים את המסגרת שבה נעשה שימוש כדי לאמן את המודל ומדדי ביצועים, כמו הדיוק, הפרציזיה והרגישות של המודל.
מידע נוסף על מעקב אחרי מטא-נתונים של מערכת ML אם אתם רוצים לנתח מטא-נתונים מ-Vertex AI Pipelines, כדאי לעיין במדריך המפורט הזה.
ML artifact lineage
כדי להבין את השינויים בביצועים של מערכת למידת המכונה (ML), צריך לנתח את המטא-נתונים שנוצרו בתהליך העבודה של למידת המכונה ואת ההיסטוריה של הארטיפקטים שלה. השיוך של ארטיפקט כולל את כל הגורמים שתורמים ליצירה שלו, וגם ארטיפקטים ומטא-נתונים שנגזרים מהארטיפקט הזה.
לדוגמה, שושלת של מודל יכולה לכלול את המידע הבא:
- נתוני האימון, הבדיקה וההערכה ששימשו ליצירת המודל.
- ההיפר-פרמטרים שבהם נעשה שימוש במהלך אימון המודל.
- הקוד ששימש לאימון המודל.
- מטא-נתונים שתועדו במהלך תהליך האימון וההערכה, כמו רמת הדיוק של המודל.
- ארטיפקטים שנובעים מהמודל הזה, כמו התוצאות של תחזיות אצווה.
באמצעות מעקב אחר המטא-נתונים של מערכת ה-ML באמצעות Vertex ML Metadata, תוכלו לענות על שאלות כמו:
- באיזה מערך נתונים השתמשו כדי לאמן מודל מסוים?
- אילו מודלים בארגון שלי אומנו באמצעות מערך נתונים מסוים?
- איזה ריצה הניבה את המודל הכי מדויק, ואילו היפר-פרמטרים שימשו לאימון המודל?
- לאילו יעדי פריסה נפרס מודל מסוים ומתי הוא נפרס?
- איזו גרסה של המודל שימשה ליצירת תחזית בנקודת זמן מסוימת?
מידע נוסף על ניתוח המטא-נתונים של מערכת ה-ML