חלק קריטי בשיטה המדעית הוא תיעוד התצפיות והפרמטרים של הניסוי. במדעי הנתונים, חשוב גם לעקוב אחרי הפרמטרים, הארטיפקטים והמדדים שמשמשים בניסוי של למידת מכונה (ML). המטא-נתונים האלה עוזרים לכם:
- ניתוח הרצות של מערכת ML לייצור כדי להבין את השינויים באיכות התחזיות.
- ניתוח של ניסויים ב-ML כדי להשוות את היעילות של קבוצות שונות של היפרפרמטרים.
- מעקב אחרי שושלת נתונים של ארטיפקטים של למידת מכונה, למשל קבוצות נתונים ומודלים, כדי להבין מה תרם ליצירת ארטיפקט או איך הארטיפקט הזה שימש ליצירת ארטיפקטים צאצאים.
- להריץ מחדש תהליך עבודה של למידת מכונה עם אותם פריטי מידע שנוצרו בתהליך הפיתוח (Artifacts) ואותם פרמטרים.
- מעקב אחר השימוש בפריטי ML למטרות ניהול.
Agent Platform ML Metadata מאפשרת לכם לתעד את המטא-נתונים והארטיפקטים שנוצרו על ידי מערכת ה-ML שלכם, ולשאול שאילתות לגבי המטא-נתונים האלה כדי לעזור בניתוח, בניפוי באגים ובבדיקת הביצועים של מערכת ה-ML או הארטיפקטים שהיא יוצרת.
התכונה Agent Platform ML Metadata מבוססת על המושגים שמשמשים בספריית ML Metadata (MLMD) בקוד פתוח שפותחה על ידי צוות TensorFlow Extended של Google.
סקירה כללית על Agent Platform ML Metadata
Agent Platform ML Metadata מתעדת את המטא-נתונים של מערכת ה-ML שלכם כגרף.
בתרשים המטא-נתונים, פריטים וביצועים הם צמתים, ואירועים הם קשתות שמקשרות בין פריטים כקלט או כפלט של ביצועים. הקשרים מייצגים תרשימים משניים שמשמשים לקיבוץ לוגי של קבוצות של פריטים וביצועים.
אתם יכולים להחיל מטא-נתונים של זוגות מפתח/ערך על ארטיפקטים, הפעלות והקשרים. לדוגמה, למודל יכולים להיות מטא-נתונים שמתארים את המסגרת שבה נעשה שימוש לאימון המודל ומדדי ביצועים, כמו הדיוק, הפרסיז'ן והריקול של המודל.
מידע נוסף על מעקב אחרי מטא-נתונים של מערכת למידת מכונה. אם אתם רוצים לנתח מטא-נתונים מפייפליינים של Agent Platform, כדאי לעיין במדריך המפורט הזה.
שושלת נתונים של ארטיפקטים של למידת מכונה
כדי להבין את השינויים בביצועים של מערכת למידת מכונה (ML), צריך להיות אפשר לנתח את המטא-נתונים שנוצרו בתהליך העבודה של ה-ML ואת ההיסטוריה של הארטיפקטים. ההיסטוריה של ארטיפקט כוללת את כל הגורמים שתרמו ליצירה שלו, וגם ארטיפקטים ומטא-נתונים שנגזרים מהארטיפקט הזה.
לדוגמה, שושלת של מודל יכולה לכלול את הפרטים הבאים:
- נתוני האימון, הבדיקה וההערכה ששימשו ליצירת המודל.
- ההיפר-פרמטרים שבהם נעשה שימוש במהלך אימון המודל.
- הקוד ששימש לאימון המודל.
- מטא-נתונים שתועדו במהלך תהליך האימון וההערכה, כמו רמת הדיוק של המודל.
- ארטיפקטים שנוצרו מהמודל הזה, כמו תוצאות של תחזיות באצווה.
באמצעות מעקב אחרי המטא-נתונים של מערכת למידת המכונה (ML) באמצעות Agent Platform ML Metadata, תוכלו לענות על שאלות כמו:
- באיזה מערך נתונים השתמשו כדי לאמן מודל מסוים?
- אילו מודלים בארגון שלי אומנו באמצעות מערך נתונים מסוים?
- איזו הרצה הפיקה את המודל הכי מדויק, ואילו היפרפרמטרים שימשו לאימון המודל?
- לאילו יעדי פריסה נפרס מודל מסוים ומתי הוא נפרס?
- איזו גרסה של המודל שימשה ליצירת תחזית בנקודת זמן מסוימת?
מידע נוסף על ניתוח המטא-נתונים של מערכת ה-ML