Introduction to Vertex AI Experiments

‫Vertex AI Experiments הוא כלי שעוזר לעקוב אחרי ארכיטקטורות שונות של מודלים, היפרפרמטרים וסביבות אימון ולנתח אותם. הכלי מאפשר לעקוב אחרי השלבים, נתוני הקלט והפלט של הרצת ניסוי. בנוסף, באמצעות Vertex AI Experiments אפשר להעריך את הביצועים של המודל במצטבר, בהשוואה למערכי נתוני בדיקה ובמהלך הפעלת האימון. אחר כך תוכלו להשתמש במידע הזה כדי לבחור את המודל הכי טוב לתרחיש השימוש הספציפי שלכם.

הפעלת ניסויים לא כרוכה בחיובים נוספים. אתם מחויבים רק על המשאבים שבהם אתם משתמשים במהלך הניסוי, כפי שמתואר בתמחור של Vertex AI.

מה ברצונך לעשות? דוגמה ל-notebook
מעקב אחרי מדדים ופרמטרים השוואה בין מודלים
מעקב אחר שרשרת הניסויים אימון המודל
מעקב אחרי הפעלות של צינורות עיבוד נתונים השוואה בין הרצות של צינורות עיבוד נתונים

מעקב אחרי שלבים, קלטים ופלטים

בעזרת Vertex AI Experiments אפשר לעקוב אחרי:

  • שלבים בהרצת ניסוי, למשל, עיבוד מראש, אימון,
  • קלט, לדוגמה, אלגוריתם, פרמטרים, מערכי נתונים,
  • פלט של השלבים האלה, למשל מודלים, נקודות ביקורת ומדדים.

כך תוכלו להבין מה עבד ומה לא, ולזהות דרכים נוספות להתנסות.

דוגמאות לתהליכי משתמשים אפשר לראות במאמרים הבאים:

ניתוח ביצועי המודל

באמצעות Vertex AI Experiments אפשר לעקוב אחרי הביצועים של המודל באופן מצטבר, בהשוואה למערכי נתוני בדיקה ובמהלך הרצת האימון, ולהעריך אותם. היכולת הזו עוזרת להבין את מאפייני הביצועים של המודלים – באיזו מידה מודל מסוים עובד טוב באופן כללי, איפה הוא נכשל ואיפה הוא מצטיין.

דוגמאות לתהליכי משתמשים אפשר לראות במאמרים הבאים:

השוואה בין ביצועי המודלים

ב-Vertex AI Experiments אפשר לקבץ ולהשוות בין כמה מודלים בהרצות של ניסויים. לכל מודל יש פרמטרים, טכניקות מידול, ארכיטקטורות וקלט משלו. הגישה הזו עוזרת לבחור את המודל הכי טוב.

דוגמאות לתהליכי משתמשים אפשר לראות במאמרים הבאים:

ניסויים בקמפיינים לרשת החיפוש

במסוף Google Cloud מוצגת תצוגה מרכזית של הניסויים, תצוגה של כל ההרצות של הניסוי ופרטים על כל הרצה. ‫Vertex AI SDK ל-Python מספק ממשקי API לצריכת ניסויים, הרצות ניסויים, פרמטרים של הרצות ניסויים, מדדים וארטיפקטים.

‫Vertex AI Experiments, יחד עם Vertex ML Metadata, מספק דרך למצוא את הארטיפקטים שעוקבים אחריהם בניסוי. כך תוכלו לראות במהירות את שרשרת המקור של הארטיפקט, ואת הארטיפקטים שנצרכו והופקו על ידי השלבים בהרצה.

היקף התמיכה

‫Vertex AI Experiments תומך בפיתוח מודלים באמצעות Vertex AI custom training,‏ Vertex AI Workbench notebooks,‏ Notebooks וכל מסגרות Python ML ברוב מסגרות ה-ML. במקרים מסוימים, כמו ב-TensorFlow,‏ Vertex AI Experiments מספק שילובים עמוקים בתוך המסגרת, מה שהופך את חוויית המשתמש למושלמת. במקרים של מסגרות אחרות של למידת מכונה, Vertex AI Experiments מספקת Vertex AI SDK ל-Python שהוא ניטרלי למסגרות, ואפשר להשתמש בו. (ראו: קונטיינרים מוכנים מראש ל-TensorFlow,‏ scikit-learn,‏ PyTorch ו-XGBoost).

מודלים ומושגים של נתונים

‫Vertex AI Experiments הוא הקשר ב-Vertex ML Metadata שבו ניסוי יכול להכיל n הרצות של ניסויים בנוסף ל-n הרצות של צינורות. הרצה של ניסוי כוללת פרמטרים, מדדי סיכום, מדדים של סדרות זמן ומשאבי Vertex AI‏ PipelineJob, Artifact ו-Execution. ‫Vertex AI TensorBoard, גרסה מנוהלת של TensorBoard בקוד פתוח, משמשת לאחסון מדדים של סדרות זמן. אפשר לראות את ההרצות והארטיפקטים של צינור עיבוד נתונים במסוףGoogle Cloud .

התנאים של Vertex AI Experiments

ניסוי, הפעלת ניסוי והפעלת צינור עיבוד נתונים

ניסוי
  • ניסוי הוא הקשר שיכול להכיל קבוצה של n הרצות של ניסויים בנוסף להרצות של צינורות, שבהן משתמש יכול לבדוק, כקבוצה, הגדרות שונות כמו פריטי קלט או היפרפרמטרים.
מידע נוסף על יצירת ניסוי

הרצת ניסוי
  • ביצוע ספציפי שאפשר לעקוב אחריו במסגרת ניסוי ב-Vertex AI, שמתעד קלטים (כמו אלגוריתם, פרמטרים וערכות נתונים) ופלטים (כמו מודלים, נקודות ביקורת ומדדים) כדי לעקוב אחרי איטרציות של פיתוח למידת מכונה ולהשוות ביניהן. מידע נוסף זמין במאמר בנושא יצירה וניהול של הרצות ניסויים.
מידע נוסף זמין במאמר יצירה וניהול של הרצות ניסויים.

הפעלת צינור עיבוד נתונים
  • אפשר לשייך ניסוי למשימה אחת או יותר של צינור עיבוד נתונים ב-Vertex, כאשר כל משימה של צינור עיבוד נתונים מיוצגת כהפעלה יחידה. בהקשר הזה, הפרמטרים של ההרצה נגזרים מהפרמטרים של PipelineJob. המדדים נגזרים מהמערכת.ארטיפקטים של מדדים שנוצרו על ידי PipelineJob. הארטיפקטים של הריצה נגזרים מארטיפקטים שנוצרו על ידי PipelineJob.
אפשר לשייך משאב אחד או יותר של Vertex AI PipelineJob למשאב ExperimentRun. בהקשר הזה, המערכת לא מסיקה את הפרמטרים, המדדים והארטיפקטים.

איך משייכים צינור עיבוד נתונים לניסוי

פרמטרים ומדדים

מידע על פרמטרים של יומן

מדדי סיכום
  • מדדי הסיכום הם ערך יחיד לכל מפתח מדד בהרצת ניסוי. לדוגמה, דיוק הבדיקה של ניסוי הוא הדיוק שמחושב ביחס למערך נתוני בדיקה בסוף האימון, שאפשר לתעד אותו כמדד סיכום של ערך יחיד.

מדדי סיכום של יומנים

מדדים של סדרות עיתיות
  • מדדים של סדרות עיתיות הם ערכים של מדדים לאורך זמן, שכל ערך מייצג שלב בחלק של שגרת האימון בהרצה. מדדים של סדרות עיתיות מאוחסנים ב-Vertex AI TensorBoard. ב-Vertex AI Experiments מאוחסן הפניה למשאב Vertex TensorBoard.

מדדים של סדרות זמנים ביומן

סוגי המשאבים

pipeline job
  • משימת צינור עיבוד נתונים או הרצה של צינור עיבוד נתונים תואמות למשאב PipelineJob ב-Vertex AI API. זוהי דוגמה להרצה של הגדרת צינור עיבוד נתונים של למידת מכונה, שמוגדרת כקבוצה של משימות למידת מכונה שמקושרות ביניהן באמצעות יחסי תלות של קלט-פלט.

artifact
  • ארטיפקט הוא ישות נפרדת או חלק נתונים שנוצרים ונצרכים על ידי תהליך עבודה של למידת מכונה. דוגמאות לארטיפקטים: מערכי נתונים, מודלים, קובצי קלט ויומני אימון.

באמצעות Vertex AI Experiments אפשר להשתמש בסכימה כדי להגדיר את סוג הארטיפקט. לדוגמה, סוגי הסכימות הנתמכים כוללים system.Dataset,‏ system.Model ו-system.Artifact. מידע נוסף זמין במאמר בנושא סכימות מערכת.

מדריך ל-Notebook

המאמרים הבאים