מבוא ל-Vertex AI Model Monitoring

בדף הזה מובאת סקירה כללית על Vertex AI Model Monitoring.

סקירה כללית של מעקב

בעזרת Vertex AI Model Monitoring אתם יכולים להריץ משימות מעקב לפי הצורך או לפי לוח זמנים קבוע, כדי לעקוב אחרי האיכות של המודלים הטבלאיים שלכם. אם הגדרתם התראות, Vertex AI Model Monitoring מודיע לכם כשמדדים עוברים את הסף שצוין.

לדוגמה, נניח שיש לכם מודל שמנבא את ערך הלקוח לטווח הארוך. כשהרגלי הלקוחות משתנים, גם הגורמים שמנבאים את הוצאות הלקוחות משתנים. לכן, יכול להיות שהתכונות וערכי התכונות ששימשו לאימון המודל בעבר לא רלוונטיים להסקת מסקנות היום. הסטייה הזו בנתונים נקראת סחף.

בעזרת Vertex AI Model Monitoring אפשר לעקוב אחרי סטיות ולשלוח התראות כשהן חורגות מסף שצוין. לאחר מכן תוכלו להעריך מחדש את המודל או לאמן אותו מחדש כדי לוודא שהוא מתנהג כמו שרציתם.

לדוגמה, Vertex AI Model Monitoring יכול לספק הצגות חזותיות כמו באיור הבא, שבו מוצגים שני גרפים משני מערכי נתונים. הוויזואליזציה הזו מאפשרת להשוות במהירות בין שני מערכי הנתונים ולראות את ההבדלים ביניהם.

דוגמה להתפלגות מספרית של קבוצות נתונים של בסיס ושל יעד.

גרסאות של Vertex AI Model Monitoring

‫Vertex AI Model Monitoring מציע שני מוצרים: גרסה 2 וגרסה 1.

הכלי למעקב אחרי מודלים גרסה 2 נמצא בתצוגה מקדימה והוא הגרסה העדכנית ביותר שמשייכת את כל משימות המעקב לגרסת מודל. לעומת זאת, Model Monitoring v1 זמין לכולם ומוגדר בנקודות קצה של Vertex AI.

אם אתם צריכים תמיכה ברמת הייצור ורוצים לעקוב אחרי מודל שנפרס בנקודת קצה של Vertex AI, אתם יכולים להשתמש בגרסה 1 של Model Monitoring. לכל שאר תרחישי השימוש, כדאי להשתמש בגרסה 2 של Model Monitoring, שמספקת את כל היכולות של גרסה 1 ועוד. מידע נוסף זמין בסקירה הכללית של כל גרסה:

למשתמשים קיימים בגרסה 1 של הכלי למעקב אחרי מודלים, הגרסה הזו תמשיך לפעול כמו שהיא. אתם לא נדרשים לעבור לגרסה 2 של הכלי למעקב אחרי מודלים. אם רוצים לבצע מיגרציה, אפשר להשתמש בשתי הגרסאות בו-זמנית עד שתבצעו מיגרציה מלאה לגרסה 2 של Model Monitoring. כך תוכלו להימנע מפערים במעקב במהלך המעבר.

סקירה כללית של Model Monitoring v2

הכלי למעקב אחרי מודלים בגרסה 2 מאפשר לעקוב אחרי מדדים לאורך זמן אחרי שמגדירים מעקב אחרי מודל ומריצים משימות מעקב. אתם יכולים להפעיל משימות ניטור לפי דרישה או להגדיר הפעלות מתוזמנות. באמצעות הפעלות מתוזמנות, Model Monitoring מפעיל באופן אוטומטי משימות מעקב על סמך לוח זמנים שאתם מגדירים.

מעקב אחרי יעדים

המדדים וערכי הסף שאתם עוקבים אחריהם ממופים ליעדי מעקב. לכל גרסת מודל אפשר לציין יעד ניטור אחד או יותר. בטבלה הבאה מפורט כל יעד:

מטרה תיאור סוג הנתונים של התכונה מדדים נתמכים
סחף של נתוני תכונות הקלט

המדד הזה מודד את ההתפלגות של ערכי תכונות הקלט בהשוואה להתפלגות נתוני בסיס.

 קטגורי: בוליאני, מחרוזת, קטגורי
  • L-Infinity
  • Jensen Shannon Divergence
מספרי: float, integer Jensen Shannon Divergence
סחף של נתוני הסקה בפלט

מדידת התפלגות הנתונים של ההסקות של המודל בהשוואה להתפלגות נתוני בסיס.

 קטגורי: בוליאני, מחרוזת, קטגורי
  • L-Infinity
  • Jensen Shannon Divergence
מספרי: float, integer Jensen Shannon Divergence
שיוך תכונות

המדד הזה מודד את השינוי בתרומה של התכונות למסקנה של המודל בהשוואה לערך בסיס. לדוגמה, אתם יכולים לעקוב אחרי תכונה חשובה מאוד ולראות אם חלה ירידה פתאומית בחשיבות שלה.

 כל סוגי הנתונים ערך SHAP (הסברים מצטברים של שאפלי)

סחיפה של תכונות קלט והסקה של פלט

אחרי שמודל נפרס בסביבת ייצור, נתוני הקלט יכולים להיות שונים מהנתונים ששימשו לאימון המודל, או שהפיזור של נתוני המאפיינים בסביבת הייצור יכול להשתנות באופן משמעותי לאורך זמן. בעזרת 'מעקב אחרי מודלים' גרסה 2 אפשר לעקוב אחרי שינויים בהתפלגות של נתוני הייצור בהשוואה לנתוני האימון, או לעקוב אחרי ההתפתחות של התפלגות נתוני הייצור לאורך זמן.

באופן דומה, לגבי נתוני הסקה, ב'מעקב אחרי מודלים' גרסה 2 אפשר לעקוב אחרי שינויים בפיזור של התוצאות החזויות בהשוואה לפיזור של נתוני האימון או נתוני הייצור לאורך זמן.

שיוך תכונות

שיוך מאפיינים מציין את מידת התרומה של כל מאפיין במודל למסקנות לגבי כל מופע נתון. ציוני השיוך פרופורציונליים לתרומה של התכונה להסקת מסקנות של המודל. בדרך כלל הם חתומים, ומציינים אם תכונה מסוימת עוזרת להעלות או להוריד את ההסקה. הסכום של כל השיוכים בכל התכונות צריך להיות שווה לציון ההסקה של המודל.

באמצעות מעקב אחרי שיוכים של תכונות, Model Monitoring v2 עוקב אחרי שינויים בתרומות של תכונה למסקנות של מודל לאורך זמן. שינוי בציון השיוך של תכונה מרכזית לרוב מעיד על כך שהתכונה השתנתה באופן שיכול להשפיע על הדיוק של ההסקות של המודל.

מידע נוסף על שיוך תכונות ומדדים זמין במאמרים הסברים מבוססי-תכונות ושיטת Shapley עם דגימה.

איך מגדירים את Model Monitoring v2

קודם צריך לרשום את המודלים ב-Vertex AI Model Registry. אם אתם מציגים מודלים מחוץ ל-Vertex AI, אתם לא צריכים להעלות את ארטיפקט המודל. לאחר מכן יוצרים כלי למעקב אחרי מודלים, משייכים אותו לגרסת מודל ומגדירים את סכימת המודל. בחלק מהמודלים, כמו מודלים של AutoML, הסכימה מסופקת לכם.

בכלי למעקב אחרי מודלים, אפשר לציין הגדרות ברירת מחדל כמו יעדי מעקב, מערך נתונים לאימון, מיקום פלט של מעקב והגדרות התראות. מידע נוסף זמין במאמר בנושא הגדרת מעקב אחרי מודלים.

אחרי שיוצרים כלי למעקב אחרי מודל, אפשר להריץ משימת מעקב לפי דרישה או לתזמן משימות קבועות למעקב רציף. כשמריצים משימה, המערכת משתמשת בהגדרת ברירת המחדל שמוגדרת בכלי למעקב אחרי מודלים, אלא אם מספקים הגדרת מעקב אחרת. לדוגמה, אם תספקו יעדי מעקב שונים או מערך נתונים שונה להשוואה, התכונה 'מעקב אחר מודלים' תשתמש בהגדרות של הג'וב במקום בהגדרת ברירת המחדל של המעקב אחר המודל. מידע נוסף זמין במאמר בנושא הפעלת משימת מעקב.

תמחור

לא נחייב אתכם על Model Monitoring v2 במהלך התצוגה המקדימה. עדיין תחויבו על השימוש בשירותים אחרים, כמו Cloud Storage,‏ BigQuery,‏ Vertex AI batch inferences,‏ Vertex AI ניתן להסברה ו-Cloud Logging.

מדריכים ל-Notebook

במדריכים הבאים מוסבר איך להשתמש ב-Vertex AI SDK ל-Python כדי להגדיר את הגרסה השנייה של מעקב אחרי מודלים עבור המודל שלכם.

הכלי למעקב אחרי מודלים גרסה 2: משימת היקש באצווה של מודל בהתאמה אישית

הכלי למעקב אחרי מודלים גרסה 2: הסקת מסקנות אונליין במודל בהתאמה אישית

Model Monitoring v2: Models outside Vertex AI

סקירה כללית של Model Monitoring v1

כדי לעזור לכם לשמור על רמת הביצועים של המודל, Model Monitoring v1 עוקב אחרי נתוני הקלט של ההסקה של המודל כדי לזהות הטיה וסחף בתכונות:

  • הטיה בין אימון להצגה מתרחשת כשהתפלגות נתוני התכונות בסביבת הייצור שונה מהתפלגות נתוני התכונות ששימשו לאימון המודל. אם נתוני האימון המקוריים זמינים, אתם יכולים להפעיל את התכונה 'זיהוי הטיה' כדי לעקוב אחרי המודלים שלכם ולזהות training-serving skew.

  • סחף של הסקה מתרחש כשהתפלגות נתוני התכונות בסביבת הייצור משתנה באופן משמעותי לאורך זמן. אם נתוני האימון המקוריים לא זמינים, אפשר להפעיל זיהוי סחיפה כדי לעקוב אחרי שינויים בנתוני הקלט לאורך זמן.

אפשר להפעיל גם את זיהוי ההטיה וגם את זיהוי הסחף.

ב-Model Monitoring v1 יש תמיכה בזיהוי של הטיה וסחף בתכונות קטגוריות ומספריות:

  • תכונות קטגוריות הן נתונים שמוגבלים לפי מספר הערכים האפשריים, בדרך כלל מקובצים לפי מאפיינים איכותיים. לדוגמה, קטגוריות כמו סוג מוצר, מדינה או סוג לקוח.

  • תכונות מספריות הן נתונים שיכולים להיות כל ערך מספרי. לדוגמה, משקל וגובה.

אם ההטיה או הסחף של תכונה במודל חורגים מסף ההתראה שהגדרתם, Model Monitoring v1 שולח לכם התראה באימייל. אפשר גם לראות את ההתפלגויות של כל תכונה לאורך זמן כדי להעריך אם צריך לאמן מחדש את המודל.

חישוב הסחף

כדי לזהות סחף בגרסה v1, מערכת Vertex AI Model Monitoring משתמשת ב-TensorFlow Data Validation‏ (TFDV) כדי לחשב את ההתפלגויות וציוני המרחק.

  1. חישוב ההתפלגות הסטטיסטית של הנתונים הבסיסיים:

    • לזיהוי הטיה, נקודת הבסיס היא ההתפלגות הסטטיסטית של ערכי התכונה בנתוני האימון.

    • לצורך זיהוי סחף, נקודת הבסיס היא ההתפלגות הסטטיסטית של ערכי התכונה שנצפו בסביבת הייצור בעבר.

    ההתפלגויות של תכונות קטגוריות ומספריות מחושבות באופן הבא:

    • עבור מאפיינים קטגוריים, ההתפלגות המחושבת היא מספר המקרים או אחוז המקרים של כל ערך אפשרי של המאפיין.

    • עבור תכונות מספריות, המערכת של Vertex AI Model Monitoring מחלקת את טווח הערכים האפשריים של התכונה למרווחים שווים ומחשבת את המספר או את אחוז הערכים של התכונה שנכללים בכל מרווח.

    הערך הבסיסי מחושב כשיוצרים משימת מעקב אחרי מודלים ב-Vertex AI, והוא מחושב מחדש רק אם מעדכנים את מערך הנתונים לאימון של המשימה.

  2. חישוב ההתפלגות הסטטיסטית של ערכי התכונות האחרונים שנראו בסביבת הייצור.

  3. משווים את הפיזור של הערכים האחרונים של התכונה בסביבת הייצור לפיזור הבסיסי על ידי חישוב ציון המרחק:

  4. כשציון המרחק בין שני התפלגויות סטטיסטיות חורג מהסף שאתם מציינים, Vertex AI Model Monitoring מזהה את האנומליה כהטיה או כסחף.

בדוגמה הבאה מוצגות הטיה או סחף בין בסיס ההשוואה לבין ההתפלגויות האחרונות של מאפיין קטגורי:

התפלגות קהל הבסיס

דוגמה להתפלגות התכונות של קבוצת נתוני הבסיס.

ההפצה האחרונה

דוגמה להתפלגות של תכונות בקבוצת הנתונים האחרונה.

בדוגמה הבאה מוצגות סטיות או שינויים בין חלוקת הבסיס לחלוקה האחרונה של תכונה מספרית:

התפלגות קהל הבסיס

דוגמה להתפלגות התכונות של קבוצת נתוני הבסיס.

ההפצה האחרונה

דוגמה להתפלגות של תכונות בקבוצת הנתונים האחרונה.

שיקולים לשימוש בכלי למעקב אחרי מודלים

  • כדי לחסוך בעלויות, אפשר להגדיר שיעור דגימה של בקשות הסקה כדי לעקוב אחרי קבוצת משנה של נתוני הקלט של המודל.

  • אפשר להגדיר תדירות שבה המערכת תעקוב אחרי נתוני הקלט שנרשמו לאחרונה במודל שנפרס, כדי לזהות הטיה או סחף. תדירות המעקב קובעת את טווח הזמן, או את גודל חלון המעקב, של הנתונים שנרשמים ביומן ומנותחים בכל הפעלה של המעקב.

  • אתם יכולים לציין ספי התראה לכל תכונה שאתם רוצים לעקוב אחריה. התראה נרשמת ביומן כשהמרחק הסטטיסטי בין התפלגות תכונת הקלט לבין ערך הבסיס התואם חורג מהסף שצוין. כברירת מחדל, כל מאפיין קטגורי ומספרי נמצא במעקב, עם ערכי סף של 0.3.

  • נקודת קצה אונליין להסקת מסקנות יכולה לארח כמה מודלים. כשמפעילים זיהוי של הטיה או סחף בנקודת קצה, פרמטרי ההגדרה הבאים משותפים לכל המודלים שמארחים בנקודת הקצה הזו:

    • סוג הזיהוי
    • תדירות המעקב
    • חלק מהבקשות לקלט שנמצאות במעקב

    לגבי פרמטרים אחרים של הגדרות, אפשר להגדיר ערכים שונים לכל מודל.

המאמרים הבאים