מדדים של Agent Platform ב-Cloud Monitoring

‫Gemini Enterprise Agent Platform מייצא מדדים אל Cloud Monitoring. חלק מהמדדים האלה מוצגים גם ב Google Cloud מסוף של Agent Platform. אתם יכולים להשתמש ב-Cloud Monitoring כדי ליצור לוחות בקרה או להגדיר התראות על סמך המדדים. לדוגמה, תוכלו לקבל התראות אם זמן האחזור של תחזית של מודל ב-Agent Platform גבוה מדי.

בקטעים הבאים מפורטים המדדים שמוצגים במסוף של Agent Platform Google Cloud , שיכולים להיות מדדים ישירים או מדדים מחושבים ש-Agent Platform שולח ל-Cloud Monitoring.

רשימה של רוב המדדים ש-Agent Platform מייצאת ל-Cloud Monitoring מופיעה במאמר aiplatform. לגבי מדדים מותאמים אישית של אימון, אפשר לעיין בסוגי המדדים שמתחילים ב-training בקטע ml.

מדדי מעקב מותאמים אישית לאימון

כשמבצעים אימון בהתאמה אישית, אפשר לעקוב אחרי סוגי השימוש הבאים במשאבים של כל צומת אימון:

  • ניצול יחידת העיבוד המרכזית (CPU) או יחידת העיבוד הגרפי (GPU) של כל צומת אימון
  • ניצול הזיכרון של כל צומת אימון
  • שימוש ברשת (בייטים שנשלחו לשנייה ובייטים שהתקבלו לשנייה)

אם אתם משתמשים בכוונון היפרפרמטרים, תוכלו לראות את המדדים של כל ניסיון.

כדי לראות את המדדים האלה אחרי שמתחילים אימון מותאם אישית, צריך לבצע את הפעולות הבאות:

  1. במסוף Google Cloud , עוברים לאחד מהדפים הבאים, בהתאם לשאלה אם אתם משתמשים באופטימיזציה של היפרפרמטרים:

  2. לוחצים על השם של מקור הנתונים המותאם אישית לאימון.

    אם יצרתם משאב TrainingPipeline מותאם אישית, לוחצים על שם העבודה שנוצרה על ידי TrainingPipeline. לדוגמה, TRAINING_PIPELINE_NAME-custom-job או TRAINING_PIPELINE_NAME-hyperparameter-tuning-job.

  3. לוחצים על הכרטיסייה CPU,‏ GPU או Network כדי לראות תרשימי ניצול של המדד שמעניין אתכם.

    אם אתם משתמשים באופטימיזציה של היפרפרמטרים, אתם יכולים ללחוץ על שורה בטבלה Hyperparamater tuning trials כדי לראות את המדדים של ניסיון ספציפי.

כדי לראות מדדים ישנים יותר או להתאים אישית את אופן הצגת המדדים, אפשר להשתמש בכלי 'מעקב'. פלטפורמת הסוכנים מייצאת מדדים מותאמים אישית של אימון ל-Monitoring בתור סוגי מדדים עם הקידומת ml.googleapis.com/training. סוג המשאב שבמעקב הוא cloudml_job.

שימו לב, AI Platform Training מייצא מדדים ל-Monitoring עם אותם סוגי מדדים וסוגי משאבים.

מדדים של מעקב אחרי נקודות קצה

אחרי שמציבים מודל בנקודת קצה, אפשר לעקוב אחרי נקודת הקצה כדי להבין את הביצועים של המודל ואת השימוש במשאבים. אתם יכולים לעקוב אחרי מדדים כמו דפוסי תנועה, שיעורי שגיאות, זמן אחזור וניצול משאבים כדי לוודא שהמודל מגיב לבקשות באופן עקבי וצפוי. לדוגמה, אפשר לפרוס מחדש את המודל עם סוג מכונה שונה כדי לבצע אופטימיזציה של העלות. אחרי שמבצעים את השינוי, אפשר לעקוב אחרי המודל כדי לבדוק אם השינויים השפיעו לרעה על הביצועים שלו.

ב-Cloud Monitoring, סוג המשאב במעקב של מודלים שפרסתם הוא aiplatform.googleapis.com/Endpoint.

מדדים לבדיקת ביצועים

מדדי הביצועים יכולים לעזור לכם למצוא מידע על דפוסי התנועה, השגיאות וזמן האחזור של המודל. אפשר לראות את מדדי הביצועים הבאים במסוף Google Cloud .

  • תחזיות לשנייה: מספר התחזיות לשנייה, כולל תחזיות אונליין ותחזיות באצווה. אם יש יותר ממופע אחד לכל בקשה, כל מופע נספר בתרשים הזה.
  • אחוז שגיאות החיזוי: שיעור השגיאות שהמודל מייצר. שיעור שגיאות גבוה עשוי להצביע על בעיה במודל או בבקשות שנשלחות למודל. כדי לזהות אילו שגיאות מתרחשות, מעיינים בתרשים של קודי התגובה.
  • זמן האחזור של המודל (רק למודלים טבלאיים ולמודלים מותאמים אישית): הזמן שנדרש לביצוע החישוב.
  • חביון תקורה (רק עבור מודלים טבלאיים ומודלים בהתאמה אישית): הזמן הכולל שנדרש לעיבוד בקשה, לא כולל החישוב.
  • משך זמן האחזור הכולל: הזמן הכולל שחולף מרגע שליחת הבקשה ועד לקבלת התשובה מהשירות. זהו זמן האחזור של המודל בתוספת זמן האחזור של התקורה.

שימוש במשאבים

מדדים של שימוש במשאבים יכולים לעזור לכם לעקוב אחרי השימוש במעבד (CPU), שימוש בזיכרון וברוחב הפס של המודל. במסוףGoogle Cloud אפשר לראות את מדדי השימוש הבאים.

  • מספר העותקים: מספר העותקים הפעילים שבהם נעשה שימוש במודל שנפרס.
  • Replica target: מספר הרפליקות הפעילות שנדרשות למודל שנפרס.
  • השימוש במעבד: שיעור השימוש הנוכחי בליבת המעבד של העותק של המודל שפרסתם. ‫100% מייצג ליבת CPU אחת בשימוש מלא, כך ששכפול יכול להגיע לניצול של יותר מ-100% אם סוג המכונה שלו כולל כמה ליבות.
  • השימוש בזיכרון: כמות הזיכרון שהוקצתה על ידי העותק של המודל שנפרס, ושנמצאת בשימוש כרגע.
  • בייטים שנשלחו ברשת: מספר הבייטים שנשלחו ברשת על ידי העותק של המודל שפרסתם.
  • בייטים שהתקבלו ברשת: מספר הבייטים שהתקבלו ברשת על ידי העתק של המודל שפרסתם.
  • מחזור עבודה ממוצע של מאיץ: החלק הממוצע של הזמן במהלך תקופת הדגימה האחרונה שבו מאיץ אחד או יותר עיבדו באופן פעיל.
  • השימוש בזיכרון של המאיץ: נפח הזיכרון שהוקצה על ידי העותק של המודל שנפרס.

הצגת תרשימים של מדדי מעקב אחרי נקודות קצה

  1. נכנסים לדף Endpoints של Agent Platform במסוףGoogle Cloud .

    כניסה לדף Endpoints

  2. לוחצים על השם של נקודת קצה כדי לראות את המדדים שלה.

  3. מתחת למרווחי התרשים, לוחצים על ביצועים או על שימוש במשאבים כדי לראות את מדדי הביצועים או השימוש במשאבים.

    אפשר לבחור מרווחי זמן שונים בתרשים כדי לראות את ערכי המדדים לאורך תקופה מסוימת, כמו שעה, 12 שעות או 14 ימים.

    אם פרסתם כמה מודלים בנקודת הקצה, תוכלו לבחור או לבטל את הבחירה במודלים כדי להציג או להסתיר מדדים של מודלים מסוימים. אם בוחרים כמה מודלים, המסוף מקבץ חלק מהמדדים של המודלים בתרשים אחד. לדוגמה, אם מדד מספק רק ערך אחד לכל מודל, במסוף המדדים של המודל מקובצים בתרשים אחד, כמו שימוש במעבד. למדדים שיכולים להיות להם כמה ערכים לכל מודל, במסוף מוצג תרשים לכל מודל. לדוגמה, במסוף מוצג תרשים של קודי תגובה לכל מודל.

מדדי מעקב של Vertex AI Feature Store (גרסה קודמת)

אחרי שיוצרים מאגר תכונות באמצעות Vertex AI Feature Store (גרסה קודמת), אפשר לעקוב אחרי הביצועים וניצול המשאבים שלו, כמו זמן האחזור של שרת האחסון אונליין או מספר הצמתים של האחסון אונליין. לדוגמה, יכול להיות שתרצו לעקוב אחרי השינויים במדדי שרת האחסון אונליין אחרי עדכון מספר הצמתים של האחסון אונליין במאגר התכונות.

ב-Cloud Monitoring, סוג המשאב במעקב של מאגר תכונות הוא aiplatform.googleapis.com/Featurestore.

מדדים

  • גודל הבקשה: גודל הבקשה לפי סוג ישות במאגר התכונות.
  • ‫Offline storage write for streaming write: מספר הבקשות לכתיבה של נתונים בסטרימינג שמעובדות באחסון אופליין.
  • Streaming write to offline storage delay time (זמן ההשהיה של כתיבת סטרימינג לאחסון אופליין): הזמן שחלף (בשניות) בין הקריאה ל-API של הכתיבה לבין הכתיבה לאחסון אופליין.
  • מספר הצמתים: מספר הצמתים המקוונים להצגת נתונים במאגר התכונות.
  • זמן תגובה: הזמן הכולל שבקשה למילוי בקשה באופן מיידי או להטמעת עדכונים בזמן אמת מבלה בשירות.
  • שאילתות לשנייה: מספר השאילתות של הטמעה של סטרימינג או של הצגה אונליין שהמאגר של התכונות מטפל בהן.
  • אחוז השגיאות: אחוז השגיאות שמאגר הפיצ'רים מייצר כשמטפלים בבקשות למילוי בקשה באופן מיידי או בבקשות להטמעת עדכונים בזמן אמת.
  • ניצול המעבד: החלק היחסי של המעבד שהוקצה על ידי מאגר הפיצ'רים, שנעשה בו שימוש באחסון אונליין. המספר הזה יכול להיות גבוה מ-100% אם יש עומס יתר על האחסון של הצגת המודעות אונליין. כדי להקטין את השימוש במעבד, כדאי להגדיל את מספר הצמתים למילוי בקשה באופן מיידי במאגר התכונות.
  • ניצול המעבד – הצומת הכי חם: עומס המעבד בצומת הכי חם באחסון אונליין של מאגר התכונות.
  • סה"כ נפח האחסון במצב אופליין: כמות הנתונים שמאוחסנים באחסון במצב אופליין של מאגר התכונות.
  • נפח האחסון הכולל אונליין: כמות הנתונים שמאוחסנים באחסון אונליין של מאגר התכונות.
  • תפוקה של מילוי בקשות אונליין: התפוקה של מילוי בקשות אונליין, ביחידות של MB לשנייה.

צפייה בתרשימים של מדדי מעקב במאגר הפיצ'רים

  1. נכנסים לדף Features של Agent Platform במסוףGoogle Cloud .

    כניסה לדף Features

  2. בעמודה Featurestore, לוחצים על השם של מאגר התכונות כדי לראות את המדדים שלו.

    אפשר לבחור מרווחי זמן שונים בתרשים כדי לראות את ערכי המדדים לאורך תקופה מסוימת, למשל שעה, יום או שבוע.

    בחלק מהמדדים של הצגת מודעות באינטרנט, אפשר לבחור להציג מדדים של שיטה מסוימת, וכך לקבל פירוט נוסף של המדדים לפי סוג הישות. לדוגמה, אפשר להציג את זמן האחזור של השיטה ReadFeatureValues או של השיטה StreamingReadFeatureValues.

מדדי מעקב ב-Vertex AI Feature Store

אחרי שמגדירים מילוי בקשות אונליין באמצעות Vertex AI Feature Store, אפשר לעקוב אחרי הביצועים וניצול המשאבים. לדוגמה, אפשר לעקוב אחרי עומסי המעבד, מספר הצמתים של Optimized online serving ומספר בקשות ההצגה.

ב-Cloud Monitoring, סוג המשאב במעקב של מופע של חנות וירטואלית הוא aiplatform.googleapis.com/FeatureOnlineStore.

מדדים

  • בייטים מאוחסנים: כמות הנתונים בבייטים במופע של החנות הווירטואלית.

  • עומס על המעבד: העומס הממוצע על המעבד של הצמתים במופע של החנות הווירטואלית.

  • עומס על המעבד (הצומת הכי חם): העומס על המעבד של הצומת הכי חם במופע של החנות אונליין.

  • מספר הצמתים: מספר הצמתים המקוונים של שרתים עבור מופע של חנות וירטואלית שהוגדר להצגה אונליין ב-Bigtable.

  • מספר הצמתים שעברו אופטימיזציה: מספר הצמתים המקוונים של שרתים עבור מופע של חנות אונליין שהוגדר לאופטימיזציה של שרתים אונליין.

  • מספר הבקשות: מספר הבקשות שהתקבלו במופע של החנות הווירטואלית.

  • זמן האחזור של הבקשה: זמן האחזור של הבקשה בצד השרת של מופע החנות הווירטואלית.

  • מספר הבייטים בתגובה: כמות הנתונים בבייטים שנשלחים בתגובות להצגת מודעות אונליין.

  • גיל נתוני התצוגה: גיל נתוני התצוגה בשניות, שנמדד כהפרש בין השעה הנוכחית לבין השעה של הסנכרון האחרון.

  • סנכרונים פעילים: מספר הסנכרונים הפעילים בנקודת זמן מסוימת.

  • הצגת נתונים לפי זמן מסונכרן: פירוט של הנתונים במופע של החנות הווירטואלית לפי חותמת הזמן המסונכרנת.