מדדים של Agent Platform ב-Cloud Monitoring

פלטפורמת הסוכנים של Gemini Enterprise מייצאת מדדים ל-Cloud Monitoring. חלק מהמדדים האלה מופיעים גם במסוף Agent Platform Google Cloud . אתם יכולים להשתמש ב-Cloud Monitoring כדי ליצור לוחות בקרה או להגדיר התראות על סמך המדדים. לדוגמה, אתם יכולים לקבל התראות אם זמן האחזור של החיזוי של מודל ב-Agent Platform ארוך מדי.

בקטעים הבאים מתוארים המדדים שמופיעים במסוף Agent Platform Google Cloud , שיכולים להיות מדדים ישירים או מחושבים ש-Agent Platform שולחת ל-Cloud Monitoring.

כאןaiplatform מופיעה רשימה של רוב המדדים שפלטפורמת הסוכן מייצאת ל-Cloud Monitoring. למדדי אימון בהתאמה אישית, עיינו בסוגי המדדים שמתחילים ב-training בקטע ml.

מדדי מעקב אחרי אימון בהתאמה אישית

כשמבצעים אימון בהתאמה אישית, אפשר לעקוב אחרי סוגי השימוש הבאים במשאבים בכל צומת אימון:

  • ניצול ה-CPU או ה-GPU של כל צומת אימון
  • ניצול הזיכרון של כל צומת אימון
  • שימוש ברשת (בייטים שנשלחו בשנייה ובייטים שהתקבלו בשנייה)

אם אתם משתמשים בכוונון היפר-פרמטרים, תוכלו לראות את המדדים של כל ניסיון.

כדי לראות את המדדים האלה אחרי שהתחלתם אימון בהתאמה אישית:

  1. במסוף Google Cloud , נכנסים לאחד מהדפים הבאים, בהתאם לשימוש בכוונון היפר-פרמטרים:

  2. לוחצים על השם של משאב האימון בהתאמה אישית.

    אם יצרתם משאב TrainingPipeline בהתאמה אישית, לוחצים על שם המשימה שנוצרה על ידי TrainingPipeline, לדוגמה TRAINING_PIPELINE_NAME-custom-job או TRAINING_PIPELINE_NAME-hyperparameter-tuning-job.

  3. לוחצים על הכרטיסייה CPU,‏ GPU או Network כדי לראות את תרשימי הניצול של המדד הרצוי.

    אם אתם משתמשים בכוונון היפר-פרמטרים, אתם יכולים ללחוץ על שורה בטבלה Hyperparamater tuning trials כדי לראות מדדים של ניסוי ספציפי.

כדי לראות מדדים ישנים יותר או להתאים אישית את אופן הצגת המדדים, השתמשו ב-Monitoring. פלטפורמת הסוכנים מייצאת מדדי אימון בהתאמה אישית ל-Monitoring כסוגי מדדים עם הקידומת ml.googleapis.com/training. סוג המשאב במעקב הוא cloudml_job.

שימו לב ש-AI Platform Training מייצא מדדים ל-Monitoring עם אותם סוגי מדדים וסוגי משאבים.

מדדי מעקב אחר נקודות קצה (endpoint)

אחרי שפורסים מודל בנקודת קצה (endpoint), אפשר לעקוב אחרי נקודת הקצה כדי להבין את הביצועים של המודל ואת השימוש במשאבים. אתם יכולים לעקוב אחרי מדדים כמו דפוסי תנועה, שיעורי שגיאות, זמן אחזור וניצול משאבים כדי לוודא שהמודל מגיב לבקשות באופן עקבי וצפוי. לדוגמה, יכול להיות שתפרסו מחדש את המודל עם סוג מכונה אחר כדי לבצע אופטימיזציה של העלות. אחרי שמבצעים את השינוי, אפשר לעקוב אחרי המודל כדי לבדוק אם השינויים השפיעו לרעה על הביצועים שלו.

ב-Cloud Monitoring, סוג המשאב במעקב של מודלים שנפרסו הוא aiplatform.googleapis.com/Endpoint.

מדדים לבדיקת ביצועים

מדדי הביצועים יכולים לעזור לכם למצוא מידע על דפוסי התנועה, השגיאות וזמן האחזור של המודל. אפשר לראות את מדדי הביצועים הבאים במסוף Google Cloud .

  • חיזויים לשנייה: מספר החיזויים לשנייה, גם אונליין וגם באצווה. אם יש יותר ממופע אחד לכל בקשה, כל מופע נספר בתרשים הזה.
  • אחוז שגיאות החיזוי: שיעור השגיאות שהמודל מייצר. שיעור שגיאות גבוה יכול להצביע על בעיה במודל או בבקשות למודל. בודקים את תרשים קודי התגובה כדי לראות אילו שגיאות מתרחשות.
  • זמן האחזור של המודל (רק למודלים טבלאיים ומותאמים אישית): משך הזמן שנדרש לביצוע החישוב.
  • זמן אחזור תקורה (רק למודלים טבלאיים ומודלים בהתאמה אישית): משך הזמן הכולל שנדרש לעיבוד בקשה, לא כולל חישוב.
  • משך זמן האחזור הכולל: משך הזמן הכולל שלוקח לבקשה לעבור בשירות, שהוא זמן האחזור של המודל בתוספת זמן האחזור של התקורה.

שימוש במשאבים

מדדי השימוש במשאבים יכולים לעזור לכם לעקוב אחרי השימוש של המודל במעבד (CPU), בשימוש בזיכרון וברשת. במסוףGoogle Cloud אפשר לראות את מדדי השימוש הבאים:

  • ‫Replica count: מספר הרפליקות הפעילות שבהן משתמש המודל שנפרס.
  • ‫Replica target: מספר הרפליקות הפעילות שנדרשות למודל שנפרס.
  • שימוש ב-CPU: שיעור השימוש הנוכחי בליבת ה-CPU של הרפליקה של המודל שנפרס. ‫100% מייצגים ליבת מעבד אחת שמנוצלת באופן מלא, כך שרפליקה יכולה להגיע לניצול של יותר מ-100% אם לסוג המכונה שלה יש כמה ליבות.
  • שימוש בזיכרון: כמות הזיכרון שהוקצתה על ידי הרפליקה של המודל שנפרס, ונמצאת כרגע בשימוש.
  • ‫Network bytes sent: מספר הבייטים שנשלחו ברשת על ידי הרפליקה של המודל שנפרס.
  • Network bytes received: מספר הבייטים שהתקבלו ברשת על ידי הרפליקה של המודל שנפרס.
  • מחזור פעילות ממוצע של מאיץ: החלק הממוצע של הזמן בתקופת הדגימה האחרונה שבו מאיץ אחד או יותר עיבדו נתונים באופן פעיל.
  • ‫Accelerator memory usage: נפח הזיכרון שהוקצה על ידי הרפליקה של המודל שנפרס.

הצגת תרשימים של מדדי מעקב אחרי נקודות קצה (endpoint)

  1. נכנסים לדף Endpoints של Agent Platform במסוףGoogle Cloud .

    כניסה לדף Endpoints

  2. לוחצים על השם של נקודת הקצה כדי לראות את המדדים שלה.

  3. מתחת למרווחי הזמן של התרשים, לוחצים על Performance או על Resource usage כדי לראות את מדדי הביצועים או את מדדי השימוש במשאבים.

    אתם יכולים לבחור מרווחי זמן שונים בתרשים כדי לראות את ערכי המדדים בתקופה מסוימת, כמו שעה אחת, 12 שעות או 14 ימים.

    אם יש לכם כמה מודלים שנפרסו בנקודת הקצה, אתם יכולים לבחור או לבטל את הבחירה במודלים כדי להציג או להסתיר מדדים של מודלים מסוימים. אם בוחרים כמה מודלים, המסוף מקבץ חלק מהמדדים של המודלים בתרשים אחד. לדוגמה, אם מדד מסוים מספק רק ערך אחד לכל מודל, המסוף מקבץ את מדדי המודל לתרשים אחד, כמו שימוש ב-CPU. למדדים שיכולים להיות להם כמה ערכים לכל מודל, המסוף מספק תרשים לכל מודל. לדוגמה, במסוף יש תרשים של קודי תגובה לכל מודל.

מדדי מעקב ב-Vertex AI Feature Store (דור קודם)

אחרי שיוצרים מאגר תכונות באמצעות Vertex AI Feature Store (דור קודם), אפשר לעקוב אחרי הביצועים וניצול המשאבים שלו, כמו זמני האחזור של הצגת הנתונים באחסון אונליין או מספר הצמתים של האחסון אונליין. לדוגמה, יכול להיות שתרצו לעקוב אחרי השינויים במדדי ההצגה של האחסון אונליין אחרי עדכון מספר הצמתים של האחסון אונליין במאגר פיצ'רים.

ב-Cloud Monitoring, סוג המשאב במעקב של מאגר הפיצ'רים הוא aiplatform.googleapis.com/Featurestore.

מדדים

  • גודל הבקשה: גודל הבקשה לפי סוג הישות במאגר הפיצ'רים.
  • כתיבה באחסון אופליין לכתיבה בסטרימינג: מספר הבקשות לכתיבה בסטרימינג שעובדו לאחסון אופליין.
  • זמן ההשהיה של כתיבה בסטרימינג לאחסון אופליין: הזמן שחלף (בשניות) בין הקריאה ל-API של הכתיבה לבין הכתיבה לאחסון אופליין.
  • מספר הצמתים: מספר הצמתים למילוי בקשות אונליין במאגר הפיצ'רים.
  • זמן אחזור: משך הזמן הכולל שלוקח לבקשה למילוי בקשה באופן מיידי או להטמעת עדכונים בזמן אמת להתבצע בשירות.
  • שאילתות לשנייה: מספר השאילתות של מילוי בקשה באופן מיידי או הטמעת עדכונים בזמן אמת שמאגר הפיצ'רים מטפל בהן.
  • אחוז השגיאות: אחוז השגיאות שנוצרות במאגר הפיצ'רים כשמטפלים בבקשות למילוי בקשה באופן מיידי או להטמעת עדכונים בזמן אמת.
  • ‫CPU utilization: החלק של המעבד (CPU) שהוקצה על ידי מאגר הפיצ'רים, שמשמש את האחסון אונליין. המספר הזה יכול להיות גבוה מ-100% אם יש עומס יתר על האחסון של מילוי הבקשות באופן מיידי. כדי להפחית את ניצול ה-CPU, מומלץ להגדיל את מספר הצמתים של מילוי הבקשות באופן מיידי במאגר הפיצ'רים.
  • ‫CPU utilization - hottest node: העומס על המעבד (CPU) בצומת הכי פעיל במאגר הנתונים של מאגר הפיצ'רים.
  • נפח האחסון הכולל אופליין: כמות הנתונים שמאוחסנים באחסון אופליין של מאגר הפיצ'רים.
  • ‫Total online storage: כמות הנתונים שמאוחסנים באחסון אונליין של מאגר הפיצ'רים.
  • ‫Online serving throughput: קצב העברת הנתונים של בקשות למילוי בקשה באופן מיידי, ב-MBps.

הצגת תרשימים של מדדי מעקב במאגר הפיצ'רים

  1. נכנסים לדף Features של Agent Platform במסוףGoogle Cloud .

    כניסה לדף "תכונות"

  2. בעמודה Featurestore, לוחצים על שם מאגר הפיצ'רים כדי לראות את המדדים שלו.

    אתם יכולים לבחור מרווחים שונים בתרשים כדי לראות את ערכי המדדים בתקופה מסוימת, כמו שעה, יום או שבוע.

    בחלק מהמדדים של מילוי בקשות באופן מיידי, אפשר לבחור להציג מדדים של שיטה מסוימת, שמחלקת את המדדים לפי סוג ישות. לדוגמה, אפשר לראות את זמן האחזור של השיטה ReadFeatureValues או של השיטה StreamingReadFeatureValues.

מדדי מעקב ב-Vertex AI Feature Store

אחרי שמגדירים מילוי בקשות אונליין באמצעות Vertex AI Feature Store, אפשר לעקוב אחרי הביצועים וניצול המשאבים. לדוגמה, אתם יכולים לעקוב אחרי עומסי המעבד (CPU), מספר הצמתים למילוי בקשות אופטימלי באופן מיידי ומספר הבקשות למילוי.

ב-Cloud Monitoring, סוג המשאב במעקב של מכונה של חנות אונליין הוא aiplatform.googleapis.com/FeatureOnlineStore.

מדדים

  • בייטים מאוחסנים: כמות הנתונים בבייטים במכונה של חנות האונליין.

  • עומס על המעבד (CPU): העומס הממוצע על המעבד של הצמתים במכונה של חנות אונליין.

  • ‫CPU load (hottest node): עומס ה-CPU של הצומת הכי חם במכונה של החנות הווירטואלית.

  • מספר הצמתים: מספר הצמתים למילוי בקשות אונליין במופע של חנות אונליין שמוגדר למילוי בקשות אונליין ב-Bigtable.

  • מספר הצמתים שעברו אופטימיזציה: מספר הצמתים למילוי בקשות אונליין במכונה של חנות אונליין שמוגדרת למילוי בקשות אונליין שעבר אופטימיזציה.

  • מספר הבקשות: מספר הבקשות שהתקבלו על ידי המכונה של החנות אונליין.

  • זמן האחזור של הבקשה: זמן האחזור של הבקשה בצד השרת של המכונה של חנות אונליין.

  • ספירת בייטים בתגובה: כמות הנתונים בבייטים שנשלחו בתגובות למילוי בקשות באופן מיידי.

  • גיל נתוני ההצגה: גיל נתוני ההצגה בשניות, שנמדד כהפרש בין השעה הנוכחית לבין השעה של הסנכרון האחרון.

  • סנכרונים פעילים: מספר הסנכרונים הפעילים בנקודת זמן נתונה.

  • הצגת נתונים לפי זמן הסנכרון: פירוט הנתונים במופע של חנות אונליין לפי חותמת הזמן של הסנכרון.