במאמר הזה מוסבר איך לעקוב אחרי ההתנהגות, התקינות והביצועים של המודלים בניהול מלא ב-Gemini Enterprise Agent Platform. במאמר מוסבר איך להשתמש בלוח הבקרה המובנה של ניטור המודלים כדי לקבל תובנות לגבי השימוש במודלים, לזהות בעיות של זמן אחזור ולפתור שגיאות.
אתם תלמדו איך:
- לגשת למרכז הבקרה של ניראות המודל ולהבין את הנתונים שמוצגים בו.
- לצפות במדדי המעקב הזמינים.
- מעקב אחרי התנועה בנקודת הקצה של המודל באמצעות Metrics Explorer.
איך פותחים את מרכז הבקרה של ניראות המודל ומבינים את הנתונים שבו
ב-Agent Platform יש לוח בקרה מובנה לתצפית על מודלים, שמאפשר לראות את ההתנהגות, התקינות והביצועים של מודלים בניהול מלא. מודלים בניהול מלא, שנקראים גם "מודל כשירות" (MaaS), מסופקים על ידי Google וכוללים את מודלי Gemini מבית Google ומודלים של שותפים עם נקודות קצה מנוהלות. מדדים ממודלים באירוח עצמי לא נכללים במרכז הבקרה.
פלטפורמת הסוכנים אוספת ומדווחת באופן אוטומטי על פעילות ממודלים של MaaS, כדי לעזור לכם לפתור במהירות בעיות של זמן אחזור ולעקוב אחרי הקיבולת.
תרחיש לדוגמה
מפתחי אפליקציות יכולים לראות איך המשתמשים יוצרים אינטראקציה עם המודלים שהם חשפו. לדוגמה, אתם יכולים לראות את המגמות לאורך זמן של השימוש במודל (בקשות למודל לשנייה) ושל עוצמת המחשוב של ההנחיות של המשתמשים (זמני האחזור של הפעלת המודל). לכן, מכיוון שהמדדים האלה קשורים לשימוש במודל, אתם יכולים גם להעריך את העלויות של הפעלת כל מודל.
אם מתעוררת בעיה, אתם יכולים לפתור אותה במהירות ממרכז הבקרה. כדי לבדוק אם המודלים מגיבים בצורה מהימנה ובזמן, אתם יכולים לבדוק את שיעורי השגיאות ב-API, את זמני האחזור של הטוקן הראשון ואת קצב העברת הנתונים של הטוקנים.
מדדי המעקב הזמינים
בלוח הבקרה של ניטור המודל מוצגת קבוצת משנה של מדדים שנאספים על ידי Cloud Monitoring, כמו בקשות למודל לשנייה (QPS), תפוקת טוקנים וזמני אחזור של הטוקן הראשון. בלוח הבקרה אפשר לראות את כל המדדים הזמינים.
מגבלות
ב-Agent Platform מתועדים מדדים בלוח הבקרה רק לקריאות ל-API לנקודת קצה (endpoint) של מודל. Google Cloud השימוש במסוף, כמו מדדים מ-Agent Studio, לא נוסף ללוח הבקרה.
צפייה במרכז הבקרה
- בקטע Agent Platform במסוף Google Cloud , נכנסים לדף Dashboard.
עוברים אל Agent Platform 1. בלוח הבקרה, בקטע Model observability, לוחצים על Show all metrics כדי לפתוח את לוח הבקרה של ניצפות המודל במסוף Google Cloud Observability.
כדי לראות מדדים של מודל ספציפי או במיקום מסוים, מגדירים מסנן אחד או יותר בחלק העליון של דף מרכז הבקרה.
תיאורים של כל מדד מופיעים בקטע "
aiplatform" בדף Google Cloud מדדים.
הצגת רזולוציה של שנייה אחת
בלוח הבקרה של ניטור המודל נוספות אפשרויות לרזולוציה של שנייה אחת לתרשימים הקיימים, כשהרישום ביומן של המטא-נתונים של בקשות ההסקה מופעל. האפשרויות של שנייה אחת קוראות את יומני המטא-נתונים של בקשות ההסקה במקום את המדדים המצטברים של דקה אחת, כך שהן מציגות פרצים שממוצע של דקה אחת מסתיר.
כדי להשתמש באפשרויות של שנייה אחת, צריך להפעיל בפרויקט רישום ביומן של מטא-נתונים של בקשות להסקת מסקנות, ולשדרג קטגוריית יומנים ב-_Default ל-Observability Analytics. כדי להפעיל את הרישום ביומן, קראו את המאמר הפעלת יומני מטא-נתונים של בקשות להסקת נתונים.
כדי לראות אותם, לוחצים על הצגת כל המדדים כדי לפתוח את לוח הבקרה של ניטור המודל. בתרשימים שתומכים ברזולוציה של שנייה אחת יש תפריט נפתח בכותרת: Model requests per second (QPS), Token count by model, Model invocations by קוד תגובה, Model invocations error rate (%) והתרשימים בקטע Tokens. בכל תפריט נפתח, האפשרות הקיימת 1-minute resolution from metrics נשארת כברירת המחדל, ונוספת האפשרות 1-second resolution from logs. כדי לראות נקודה אחת לשנייה, בוחרים באפשרות של שנייה אחת ומגדירים טווח זמן של 200 שניות או פחות. בטווחים ארוכים יותר, כל נקודה היא הממוצע לשנייה בקטגוריה שלה. עד שהרישום ביומן יופעל, באפשרויות של שנייה אחת יוצג הכיתוב "No inference request logs in this window". הפעלת הרישום ביומן תאפשר לך לראות נתונים של שנייה אחת" במקרא של התרשים, והאפשרויות של דקה אחת פועלות כמו קודם.
מעקב אחרי התנועה בנקודת הקצה של המודל
כדי לעקוב אחרי התנועה לנקודת הקצה ב-Metrics Explorer, השתמשו בהוראות הבאות.
נכנסים לדף Metrics Explorer במסוף Google Cloud .
בוחרים את הפרויקט שרוצים לראות את המדדים שלו.
בתפריט הנפתח מדד, לוחצים על בחירת מדד.
בשורת החיפוש Filter by resource or metric name, מזינים
Gemini Enterprise Agent Platform Endpoint.בוחרים את קטגוריית המדדים Agent Platform Endpoint > Prediction. בקטע Active metrics, בוחרים אחד מהמדדים הבאים:
prediction/online/error_countprediction/online/prediction_countprediction/online/prediction_latenciesprediction/online/response_count
לוחצים על אישור. כדי להוסיף יותר ממדד אחד, לוחצים על Add query.
אתם יכולים לסנן או לצבור את המדדים באמצעות התפריטים הנפתחים הבאים:
כדי לבחור ולהציג קבוצת משנה של נתונים על סמך קריטריונים מסוימים, משתמשים בתפריט הנפתח Filter. לדוגמה, כדי לסנן לפי המודל
gemini-2.0-flash-001, משתמשים ב-endpoint_id = gemini-2p0-flash-001(שימו לב שהתו.בגרסת המודל מוחלף ב-p).כדי לשלב כמה נקודות על הגרף לערך אחד ולראות תצוגה מסוכמת של המדדים, משתמשים בתפריט הנפתח צבירה. לדוגמה, אפשר לצבור את הסכום של
response_code.
אפשר גם להגדיר התראות לנקודת הקצה. למידע נוסף, קראו את המאמר ניהול מדיניות התראות.
כדי להציג את המדדים שאתם מוסיפים לפרויקט באמצעות מרכז בקרה, קראו את המאמר סקירה כללית של מרכזי בקרה.
המאמרים הבאים
- כדי לנתח בקשות ספציפיות, כולל פרצים ברמה השנייה ושיעור המציאה במטמון, קראו את המאמר רישום מטא-נתונים של בקשות להסקת נתונים.
- במאמר סקירה כללית על התראות מוסבר איך יוצרים התראות למרכז הבקרה.
- למידע על שמירת נתוני מדדים, ראו מכסות ומגבלות של Monitoring.
- למידע נוסף על נתונים במנוחה, ראו הגנה על נתונים במנוחה.
- כדי לראות רשימה של כל המדדים ש-Cloud Monitoring אוסף, עיינו בקטע "
aiplatform" בדף המדדים שלGoogle Cloud .