מעקב אחרי מודלים

במאמר הזה מוסבר איך לעקוב אחרי ההתנהגות, התקינות והביצועים של המודלים המנוהלים באופן מלא ב-Gemini Enterprise Agent Platform. במאמר הזה מוסבר איך להשתמש בלוח הבקרה המובנה של Model Observability כדי לקבל תובנות לגבי השימוש במודל, לזהות בעיות של זמן אחזור ולפתור שגיאות.

תלמדו איך:

  • גישה ללוח הבקרה של יכולת הצפייה במודל והסבר על הנתונים שמוצגים בו.
  • צפייה במדדי המעקב הזמינים.
  • עוקבים אחרי התנועה בנקודת הקצה של המודל באמצעות Metrics Explorer.

גישה ללוח הבקרה של יכולת הצפייה במודל והסבר על הנתונים שמוצגים בו

Agent Platform מספקת לוח בקרה מובנה לניראות (observability) מודלים, שמאפשר לראות את ההתנהגות, התקינות והביצועים של מודלים מנוהלים באופן מלא. מודלים מנוהלים באופן מלא, שנקראים גם 'מודל כשירות' (MaaS), מסופקים על ידי Google וכוללים מודלים של Gemini מבית Google ומודלים של שותפים עם נקודות קצה מנוהלות. מדדים ממודלים שמתארחים באופן עצמאי לא נכללים בלוח הבקרה.

Agent Platform אוספת ומדווחת באופן אוטומטי על פעילות ממודלים של MaaS כדי לעזור לכם לפתור במהירות בעיות של זמן אחזור ולנטר את הקיבולת.

דוגמה ללוח בקרה של יכולת צפייה במודל ב-Cloud Console
דוגמה ללוח בקרה של יכולת צפייה במודל

תרחיש שימוש

מפתחי אפליקציות יכולים לראות איך המשתמשים מקיימים אינטראקציה עם המודלים שהם חשפו. לדוגמה, אתם יכולים לראות את המגמות של השימוש במודל (בקשות למודל לשנייה) ושל עוצמת החישוב של הנחיות המשתמשים (זמני האחזור של הפעלת המודל) לאורך זמן. לכן, מכיוון שהמדדים האלה קשורים לשימוש במודל, אפשר גם להעריך את העלויות של הפעלת כל מודל.

כשמתעוררת בעיה, אפשר לפתור אותה במהירות דרך לוח הבקרה. כדי לבדוק אם המודלים מגיבים בצורה מהימנה ובזמן, אפשר לעיין בשיעורי השגיאות של ה-API, בערכי השהייה של הטוקן הראשון ובקצב העברת הטוקנים.

מדדי מעקב זמינים

בלוח הבקרה של יכולת הצפייה במודל מוצג תת-קבוצה של מדדים שנאספים על ידי Cloud Monitoring, כמו בקשת מודל לשנייה (QPS), קצב העברת נתונים של טוקנים וחביון של הטוקן הראשון. צפייה בלוח הבקרה כדי לראות את כל המדדים הזמינים.

מגבלות

ב-Agent Platform, המדדים בלוח הבקרה נאספים רק לגבי קריאות API לנקודת קצה של מודל. Google Cloud שימוש במסוף, כמו מדדים מ-Agent Studio, לא מתווסף ללוח הבקרה.

הצגת מרכז הבקרה

  1. בקטע Agent Platform במסוף Google Cloud , עוברים לדף Dashboard.

עוברים אל Agent Platform ‫1. בלוח הבקרה, בקטע Model observability, לוחצים על Show all metrics כדי לראות את לוח הבקרה של Model observability במסוף Google Cloud Observability.

  1. כדי לראות מדדים של מודל ספציפי או במיקום מסוים, מגדירים מסנן אחד או יותר בחלק העליון של דף לוח הבקרה.

    תיאורים של כל מדד מופיעים בקטע aiplatform בדף Google Cloud מדדים.

מעקב אחרי תנועת הגולשים בנקודת קצה של מודל

כדי לעקוב אחרי התנועה לנקודת הקצה באמצעות Metrics Explorer:

  1. נכנסים לדף Metrics Explorer במסוף Google Cloud .

    כניסה ל-Metrics Explorer

  2. בוחרים את הפרויקט שרוצים לראות את המדדים שלו.

  3. בתפריט הנפתח מדד, לוחצים על בחירת מדד.

  4. בסרגל החיפוש סינון לפי שם משאב או שם מדד, מזינים Gemini Enterprise Agent Platform Endpoint.

  5. בוחרים בקטגוריית המדדים Agent Platform Endpoint > Prediction. בקטע Active metrics, בוחרים באחד מהמדדים הבאים:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    לוחצים על אישור. כדי להוסיף יותר ממדד אחד, לוחצים על הוספת שאילתה.

    אפשר לסנן או לצבור את המדדים באמצעות התפריטים הנפתחים הבאים:

    • כדי לבחור ולהציג קבוצת משנה של הנתונים על סמך קריטריונים שצוינו, משתמשים בתפריט הנפתח Filter. לדוגמה, כדי לסנן לפי המודל gemini-2.0-flash-001, משתמשים ב-endpoint_id = gemini-2p0-flash-001 (שימו לב שהתו . בגרסת המודל מוחלף ב-p).

    • כדי לשלב כמה נקודות נתונים לערך אחד ולראות תצוגת סיכום של המדדים, משתמשים בתפריט הנפתח צבירה. לדוגמה, אפשר לצבור את הסכום של response_code.

  6. אפשר גם להגדיר התראות לנקודת הקצה. מידע נוסף זמין במאמר בנושא ניהול מדיניות התראות.

כדי לראות את המדדים שמוסיפים לפרויקט באמצעות לוח בקרה, אפשר לעיין במאמר סקירה כללית של לוחות בקרה.

המאמרים הבאים