מעקב אחרי מודלים

במאמר הזה נסביר איך לעקוב אחרי ההתנהגות, התקינות והביצועים של המודלים המנוהלים באופן מלא ב-Gemini Enterprise Agent Platform. במאמר הזה מוסבר איך להשתמש בלוח הבקרה המובנה של תצפית על מודלים כדי לקבל תובנות לגבי השימוש במודלים, לזהות בעיות של זמן אחזור ולפתור שגיאות.

תלמדו איך:

  • גישה ללוח הבקרה של יכולת הצפייה במודל והסבר על הנתונים שמוצגים בו.
  • צפייה במדדי המעקב הזמינים.
  • עוקבים אחרי התנועה בנקודת הקצה של המודל באמצעות Metrics Explorer.

גישה ללוח הבקרה של יכולת הצפייה במודל והסבר על הנתונים שמוצגים בו

‫AI גנרטיבי ב-Gemini Enterprise Agent Platform מספק לוח בקרה מובנה למעקב אחרי מודלים, כדי לראות את ההתנהגות, התקינות והביצועים של מודלים בניהול מלא. מודלים בניהול מלא, שנקראים גם Model as a Service‏ (MaaS), מסופקים על ידי Google וכוללים את מודלי Gemini של Google ומודלים של שותפים עם נקודות קצה מנוהלות. מדדים ממודלים באירוח עצמי לא נכללים בלוח הבקרה.

‫AI גנרטיבי ב-Gemini Enterprise Agent Platform אוסף ומדווח אוטומטית על פעילות ממודלים של MaaS כדי לעזור לכם לפתור במהירות בעיות של זמן אחזור ולפקח על הקיבולת.

דוגמה ללוח בקרה של יכולת צפייה במודל ב-Cloud Console
דוגמה ללוח בקרה של יכולת הצפייה במודל

תרחיש שימוש

מפתחי אפליקציות יכולים לראות איך המשתמשים שלהם מבצעים אינטראקציה עם המודלים שהם חשפו. לדוגמה, הם יכולים לראות את המגמה של השימוש במודל (בקשות למודל לשנייה) ושל עוצמת החישוב של הנחיות המשתמש (זמני האחזור של הפעלת המודל) לאורך זמן. כתוצאה מכך, מכיוון שהמדדים האלה קשורים לשימוש במודל, הם יכולים גם להעריך את העלויות של הפעלת כל מודל.

כשמתעוררת בעיה, אפשר לפתור אותה במהירות דרך לוח הבקרה. כדי לבדוק אם המודלים מגיבים בצורה מהימנה ובזמן, אפשר לעיין בשיעורי השגיאות של ה-API, בערכי השהייה של הטוקן הראשון ובקצב העברת הטוקנים.

מדדי מעקב זמינים

בלוח הבקרה של יכולת הצפייה במודל מוצג תת-קבוצה של מדדים שנאספים על ידי Cloud Monitoring, כמו בקשת מודל לשנייה (QPS), קצב העברת נתונים של טוקנים וחביון של הטוקן הראשון. צפייה בלוח הבקרה כדי לראות את כל המדדים הזמינים.

מגבלות

Agent Platform מתעדת מדדים בלוח הבקרה רק עבור קריאות API לנקודת קצה של מודל. Google Cloud שימוש במסוף, כמו מדדים מ-Vertex AI Studio, לא מתווסף ללוח הבקרה.

הצגת מרכז הבקרה

  1. בקטע Agent Platform במסוף Google Cloud , עוברים לדף Dashboard.

עוברים אל Agent Platform (פלטפורמת הסוכנים). ‫1. בלוח הבקרה, בקטע Model observability, לוחצים על Show all metrics כדי לראות את לוח הבקרה של Model observability במסוף Google Cloud Observability.

  1. כדי לראות מדדים של מודל ספציפי או במיקום מסוים, מגדירים מסנן אחד או יותר בחלק העליון של דף לוח הבקרה.

    תיאורים של כל מדד מופיעים בקטע aiplatform בדף מדדים.Google Cloud

מעקב אחרי תנועת הגולשים בנקודת הקצה של המודל

כדי לעקוב אחרי התנועה לנקודת הקצה באמצעות Metrics Explorer:

  1. נכנסים לדף Metrics Explorer במסוף Google Cloud .

    כניסה ל-Metrics Explorer

  2. בוחרים את הפרויקט שרוצים לראות את המדדים שלו.

  3. בתפריט הנפתח מדד, לוחצים על בחירת מדד.

  4. בסרגל החיפוש סינון לפי שם משאב או שם מדד, מזינים Gemini Enterprise Agent Platform Endpoint.

  5. בוחרים בקטגוריית המדדים Agent Platform Endpoint > Prediction. בקטע Active metrics, בוחרים באחד מהמדדים הבאים:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    לוחצים על אישור. כדי להוסיף יותר ממדד אחד, לוחצים על הוספת שאילתה.

    אפשר לסנן או לצבור את המדדים באמצעות התפריטים הנפתחים הבאים:

    • כדי לבחור ולהציג קבוצת משנה של הנתונים על סמך קריטריונים שצוינו, משתמשים בתפריט הנפתח Filter. לדוגמה, כדי לסנן לפי המודל gemini-2.0-flash-001, משתמשים ב-endpoint_id = gemini-2p0-flash-001 (שימו לב שהתווים . בגרסת המודל מוחלפים ב-p).

    • כדי לשלב כמה נקודות נתונים לערך אחד ולראות תצוגת סיכום של המדדים, משתמשים בתפריט הנפתח צבירה. לדוגמה, אפשר לצבור את הסכום של response_code.

  6. אפשר גם להגדיר התראות לנקודת הקצה. מידע נוסף זמין במאמר בנושא ניהול מדיניות התראות.

כדי לראות את המדדים שמוסיפים לפרויקט באמצעות לוח בקרה, אפשר לעיין במאמר סקירה כללית של לוחות בקרה.

המאמרים הבאים