צפייה ב-Vertex AI Inference AI AutoMetrics

במאמר הזה נסביר איך להשתמש ב-AI AutoMetrics כדי לעקוב אחרי עומסי העבודה של ה-AI בפלטפורמת הסוכנים של Gemini Enterprise.

התכונה AI AutoMetrics מאפשרת לעקוב אחרי הביצועים והתקינות של המודלים שלכם עם מינימום הגדרות. התכונה הזו נועדה לספק לכם תובנות מיידיות לגבי הקונטיינרים והמודלים המותאמים אישית שפועלים ב-Vertex AI Inference.

לפני שמתחילים

  1. ודאו שיש לכם נקודת קצה של Gemini Enterprise Agent Platform עם מודל שפרסתם שמשתמש במאגר עם מסגרות נתמכות.
  2. מוודאים ש-Cloud Monitoring מופעל בפרויקט. מידע נוסף מופיע במאמר הפעלת Monitoring API.

שימוש ב-AI AutoMetrics

כדי לראות את המדדים האוטומטיים מבוססי-AI ב-Metrics Explorer:

  1. נכנסים לדף Metrics Explorer במסוף Google Cloud .

    לדף Metrics Explorer

  2. בקטע בחירת מדד, בוחרים באפשרות יעד Prometheus.

  3. בקטע Active metric categories (קטגוריות פעילות של מדדים), בוחרים באפשרות Vertex.

  4. בקטע Active metrics, בוחרים את המדד הרצוי.

  5. לוחצים על אישור.

אפשר גם לשלוח שאילתות לגבי מדדים באמצעות Grafana או ממשק המשתמש או ה-API של Prometheus.

Frameworks נתמכים

התכונה 'מדדים אוטומטיים מבוססי-AI' תומכת במסגרות הבאות:

Framework נקודת קצה כשירה מדדים שעומדים בדרישות
vLLM נקודת קצה של /metrics שתואמת ל-Prometheus מדדים עם הקידומת vllm:

איך זה עובד

‫Gemini Enterprise Agent Platform מבצעת סקריפט אוטומטי של נקודת הקצה /metrics של הקונטיינר במרווח זמן מוגדר מראש. כל המדדים שעומדים בדרישות מיוצאים אלGoogle Cloud השירות המנוהל של Google Cloud ל-Prometheus, שם אפשר לנתח אותם ולהציג אותם באופן חזותי.

שמות ותוויות של מדדים

המדדים שנאספים על ידי AI AutoMetrics מוזנים ל-Cloud Monitoring בהתאם למוסכמת השמות vertex_*.

כדי להקל על הסינון והקיבוץ, התכונה 'מדדים אוטומטיים מבוססי-AI' מוסיפה באופן אוטומטי את התוויות הבאות של Gemini Enterprise Agent Platform לכל מדד:

  • ‫deployed_model_id: המזהה של מודל שפריסתו הושלמה ומשרת בקשות להסקת מסקנות.
  • ‫model_display_name: השם המוצג של מודל שפרסתם.
  • ‫replica_id: המזהה הייחודי שמתאים לשכפול של המודל שנפרס (שם ה-pod).
  • ‫endpoint_id: המזהה של נקודת קצה של מודל.
  • ‫endpoint_display_name: השם המוצג של נקודת קצה של מודל.
  • ‫product: שם התכונה ב-Gemini Enterprise Agent Platform. הערך הזה תמיד יהיה Online Inference.

המאמרים הבאים