צפייה ב-Vertex AI Inference AI AutoMetrics

במאמר הזה מוסבר איך להשתמש ב-AI AutoMetrics כדי לעקוב אחרי עומסי העבודה של ה-AI ב-Gemini Enterprise Agent Platform.

בעזרת AI AutoMetrics אתם יכולים לעקוב אחרי הביצועים והתקינות של המודלים שלכם, עם הגדרות מינימליות. התכונה הזו נועדה לספק תובנות מיידיות לגבי הקונטיינרים והמודלים בהתאמה אישית שפועלים ב-Vertex AI Inference.

לפני שמתחילים

  1. מוודאים שיש לכם נקודת קצה (endpoint) ב-Gemini Enterprise Agent Platform עם מודל פרוס שמשתמש בקונטיינר עם מסגרות נתמכות.
  2. מוודאים ש-Cloud Monitoring מופעל בפרויקט. למידע נוסף, קראו את המאמר הפעלת Cloud Monitoring API.

שימוש ב-AI AutoMetrics

כדי לראות את AI AutoMetrics ב-Metrics Explorer:

  1. נכנסים לדף Metrics Explorer במסוף Google Cloud .

    לדף Metrics Explorer

  2. בקטע Select a metric, בוחרים באפשרות Prometheus Target.

  3. בקטע Active metric categories, בוחרים באפשרות Vertex.

  4. בקטע Active metrics, בוחרים את המדד הרצוי.

  5. לוחצים על אישור.

אפשר גם לשלוח שאילתות לגבי מדדים באמצעות Grafana או ממשק המשתמש או ה-API של Prometheus.

מערכות נתמכות

‫AI AutoMetrics תומך במסגרות הבאות:

Framework נקודת קצה (endpoint) כשירה מדדים כשירים
vLLM נקודת קצה (endpoint) של /metrics שתואמת ל-Prometheus מדדים עם הקידומת vllm:

איך זה עובד

‫Gemini Enterprise Agent Platform מגרדת באופן אוטומטי את נקודת הקצה /metrics של הקונטיינר במרווח זמן מוגדר מראש. כל המדדים המתאימים מיוצאים אלGoogle Cloud השירות המנוהל של Google Cloud ל-Prometheus, שבו אפשר לנתח אותם ולהציג אותם באופן חזותי.

שמות ותוויות של מדדים

המדדים שנאספים על ידי AI AutoMetrics נקלטים ב-Cloud Monitoring לפי מוסכמת מתן השמות vertex_*.

כדי שיהיה קל יותר לסנן ולקבץ, AI AutoMetrics מצרף באופן אוטומטי את התוויות הנוספות הבאות של Gemini Enterprise Agent Platform לכל מדד:

  • ‫deployed_model_id: המזהה של מודל שנפרס ומטפל בבקשות להסקת מסקנות.
  • ‫model_display_name: השם המוצג של מודל שנפרס.
  • ‫replica_id: המזהה הייחודי שתואם לרפליקה של המודל שנפרס (שם ה-pod).
  • ‫endpoint_id: המזהה של נקודת הקצה של המודל.
  • ‫endpoint_display_name: השם המוצג של נקודת קצה (endpoint) של מודל.
  • ‫product: שם התכונה ב-Gemini Enterprise Agent Platform. הערך הוא תמיד Online Inference.

המאמרים הבאים