הערכה מתמשכת באמצעות כלי מעקב אונליין

מעקב אונליין מאפשר לכם להעריך באופן רציף את איכות הנציגים בסביבת הייצור. הגישה היזומה הזו עוזרת לזהות שינויים באיכות – ירידה ניכרת בביצועים של הנציג לאורך זמן – שנגרמים כתוצאה משינויים בהתנהגות המשתמשים או בנתונים חיצוניים. אם תגדירו מעקב אונליין, תוכלו לתת ציון אסינכרוני לעקבות בזמן אמת באמצעות מדדים מוגדרים מראש ומדדים בהתאמה אישית, כדי לוודא שהנציג נשאר אמין ועומד בסטנדרטים של הביצועים.

לפני שמתחילים

כדי להפעיל מעקב אונליין אחרי הנציגים, צריך לוודא שהדרישות הבאות מתקיימות:

  • פורסים את הנציג כמו שמתואר במאמר פריסת נציג.
  • מוודאים שהאפשרות Cloud Trace מופעלת בפרויקט.
  • (אופציונלי) אם אתם מתכננים ליצור כלים למעקב באופן פרוגרמטי, עיינו בדף הערכת הנציגים כדי לקבל הוראות לאתחול של Agent Platform SDK.

דרישות טלמטריה

כדי לבצע מעקב אונליין, הנציג צריך לייצא אותות OpenTelemetry ספציפיים כדי לספק את ההקשר הנדרש להערכה:

  1. ‫Invoke agent span: חייב לכלול את המאפיינים הבאים:

    • ‫gen_ai.agent.name: המזהה של הנציג.
    • ‫gen_ai.agent.description: תיאור קצר של מטרת הנציג.
    • ‫gen_ai.conversation.id: מזהה ייחודי של סשן השיחה הספציפי.

  2. אירועי הסקה: האירוע gen_ai.client.inference.operation.details צריך לתעד:

    • ‫gen_ai.input.messages: ההנחיות שנשלחו לסוכן.
    • ‫gen_ai.output.messages: התשובות שהסוכן יוצר.
    • ‫gen_ai.system_instructions: ההנחיות הבסיסיות של המערכת.
    • ‫gen_ai.tool.definitions: מטא-נתונים על כל הכלים שזמינים לסוכן.

אם אתם משתמשים ב-ערכה לפיתוח סוכנים (ADK), עליכם להפעיל את יכולות הטלמטריה האלה על ידי הגדרת משתני הסביבה הבאים:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

הקלטת מדיה ב-Cloud Storage

אם הנציג משתמש בנתונים ממספר מקורות, כמו תמונות או מסמכים גדולים, מומלץ לתעד את הקלט והפלט בקטגוריה של Cloud Storage במקום להטמיע אותם ישירות בטווחים של המעקב. כדי להפעיל את זה, מגדירים את משתני הסביבה הבאים:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

מידע נוסף זמין במאמר איסוף פרומפטים מולטי-מודאליים ותשובות.

איך פועלים שירותי מעקב אונליין

הבדיקות של Online Monitors פועלות בלולאת הערכה מתוזמנת, בדרך כלל כל 10 דקות. הלולאה פועלת לפי השלבים הבאים:

  1. שאילתה: נתונים שנדגמו מ-Cloud Trace ומ-Cloud Logging על סמך המסננים שלכם.
  2. הערכה: הפעלת מדדים שהוגדרו באמצעות שירות ההערכה של פלטפורמת הסוכנים של Gemini Enterprise.
  3. דיווח: כתיבת התוצאות בחזרה ל-Cloud Logging וייצוא של ציונים מספריים ל-Cloud Monitoring.

יצירת מעקב אונליין

  1. במסוף Google Cloud , נכנסים לדף Agent Platform > Agents > Evaluation.

    לדף Evaluation

  2. בוחרים בכרטיסייה מעקב אונליין ולוחצים על מעקב חדש.

  3. ציון מסנני מעקב:

    • מנוע הסוכן: בוחרים את הסוכן שרוצים לעקוב אחריו מהתפריט הנפתח.
    • קריטריונים לסינון: בוחרים אם להעריך את כל המעקבים של הנציג או להחיל קריטריונים ספציפיים לסינון.

  4. הגדרת קריטריונים לסינון (אם משתמשים בעקבות מסוננות):

    • בדיקה ראשונית: בוחרים מסגרת זמן (לדוגמה, Last 1 day) כדי לראות תצוגה מקדימה של המעקבים בסביבת הייצור שתואמים למסנן.
    • מסננים: מזינים קריטריונים כדי לטרגט תנועה ספציפית. אפשר לסנן לפי מאפיינים כמו Duration (לדוגמה, Duration > 2) או Token usage.

  5. הגדרת מדדים: מוסיפים את המדדים שרוצים לעקוב אחריהם באופן רציף, כמו בטיחות.

  6. הגדרת דגימה:

    • אחוז הדגימה: מגדירים את אחוז התנועה בזמן אמת שרוצים להעריך.
    • מספר דגימות מקסימלי לכל הרצה: הגדירו מגבלה כדי לנהל את עלויות ההערכה.

  7. לוחצים על יצירה.

ניהול המסכים

אחרי שיוצרים כלי מעקב, אפשר לנהל אותו מהרשימה כלי מעקב אונליין:

  • מתג הסטטוס: לוחצים על אפשרויות נוספות ובוחרים באפשרות הפעלה או השבתה כדי להשהות את ההערכה בלי למחוק את ההגדרה.
  • השהיה והמשך: כדי להפסיק את הבדיקה באופן זמני, לוחצים על אפשרויות נוספות .
  • שכפול: יצירת כלי מעקב חדש עם הגדרות שמולאו מראש מכלי מעקב קיים.
  • הצגת נתוני מעקב: לוחצים על הקישור View traces בעמודה Sampled traces של המעקב כדי לעבור ישירות לנתוני המעקב המסוננים בכרטיסייה Traces של הסוכן.

הצגת התוצאות בלוח הבקרה של יכולת התצפית

כדי לראות את מדדי ההערכה לצד אותות אחרים של ביצועים:

  1. במסוף Google Cloud , נכנסים לדף Agent Platform > Agents.
  2. בתפריט הניווט הימני, לוחצים על פריסות.

  3. בוחרים את הסוכן.

    מעבר אל Deployments

  4. בתצוגה Dashboard, בוחרים בסעיף המשנה Evaluation כדי לראות תרשימים של סדרות עתיות למדדים שהגדרתם, כמו איכות התשובה, בטיחות ושיעורי ההזיות.

הצגת תוצאות של מעקבים ספציפיים

אתם יכולים גם לבדוק את תוצאות ההערכה של שיחות ספציפיות ישירות בתצוגת המעקבים:

  1. במסוף Google Cloud , נכנסים לכרטיסייה Traces של הנציג.
  2. בוחרים סשן או מעקב מהטבלה כדי לפתוח את חלונית הפרטים.
  3. לוחצים על הכרטיסייה הערכה כדי לראות את הציונים והנימוקים לאינטראקציה הספציפית הזו.

פתרון בעיות במסכים אונליין

אם הכלי למעקב אונליין פעיל אבל לא מופיעות תוצאות במרכז הבקרה:

  1. אימות הטלמטריה: מוודאים שהנציג מייצא בצורה נכונה את הטווחים והאירועים הנדרשים של OpenTelemetry. בודקים ב-Cloud Trace אם המעקבים בזמן אמת מכילים את המאפיינים של gen_ai..
  2. בודקים את המסננים: בודקים את הקריטריונים לסינון של כלי המעקב. משתמשים בתכונה Initial Inspection כדי לוודא שהמסננים תואמים לתנועה בסביבת הייצור.

  3. בדיקת יומנים פנימיים: כלי הניטור אונליין כותבים מידע לאבחון ב-Cloud Logging. אם הבדיקה נכשלת, נוצר יומן שגיאות. כדי למצוא את היומנים האלה ב-Logs Explorer, מחפשים את מזהה המעקב או מעקבים וסוכנים ספציפיים:

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"