הערכה מתמשכת באמצעות כלי מעקב אונליין

ניטור אונליין מאפשר להעריך באופן רציף את איכות הנציגים בסביבת הייצור. הגישה הפרואקטיבית הזו עוזרת לזהות סחף באיכות – ירידה ניכרת בביצועי הנציגים לאורך זמן – שנגרמת כתוצאה משינויים בהתנהגות המשתמשים או בנתונים חיצוניים. באמצעות הגדרת ניטור אונליין, אפשר לתת ציון לאירועים בזמן אמת באופן אסינכרוני באמצעות מדדים מוגדרים מראש ומדדים מותאמים אישית, וכך לוודא שהנציג נשאר אמין ועומד בתקני הביצועים שלכם.

לפני שמתחילים

כדי להפעיל מעקב אונליין אחרי הסוכנים, צריך לוודא שהדרישות הבאות מתקיימות:

  • מבצעים פריסה של הסוכן לפי ההוראות במאמר פריסת סוכן.
  • מוודאים ש-Cloud Trace מופעל בפרויקט.
  • (אופציונלי) אם אתם מתכננים ליצור אמצעי מעקב באופן פרוגרמטי, בדף הערכת הסוכנים מופיעות הוראות לאתחול Agent Platform SDK.

דרישות טלמטריה

כדי שהנציג יוכל לספק את ההקשר הדרוש להערכה, הוא צריך לייצא אותות ספציפיים של OpenTelemetry לצורך מעקב אונליין:

  1. Invoke agent span: חייב לכלול את המאפיינים הבאים:

    • gen_ai.agent.name: המזהה של הסוכן.
    • ‫gen_ai.agent.description: תיאור קצר של מטרת הסוכן.
    • ‫gen_ai.conversation.id: מזהה ייחודי של סשן שיחה ספציפי.

  2. אירועי הסקה: באירוע gen_ai.client.inference.operation.details צריך לתעד את הפרטים הבאים:

    • ‫gen_ai.input.messages: ההנחיות שנשלחו לסוכן.
    • gen_ai.output.messages: התשובות שנוצרו על ידי הסוכן.
    • ‫gen_ai.system_instructions: ההנחיות הבסיסיות של המערכת.
    • gen_ai.tool.definitions: מטא-נתונים על כל הכלים שזמינים לסוכן.

אם אתם משתמשים ב-ערכה לפיתוח סוכנים (ADK), אתם צריכים להגדיר את משתני הסביבה הבאים כדי להפעיל את יכולות הטלמטריה האלה:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

הקלטת מדיה ב-Cloud Storage

אם הסוכן שלכם משתמש בנתונים מרובי-אופנים, כמו תמונות או מסמכים גדולים, מומלץ לתעד את הקלט והפלט בקטגוריה של Cloud Storage במקום להטמיע אותם ישירות בטווחים של מעקב. כדי להפעיל את התכונה הזו, מגדירים את משתני הסביבה הבאים:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

מידע נוסף זמין במאמר איסוף של הנחיות ותשובות מרובות-אופנים.

איך פועלים אמצעי מעקב אונליין

הבדיקות של המוניטורים אונליין מתבצעות בלולאת הערכה מתוזמנת, בדרך כלל כל 10 דקות. הלולאה פועלת לפי השלבים הבאים:

  1. שאילתה: דוגמאות לנתונים מ-Cloud Trace ומ-Cloud Logging על סמך המסננים שהגדרתם.
  2. הערכה: מפעיל מדדים מוגדרים באמצעות שירות ההערכה של Gemini Enterprise Agent Platform.
  3. דוח: כותב את התוצאות בחזרה ל-Cloud Logging ומייצא ציונים מספריים ל-Cloud Monitoring.

יצירת מעקב אונליין

  1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents > Evaluation.

    לדף Evaluation

  2. בוחרים בכרטיסייה Online monitors (מערכות מעקב אונליין) ולוחצים על New monitor (מערכת מעקב חדשה).

  3. מציינים את המסננים של נתוני העקבות:

    • מנוע סוכן: בוחרים את הסוכן שרוצים לעקוב אחריו מהתפריט הנפתח.
    • קריטריונים לסינון: בוחרים אם להעריך את כל העקבות של הסוכן או להחיל קריטריונים ספציפיים לסינון.

  4. הגדרת קריטריוני סינון (אם משתמשים בנתוני מעקב מסוננים):

    • בדיקה ראשונית: בוחרים מסגרת זמן (לדוגמה, היום האחרון) כדי לראות תצוגה מקדימה של עקבות הייצור שתואמות למסנן.
    • מסננים: מזינים קריטריונים לטירגוט תנועה ספציפית. אפשר לסנן לפי מאפיינים כמו Duration (לדוגמה, Duration > 2) או Token usage.

  5. הגדרת מדדים: מוסיפים את המדדים שרוצים לעקוב אחריהם באופן רציף, כמו בטיחות.

  6. הגדרת דגימה:

    • אחוז הדגימה: מגדירים את האחוז מהתנועה בזמן אמת שצריך להיבדק.
    • מספר הדגימות המקסימלי בכל הפעלה: הגדרת מכסה לניהול עלויות ההערכה.

  7. לוחצים על יצירה.

ניהול של מסכים

אחרי שיוצרים כלי מעקב, אפשר לנהל אותו מהרשימה כלי מעקב אונליין:

  • מתג סטטוס: לוחצים על אפשרויות נוספות ובוחרים באפשרות הפעלה או השבתה כדי להשהות את ההערכה בלי למחוק את ההגדרה.
  • השהיה והפעלה מחדש: משתמשים באפשרות אפשרויות נוספות כדי להפסיק את ההערכה באופן זמני.
  • שכפול: יצירת ניטור חדש עם הגדרות שמולאו מראש מניטור קיים.
  • צפייה בנתוני מעקב: בעמודה Sampled traces (נתוני מעקב לדוגמה) של כלי המעקב, לוחצים על הקישור View traces (צפייה בנתוני מעקב) כדי לעבור ישירות לנתוני המעקב המסוננים בכרטיסייה Traces (נתוני מעקב) של הסוכן.

הצגת התוצאות בלוח הבקרה של יכולת הצפייה

כדי לראות את מדדי ההערכה לצד אותות ביצועים אחרים:

  1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents.
  2. בתפריט הניווט הימני, בוחרים באפשרות פריסות.

  3. בוחרים את הסוכן.

    מעבר לדף Deployments

  4. בתצוגה Dashboard, בוחרים את קטע המשנה Evaluation כדי לראות תרשימים של סדרות זמן למדדים שהוגדרו, כמו איכות התגובה, בטיחות ושיעורי הזיות.

הצגת תוצאות של מעקב ספציפי

אפשר גם לבדוק את תוצאות ההערכה של שיחות ספציפיות ישירות בתצוגת העקבות:

  1. במסוף Google Cloud , עוברים לכרטיסייה Traces של הסוכן.
  2. בוחרים סשן או מעקב מהטבלה כדי לפתוח את חלונית הפרטים.
  3. בוחרים בכרטיסייה הערכה כדי לראות את הציונים וההסברים לאינטראקציה הספציפית הזו.

פתרון בעיות במוניטורים אונליין

אם הכלי 'מעקב באינטרנט' פעיל אבל לא מופיעות תוצאות במרכז הבקרה:

  1. אימות הטלמטריה: מוודאים שהסוכן מייצא בצורה נכונה את הטווחים והאירועים הנדרשים של OpenTelemetry. בודקים ב-Cloud Trace אם העקבות בזמן אמת מכילים את מאפייני gen_ai..
  2. בדיקת המסננים: בודקים את קריטריוני הסינון של המעקב. משתמשים בתכונה בדיקה ראשונית כדי לוודא שהמסננים תואמים לתנועה בסביבת הייצור.

  3. בדיקת יומנים פנימיים: כלי המעקב אונליין כותבים מידע אבחוני ל-Cloud Logging. אם ההערכה נכשלת, נוצר יומן שגיאות. אפשר למצוא את היומנים האלה בכלי Logs Explorer על ידי חיפוש של מזהה המוניטור או של עקבות וסוכנים ספציפיים:

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"