הערכה מתמשכת באמצעות כלי מעקב אונליין

בעזרת מעקב אונליין אפשר להעריך באופן רציף את איכות הנציגים בסביבת הייצור. הגישה הפרואקטיבית הזו עוזרת לכם לזהות סחף באיכות – ירידה ניכרת בביצועי הנציגים לאורך זמן – שנגרמת כתוצאה משינויים בהתנהגות המשתמשים או בנתונים חיצוניים. אם תגדירו Online Monitors, תוכלו לתת ציון אסינכרוני למעקבים בזמן אמת באמצעות מדדים מוגדרים מראש ומדדים מותאמים אישית. כך תוכלו לוודא שהסוכן שלכם אמין ועומד בתקני הביצועים שלכם.

לפני שמתחילים

כדי להפעיל מעקב אונליין אחרי הסוכנים, צריך לוודא שמתקיימות הדרישות הבאות:

  • מבצעים פריסה של הסוכן לפי ההוראות במאמר פריסת סוכן.
  • מוודאים ש-Cloud Trace מופעל בפרויקט.
  • (אופציונלי) אם אתם מתכננים ליצור אמצעי מעקב באופן פרוגרמטי, בדף הערכת הסוכנים מופיעות הוראות לאתחול Agent Platform SDK.

דרישות טלמטריה

כדי שהסוכן יוכל לספק את ההקשר הדרוש להערכה, הוא צריך לייצא אותות ספציפיים של OpenTelemetry לניטור אונליין:

  1. Invoke agent span: חייב לכלול את המאפיינים הבאים:

    • gen_ai.agent.name: המזהה של הסוכן.
    • ‫gen_ai.agent.description: תיאור קצר של מטרת הסוכן.
    • ‫gen_ai.conversation.id: מזהה ייחודי של סשן השיחה הספציפי.

  2. אירועי הסקה: באירוע gen_ai.client.inference.operation.details צריך לתעד את הפרטים הבאים:

    • ‫gen_ai.input.messages: ההנחיות שנשלחו לסוכן.
    • ‫gen_ai.output.messages: התשובות שנוצרו על ידי הסוכן.
    • ‫gen_ai.system_instructions: ההנחיות הבסיסיות של המערכת.
    • gen_ai.tool.definitions: מטא-נתונים על כל הכלים שזמינים לסוכן.

אם אתם משתמשים בערכת פיתוח הסוכן, אתם צריכים להגדיר את משתני הסביבה הבאים כדי להפעיל את יכולות הטלמטריה האלה:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

הקלטת מדיה ב-Cloud Storage

אם הסוכן שלכם משתמש בנתונים מרובי-אופנים, כמו תמונות או מסמכים גדולים, מומלץ לתעד את הקלט והפלט בקטגוריה של Cloud Storage במקום להטמיע אותם ישירות בטווחים של מעקב. כדי להפעיל את התכונה הזו, מגדירים את משתני הסביבה הבאים:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

מידע נוסף זמין במאמר איסוף של הנחיות ותשובות מרובות-אופנים.

איך פועלים אמצעי מעקב אונליין

הבדיקות של המוניטורים אונליין מתבצעות בלולאת הערכה מתוזמנת, בדרך כלל כל 10 דקות. הלולאה פועלת לפי השלבים הבאים:

  1. שאילתה: דוגמאות לנתונים מ-Cloud Trace ומ-Cloud Logging על סמך המסננים שהגדרתם.
  2. הערכה: מפעיל מדדים מוגדרים באמצעות שירות ההערכה של Gemini Enterprise Agent Platform.
  3. דוח: כותב את התוצאות בחזרה ל-Cloud Logging ומייצא ציונים מספריים ל-Cloud Monitoring.

יצירת מעקב אונליין

  1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents > Evaluation.

    לדף Evaluation

  2. בוחרים בכרטיסייה Online monitors (מערכות מעקב אונליין) ולוחצים על New monitor (מערכת מעקב חדשה).

  3. מציינים את המסננים של נתוני העקבות:

    • מנוע סוכן: בוחרים את הסוכן שרוצים לעקוב אחריו מהתפריט הנפתח.
    • קריטריונים לסינון: בוחרים אם להעריך את כל העקבות של הסוכן או להחיל קריטריונים ספציפיים לסינון.

  4. הגדרת קריטריוני סינון (אם משתמשים בנתוני מעקב מסוננים):

    • בדיקה ראשונית: בוחרים מסגרת זמן (לדוגמה, היום האחרון) כדי לראות תצוגה מקדימה של עקבות הייצור שתואמות למסנן.
    • מסננים: מזינים קריטריונים לטירגוט תנועה ספציפית. אפשר לסנן לפי מאפיינים כמו Duration (לדוגמה, Duration > 2) או Token usage.

  5. הגדרת מדדים: מוסיפים את המדדים שרוצים לעקוב אחריהם באופן רציף, כמו בטיחות.

  6. הגדרת דגימה:

    • אחוז הדגימה: מגדירים את האחוז מתוך התנועה בזמן אמת שצריך להעריך.
    • מספר מקסימלי של דוגמאות בכל הפעלה: הגדרת מכסה לניהול עלויות ההערכה.

  7. לוחצים על יצירה.

ניהול של מסכים

אחרי שיוצרים כלי מעקב, אפשר לנהל אותו מהרשימה כלי מעקב אונליין:

  • מתג סטטוס: לוחצים על אפשרויות נוספות ובוחרים באפשרות הפעלה או השבתה כדי להשהות את ההערכה בלי למחוק את ההגדרה.
  • השהיה והפעלה מחדש: משתמשים באפשרות אפשרויות נוספות כדי להפסיק את ההערכה באופן זמני.
  • שכפול: יצירת מוניטור חדש עם הגדרות שמולאו מראש ממוניטור קיים.
  • צפייה בנתוני מעקב: בעמודה Sampled traces (נתוני מעקב לדוגמה) של כלי המעקב, לוחצים על הקישור View traces (צפייה בנתוני מעקב) כדי לעבור ישירות לנתוני המעקב המסוננים בכרטיסייה Traces (נתוני מעקב) של הסוכן.

הצגת התוצאות בלוח הבקרה של יכולת הצפייה

כדי לראות את מדדי ההערכה לצד אותות ביצועים אחרים:

  1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents.
  2. בתפריט הניווט הימני, לוחצים על פריסות.

  3. בוחרים את הסוכן.

    מעבר לדף Deployments

  4. בתצוגה Dashboard, בוחרים את קטע המשנה Evaluation כדי לראות תרשימים של סדרות זמן למדדים שהוגדרו, כמו איכות התגובה, בטיחות ושיעורי הזיות.

הצגת תוצאות של מעקב ספציפי

אפשר גם לבדוק את תוצאות ההערכה של שיחות ספציפיות ישירות בתצוגת העקבות:

  1. במסוף Google Cloud , עוברים לכרטיסייה Traces של הסוכן.
  2. בוחרים סשן או מעקב מהטבלה כדי לפתוח את חלונית הפרטים.
  3. בוחרים בכרטיסייה הערכה כדי לראות את הציונים וההסברים לאינטראקציה הספציפית הזו.

פתרון בעיות בשימוש בכלי המעקב באינטרנט

אם הכלי 'מעקב באינטרנט' פעיל אבל לא מופיעות תוצאות במרכז הבקרה:

  1. אימות הטלמטריה: מוודאים שהסוכן מייצא בצורה נכונה את הטווחים והאירועים הנדרשים של OpenTelemetry. בודקים ב-Cloud Trace אם העקבות בזמן אמת מכילים את מאפייני gen_ai..
  2. בדיקת המסננים: בודקים את קריטריוני הסינון של הכלי למעקב. כדי לוודא שהמסננים תואמים לתנועת הגולשים בסביבת הייצור, אפשר להשתמש בתכונה בדיקה ראשונית.

  3. בדיקת יומנים פנימיים: כלי המעקב אונליין כותבים מידע אבחוני ל-Cloud Logging. אם ההערכה נכשלת, נוצר יומן שגיאות. אפשר למצוא את היומנים האלה בכלי Logs Explorer על ידי חיפוש של מזהה המוניטור או של עקבות וסוכנים ספציפיים:

    resource.labels.online_evaluator="projects/YOUR_PROJECT_ID/locations/YOUR_REGION/onlineEvaluators/YOUR_MONITOR_ID"
# Or search by trace or agent
labels.trace="YOUR_TRACE_ID"
labels.reasoning_engine_id="YOUR_AGENT_ID"