הרצת הערכות אופליין

הערכה אופליין מאפשרת לכם למדוד את הביצועים, הבטיחות והאיכות של הסוכנים שלכם על ידי ניתוח נתונים היסטוריים שנאספו במהלך הפיתוח או הייצור. אתם יכולים להעריך עקבות נפרדים (נתיבי ביצוע יחידים) או סשנים מלאים (היסטוריית שיחות רב-שלבית) בהשוואה לקבוצה של מדדים מוגדרים מראש או מותאמים אישית.

רכיבים מוליכים לעומת סשנים

• Trace: רשומה עובדתית ובלתי ניתנת לשינוי של התנהגות הסוכן, כולל קלט המודל, התגובות והקריאות לכלי. כל מעקב מייצג נתיב ביצוע יחיד.
• סשן: כולל את כל האינטראקציה הרב-שלבית בין משתמש לבין סוכן. אפשר להשתמש בסשנים כדי להעריך את שימור ההקשר ואת רצף השיחה לאורך זמן.

לפני שמתחילים

כדי לוודא שיש לכם את הנתונים והסביבה הנדרשים לבדיקה אופליין, אתם צריכים:

• מוודאים שפרסתם Agent Runtime תקין עם Cloud Trace מופעל.
• מגדירים קטגוריה של Cloud Storage לאחסון תוצאות ההערכה. צריך לספק את הנתיב הזה רק פעם אחת, והוא יאוכלס מראש בהפעלות עתידיות.
• אם אתם מתכננים להשתמש ב-Agent Platform SDK להערכה, אתחלו את הלקוח כמו שמתואר במאמר הערכת הסוכנים.

דרישות טלמטריה

כדי לבצע הערכה אופליין, הנציג צריך לייצא אותות ספציפיים של OpenTelemetry כדי לספק את ההקשר הדרוש להערכה. הדרישות האלה זהות לדרישות של מערכות ניטור באינטרנט:

1. Invoke agent span: חייב לכלול את המאפיינים הבאים:

   • gen_ai.agent.name: המזהה של הסוכן.
   • ‫gen_ai.agent.description: תיאור קצר של מטרת הסוכן.
   • ‫gen_ai.conversation.id: מזהה ייחודי של סשן השיחה הספציפי.

2. אירועי הסקה: באירוע gen_ai.client.inference.operation.details צריך לתעד את הפרטים הבאים:

   • ‫gen_ai.input.messages: ההנחיות שנשלחו לסוכן.
   • ‫gen_ai.output.messages: התשובות שנוצרו על ידי הסוכן.
   • ‫gen_ai.system_instructions: ההנחיות הבסיסיות של המערכת.
   • gen_ai.tool.definitions: מטא-נתונים על כל הכלים שזמינים לסוכן.

אם אתם משתמשים בערכת פיתוח הסוכן, אתם צריכים להגדיר את משתני הסביבה הבאים כדי להפעיל את יכולות הטלמטריה האלה:

OTEL_SEMCONV_STABILITY_OPT_IN='gen_ai_latest_experimental'
OTEL_INSTRUMENTATION_GENAI_CAPTURE_MESSAGE_CONTENT='EVENT_ONLY'

הקלטת מדיה ב-Cloud Storage

אם הסוכן שלכם משתמש בנתונים מרובי-אופנים, כמו תמונות או מסמכים גדולים, מומלץ להקליט את הקלט והפלט בדלי Cloud Storage במקום להטמיע אותם ישירות בטווחים של מעקב. כדי להפעיל את התכונה הזו, מגדירים את משתני הסביבה הבאים:

OTEL_INSTRUMENTATION_GENAI_UPLOAD_FORMAT='jsonl'
OTEL_INSTRUMENTATION_GENAI_COMPLETION_HOOK='upload'
OTEL_INSTRUMENTATION_GENAI_UPLOAD_BASE_PATH='gs://STORAGE_BUCKET_NAME/PATH'

מידע נוסף זמין במאמר איסוף של הנחיות ותשובות מרובות-אופנים.

יצירת הערכה מהמאגר

1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents > Evaluation.

   לדף Evaluation

2. לוחצים על הערכה חדשה.

3. בוחרים בכרטיסייה Traces או בכרטיסייה Sessions בהתאם ליעד ההערכה.

4. משתמשים בסמל המסנן ובבורר התאריכים כדי לסנן את הנתונים (לדוגמה, לפי גרסה או 'שבועיים אחרונים') ובוחרים את המזהים הספציפיים שרוצים להעריך.

5. לוחצים על Continue.

6. (אופציונלי) בשדה שם הבדיקה, מזינים שם לבדיקה או משתמשים בשם ברירת המחדל שמופיע.

7. בשדה Output private data path (נתיב של נתונים פרטיים בפלט), מזינים את ה-URI של הקטגוריה ב-Cloud Storage. אחרי השימוש הראשון, הנתיב הזה יאוכלס מראש בהפעלות הבאות.

8. כברירת מחדל, כל ארבעת מדדי הליבה מתווספים. אפשר להוסיף או להסיר מדדים לפי הצורך.

9. לוחצים על הערכת הסוכן.

הערכה של מעקב יחיד או של ביקור יחיד

אתם יכולים להפעיל הערכות ישירות בזמן שאתם בודקים נתיבי ביצוע ספציפיים:

1. במסוף Google Cloud , עוברים לדף Agent Platform > Agents.
2. בתפריט הניווט הימני, לוחצים על פריסות.
3. בוחרים את הסוכן.

   מעבר לדף Deployments

4. לוחצים על הכרטיסייה Traces (עקבות).
5. לוחצים על Session view (תצוגת סשן) או על Trace view (תצוגת מעקב) כדי לבדוק את נתיב הביצוע.
6. בוחרים שורה ספציפית מהטבלה כדי לפתוח את חלונית הפרטים.
7. לוחצים על הכרטיסייה הערכה.
8. אם המעקב או הסשן לא הוערכו, לוחצים על Evaluate כדי להריץ הערכה אד-הוק.

צפייה בתוצאות ההערכה

אחרי שההערכה מסתיימת, אפשר לנתח את התוצאות כדי לזהות פערים בביצועים ובעיות מערכתיות:

• כדי לראות את התוצאות של הרצה: במסוף Google Cloud , עוברים לדף Agent Platform > Agents > Evaluation ובוחרים בכרטיסייה Evaluations. כדי לראות את הדוח המפורט, לוחצים על שם ההערכה.

  לדף Evaluation

• פירוט של העקבות: בדוח תוצאות, לוחצים על שורה כלשהי כדי לעבור ישירות לעקבה המשויכת ולבדוק את ההסברים (הנימוקים) שמאחורי הציונים.

מידע נוסף זמין במאמר ניתוח תוצאות ההערכה.