- ייצוג ב-JSON
- EvaluationMetricsConfig.HallucinationMetricsConfig
- EvaluationMetricsConfig.ComparisonType
מייצג דרישה אחת שאפשר לבדוק.
| ייצוג ב-JSON |
|---|
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object ( |
| שדות | |
|---|---|
note |
זה שינוי אופציונלי. הערה לגבי הדרישה הזו, שימושית לדיווח כשבדיקות ספציפיות נכשלות. למשל, "Check_Payment_Tool_Called". |
skipEvaluation |
זה שינוי אופציונלי. אם המאפיין מוגדר כ-true, הציפייה הספציפית הזו לא תוערך. |
expectationLevelMetricsThresholdsOverride |
זה שינוי אופציונלי. עוקף את המדדים ברמת השלב. |
agentResponseSemanticSimilarityMetricsConfigOverride |
זה שינוי אופציונלי. הגדרות ברירת מחדל למדדי הדמיון הסמנטי של agentResponse. |
agentResponseHallucinationMetricsConfigOverride |
זה שינוי אופציונלי. החלפת מדדים של הזיות בתשובות של סוכנים. |
comparisonType |
זה שינוי אופציונלי. סוג ההשוואה שמשמש לבדיקת הציפייה. |
| הבדיקה בפועל שצריך לבצע. הרשימה הבאה כוללת שדות שאי אפשר להשתמש בהם בו-זמנית. בכל תשובה יוגדר לכל היותר אחד מהשדות: | |
toolCall |
זה שינוי אופציונלי. בודקים אם בוצעה קריאה לכלי ספציפי עם הפרמטרים. |
toolResponse |
זה שינוי אופציונלי. בודקים אם הכלי הספציפי הגיב בצורה הצפויה. |
agentResponse |
זה שינוי אופציונלי. בודקים שהנציג הווירטואלי הגיב בתשובה הנכונה. התפקיד 'סוכן' מרומז. |
agentTransfer |
זה שינוי אופציונלי. בודקים שהנציג העביר את השיחה לנציג אחר. |
updatedVariables |
זה שינוי אופציונלי. בודקים שהסוכן עדכן את משתני הסשן לערכים הצפויים. המשתנה הזה משמש גם לתיעוד של עדכוני משתנים של סוכנים לצורך הערכות מוזהבות. |
mockToolResponse |
זה שינוי אופציונלי. התגובה של הכלי ל-mock, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM. |
noToolCalls |
זה שינוי אופציונלי. בודקים שלא נעשה שימוש בכלים במהלך התור הזה. |
| סוף השדות הבלעדיים. | |
EvaluationMetricsConfig.HallucinationMetricsConfig
הגדרות למדדי ההזיות לצורך ההערכה. כדי להשבית את המדד, מגדירים את ההודעה אבל לא מגדירים את השדה enableHallucinationMetrics כ-true (או מגדירים אותו במפורש כ-false). כדי לבטל את ההגדרה ולחזור להתנהגות ברירת המחדל, משמיטים את ההודעה לגמרי.
| ייצוג ב-JSON |
|---|
{ "enableHallucinationMetrics": boolean } |
| שדות | |
|---|---|
enableHallucinationMetrics |
זה שינוי אופציונלי. האם לחשב מדדים של הזיות לצורך ההערכה. |
EvaluationMetricsConfig.ComparisonType
סוגי השוואות נתמכים לבדיקת התשובה של הסוכן.
| טיפוסים בני מנייה (enum) | |
|---|---|
COMPARISON_TYPE_UNSPECIFIED |
סוג ההשוואה לא צוין. ההתנהגות מוגדרת כברירת מחדל ל-SEMANTIC_SIMILARITY לתגובות של סוכנים ולקריאות כלים. |
EQUALS |
התאמה מדויקת של מחרוזת. |
CONTAINS |
התאמה של מחרוזת משנה (בדיקה אם המחרוזת הצפויה כלולה בתשובה בפועל). |
SEMANTIC_SIMILARITY |
התאמה של דמיון סמנטי (הערכת דמיון המשמעות באמצעות LLM). |