Evaluation.GoldenExpectation

מייצג דרישה אחת שאפשר לבדוק.

ייצוג ב-JSON
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (EvaluationMetricsConfig.HallucinationMetricsConfig)
  },
  "comparisonType": enum (EvaluationMetricsConfig.ComparisonType),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of mutually exclusive fields.
}
שדות
note

string

זה שינוי אופציונלי. הערה לגבי הדרישה הזו, שימושית לדיווח כשבדיקות ספציפיות נכשלות. למשל, "Check_Payment_Tool_Called".

skipEvaluation

boolean

זה שינוי אופציונלי. אם המאפיין מוגדר כ-true, הציפייה הספציפית הזו לא תוערך.

expectationLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)

זה שינוי אופציונלי. עוקף את המדדים ברמת השלב.

agentResponseSemanticSimilarityMetricsConfigOverride

object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)

זה שינוי אופציונלי. הגדרות ברירת מחדל למדדי הדמיון הסמנטי של agentResponse.

agentResponseHallucinationMetricsConfigOverride

object (EvaluationMetricsConfig.HallucinationMetricsConfig)

זה שינוי אופציונלי. החלפת מדדים של הזיות בתשובות של סוכנים.

comparisonType

enum (EvaluationMetricsConfig.ComparisonType)

זה שינוי אופציונלי. סוג ההשוואה שמשמש לבדיקת הציפייה.

הבדיקה בפועל שצריך לבצע. הרשימה הבאה כוללת שדות שאי אפשר להשתמש בהם בו-זמנית. בכל תשובה יוגדר לכל היותר אחד מהשדות:
toolCall

object (ToolCall)

זה שינוי אופציונלי. בודקים אם בוצעה קריאה לכלי ספציפי עם הפרמטרים.

toolResponse

object (ToolResponse)

זה שינוי אופציונלי. בודקים אם הכלי הספציפי הגיב בצורה הצפויה.

agentResponse

object (Message)

זה שינוי אופציונלי. בודקים שהנציג הווירטואלי הגיב בתשובה הנכונה. התפקיד 'סוכן' מרומז.

agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. בודקים שהנציג העביר את השיחה לנציג אחר.

updatedVariables

object (Struct format)

זה שינוי אופציונלי. בודקים שהסוכן עדכן את משתני הסשן לערכים הצפויים. המשתנה הזה משמש גם לתיעוד של עדכוני משתנים של סוכנים לצורך הערכות מוזהבות.

mockToolResponse

object (ToolResponse)

זה שינוי אופציונלי. התגובה של הכלי ל-mock, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM.

noToolCalls

boolean

זה שינוי אופציונלי. בודקים שלא נעשה שימוש בכלים במהלך התור הזה.

סוף השדות הבלעדיים.

EvaluationMetricsConfig.HallucinationMetricsConfig

הגדרות למדדי ההזיות לצורך ההערכה. כדי להשבית את המדד, מגדירים את ההודעה אבל לא מגדירים את השדה enableHallucinationMetrics כ-true (או מגדירים אותו במפורש כ-false). כדי לבטל את ההגדרה ולחזור להתנהגות ברירת המחדל, משמיטים את ההודעה לגמרי.

ייצוג ב-JSON
{
  "enableHallucinationMetrics": boolean
}
שדות
enableHallucinationMetrics

boolean

זה שינוי אופציונלי. האם לחשב מדדים של הזיות לצורך ההערכה.

EvaluationMetricsConfig.ComparisonType

סוגי השוואות נתמכים לבדיקת התשובה של הסוכן.

טיפוסים בני מנייה (enum)
COMPARISON_TYPE_UNSPECIFIED סוג ההשוואה לא צוין. ההתנהגות מוגדרת כברירת מחדל ל-SEMANTIC_SIMILARITY לתגובות של סוכנים ולקריאות כלים.
EQUALS התאמה מדויקת של מחרוזת.
CONTAINS התאמה של מחרוזת משנה (בדיקה אם המחרוזת הצפויה כלולה בתשובה בפועל).
SEMANTIC_SIMILARITY התאמה של דמיון סמנטי (הערכת דמיון המשמעות באמצעות LLM).