REST Resource: projects.locations.apps.evaluations.results

משאב: EvaluationResult

תוצאת הערכה מייצגת את הפלט של הפעלת הערכה.

ייצוג ב-JSON
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (EvaluationResult.Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (EvaluationResult.ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (EvaluationResult.OutcomeMetadata),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "goldenResult": {
    object (EvaluationResult.GoldenResult)
  },
  "scenarioResult": {
    object (EvaluationResult.ScenarioResult)
  }
  // End of mutually exclusive fields.
}
שדות
name

string

מזהה. המזהה הייחודי של תוצאת ההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}

displayName

string

חובה. השם המוצג של תוצאת ההערכה. ייחודי בתוך הערכה. כברירת מחדל, הפורמט הוא: " result - ".

createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן של יצירת תוצאת ההערכה.

הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

evaluationStatus

enum (EvaluationResult.Outcome)

פלט בלבד. תוצאת הבדיקה. השדה הזה מאוכלס רק אם הערך של executionState הוא COMPLETE.

evaluationRun

string

פלט בלבד. הרצת ההערכה שהפיקה את התוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}

persona

object (EvaluationPersona)

פלט בלבד. הפרסונה ששימשה ליצירת השיחה לתוצאת ההערכה.

errorInfo

object (EvaluationErrorInfo)

פלט בלבד. פרטי השגיאה של תוצאת ההערכה.

error
(deprecated)

object (Status)

פלט בלבד. הוצא משימוש: צריך להשתמש ב-errorInfo במקום זאת. שגיאות שאירעו במהלך ההפעלה.

initiatedBy

string

פלט בלבד. המשתמש שהפעיל את הרצת ההערכה שהובילה לתוצאה הזו.

appVersion

string

פלט בלבד. גרסת האפליקציה שבה נוצרה השיחה שהובילה לתוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/versions/{version}

appVersionDisplayName

string

פלט בלבד. השם המוצג של ה-appVersion שההערכה בוצעה לגביו.

changelog

string

פלט בלבד. יומן השינויים של גרסת האפליקציה שבה בוצעה ההערכה. השדה הזה מאוכלס אם המשתמש מריץ הערכה על הגרסה האחרונה או על טיוטה.

changelogCreateTime

string (Timestamp format)

פלט בלבד. זמן היצירה של יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה על הגרסה האחרונה או על טיוטה.

הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

executionState

enum (EvaluationResult.ExecutionState)

פלט בלבד. מצב הביצוע של תוצאת ההערכה.

evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

פלט בלבד. סף ההערכה של התוצאה.

config

object (EvaluationConfig)

פלט בלבד. ההגדרות ששימשו להרצת ההערכה שהובילה לתוצאה הזו.

goldenRunMethod

enum (GoldenRunMethod)

פלט בלבד. השיטה שבה משתמשים כדי להריץ את הערכת הזהב.

rootSpan

object (Span)

פלט בלבד. היחידה הלוגית הבסיסית למעקב של הרצת ההערכה, שכוללת מידע על כל שלב בהערכה.

outcomeMetadata

enum (EvaluationResult.OutcomeMetadata)

פלט בלבד. המטא-נתונים של תוצאת ההערכה. השדה הזה מאוכלס רק אם הערך של executionState הוא COMPLETE.

תוצאת הבדיקה. השדה הזה מאוכלס רק כשערך השדה execution_state הוא COMPLETED. ברשימה הבאה מופיעים שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים:
goldenResult

object (EvaluationResult.GoldenResult)

פלט בלבד. התוצאה של הערכת הזהב.

scenarioResult

object (EvaluationResult.ScenarioResult)

פלט בלבד. התוצאה של הערכת התרחיש.

סוף השדות שמוציאים זה את זה.

EvaluationResult.GoldenResult

התוצאה של הערכת הזהב.

ייצוג ב-JSON
{
  "turnReplayResults": [
    {
      object (EvaluationResult.GoldenResult.TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ]
}
שדות
turnReplayResults[]

object (EvaluationResult.GoldenResult.TurnReplayResult)

פלט בלבד. התוצאה של הרצת כל שלב בשיחה האידיאלית.

evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

פלט בלבד. תוצאות הציפיות מההערכה.

EvaluationResult.GoldenResult.TurnReplayResult

התוצאה של הרצת סבב אחד של שיחת הזהב.

ייצוג ב-JSON
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (EvaluationResult.GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (EvaluationResult.HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (EvaluationResult.OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "toolOrderedInvocationScore": number
}
שדות
conversation

string

פלט בלבד. השיחה שנוצרה בסבב הזה.

expectationOutcome[]

object (EvaluationResult.GoldenExpectationOutcome)

פלט בלבד. התוצאה של כל ציפייה.

hallucinationResult

object (EvaluationResult.HallucinationResult)

פלט בלבד. תוצאת הבדיקה של ההזיות.

toolInvocationScore
(deprecated)

number

פלט בלבד. הוצאה משימוש, במקום זאת, צריך להשתמש ב-OverallToolInvocationResult.

turnLatency

string (Duration format)

פלט בלבד. משך הזמן של הפנייה.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. לדוגמה: "3.5s".

toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

פלט בלבד. זמן האחזור של כל קריאת API לכלי בסבב.

semanticSimilarityResult

object (EvaluationResult.SemanticSimilarityResult)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.

overallToolInvocationResult

object (EvaluationResult.OverallToolInvocationResult)

פלט בלבד. התוצאה של הבדיקה הכוללת של הפעלת הכלי.

errorInfo

object (EvaluationErrorInfo)

פלט בלבד. מידע על השגיאה שהתרחשה במהלך התור הזה.

spanLatencies[]

object (EvaluationResult.SpanLatency)

פלט בלבד. זמן האחזור של קטעי הטקסט בתור.

toolOrderedInvocationScore

number

פלט בלבד. הציון הכולל של הפעלת הכלים לפי הסדר בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים מהתור הצפוי שהופעלו בפועל בסדר הצפוי.

EvaluationResult.GoldenExpectationOutcome

מציינת את הציפייה ואת התוצאה של הציפייה הזו.

ייצוג ב-JSON
{
  "expectation": {
    object (Evaluation.GoldenExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of mutually exclusive fields.
}
שדות
expectation

object (Evaluation.GoldenExpectation)

פלט בלבד. הציפייה שנבדקה.

outcome

enum (EvaluationResult.Outcome)

פלט בלבד. התוצאה של הציפייה.

semanticSimilarityResult
(deprecated)

object (EvaluationResult.SemanticSimilarityResult)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.

toolInvocationResult

object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)

פלט בלבד. התוצאה של בדיקת הפעלת הכלי.

התוצאה של הציפייה. ברשימה הבאה מופיעים שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים:
observedToolCall

object (ToolCall)

פלט בלבד. התוצאה של הציפייה לקריאת API לכלי.

observedToolResponse

object (ToolResponse)

פלט בלבד. התוצאה של הציפייה לתגובה מהכלי.

observedAgentResponse

object (Message)

פלט בלבד. התוצאה של הציפייה לתגובה מהסוכן.

observedAgentTransfer

object (AgentTransfer)

פלט בלבד. התוצאה של הציפייה להעברה לנציג.

observedPayload

object (Struct format)

פלט בלבד. מטען ייעודי (payload) מותאם אישית שנצפה. אין ציפיות לגבי מטען ייעודי (payload) מותאם אישית. הנתון הזה משמש רק לחישוב מדדים. התוצאה היא תמיד SKIPPED.

סוף השדות שמוציאים זה את זה.

EvaluationResult.Outcome

התוצאה של ההערכה או הציפייה.

טיפוסים בני מנייה (enum)
OUTCOME_UNSPECIFIED תוצאת ההערכה לא צוינה.
PASS ההערכה/הציפייה עברה. במקרה של הערכה, המשמעות היא שכל הציפיות נענו.
FAIL הערכה/ציפייה נכשלה. במקרה של הערכה, המשמעות היא שלפחות ציפייה אחת לא התממשה.
SKIPPED ההערכה/הציפייה לא בוצעה.

EvaluationResult.SemanticSimilarityResult

התוצאה של בדיקת הדמיון הסמנטי.

ייצוג ב-JSON
{
  "label": string,
  "explanation": string,
  "outcome": enum (EvaluationResult.Outcome),
  "score": integer
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 4: עקביות מלאה, ציון 3: עקביות ברוב המקרים, ציון 2: עקביות חלקית (השמטות קלות), ציון 1: חוסר עקביות ברוב המקרים (השמטות משמעותיות), ציון 0: חוסר עקביות מוחלט או סתירה

explanation

string

פלט בלבד. ההסבר לציון הדמיון הסמנטי.

outcome

enum (EvaluationResult.Outcome)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי. ההחלטה מתקבלת על ידי השוואת הניקוד ל-semanticSimilaritySuccessThreshold. אם הציון שווה לסף או גבוה ממנו, התוצאה תהיה "עבר". אחרת, התוצאה תהיה FAIL.

score

integer

פלט בלבד. ציון הדמיון הסמנטי. הערך יכול להיות 0, 1, 2, 3 או 4.

EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult

התוצאה של בדיקת הפעלת הכלי.

ייצוג ב-JSON
{
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string,
  "parameterCorrectnessScore": number
}
שדות
outcome

enum (EvaluationResult.Outcome)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. כדי לקבוע את זה, המערכת משווה בין parameterCorrectnessScore לבין הסף. אם הציון שווה לסף או גבוה ממנו, התוצאה תהיה "עבר". אחרת, התוצאה תהיה FAIL.

explanation

string

פלט בלבד. הסבר בטקסט חופשי על התוצאה של הפעלת הכלי.

parameterCorrectnessScore

number

פלט בלבד. הציון של נכונות הפרמטרים להפעלת הכלי. המדד הזה מציין את אחוז הפרמטרים מקריאת ה-API הצפויה לכלי שהיו קיימים גם בקריאת ה-API בפועל לכלי.

EvaluationResult.HallucinationResult

תוצאת הבדיקה של הזיות בתור בודד.

ייצוג ב-JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: מוצדק, ציון 0: לא מוצדק, ציון 1-: אין טענה שצריך להעריך

explanation

string

פלט בלבד. ההסבר לציון ההזיה.

score

integer

פלט בלבד. ציון ההזיה. יכול להיות ‎-1, ‏ 0, ‏ 1.

EvaluationResult.ToolCallLatency

זמן האחזור של הפעלת קריאת API לכלי.

ייצוג ב-JSON
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
שדות
tool

string

פלט בלבד. שם הכלי שהופעל. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.

displayName

string

פלט בלבד. השם המוצג של הכלי.

startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של הרצת קריאת ה-API לכלי.

הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של הפעלת קריאת ה-API לכלי.

הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

executionLatency

string (Duration format)

פלט בלבד. זמן האחזור של הפעלת קריאת ה-API לכלי.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. לדוגמה: "3.5s".

EvaluationResult.OverallToolInvocationResult

התוצאה של הבדיקה הכוללת של הפעלת הכלי.

ייצוג ב-JSON
{
  "outcome": enum (EvaluationResult.Outcome),
  "toolInvocationScore": number
}
שדות
outcome

enum (EvaluationResult.Outcome)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. כדי לקבוע את זה, המערכת משווה בין toolInvocationScore לבין overallToolInvocationCorrectnessThreshold. אם הציון שווה לסף או גבוה ממנו, התוצאה תהיה "עבר". אחרת, התוצאה תהיה FAIL.

toolInvocationScore

number

הציון הכולל של הפעלת הכלים בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים שהופעלו בפועל מתוך הכלים שהיו צפויים לפעול בתור.

EvaluationResult.SpanLatency

זמן האחזור של ביצוע span.

ייצוג ב-JSON
{
  "type": enum (EvaluationResult.SpanLatency.Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of mutually exclusive fields.
}
שדות
type

enum (EvaluationResult.SpanLatency.Type)

פלט בלבד. סוג ה-span.

displayName

string

פלט בלבד. השם המוצג של ה-span. רלוונטי לטווחים של כלים ומעקות בטיחות.

startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של הטווח.

הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של הטווח.

הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

executionLatency

string (Duration format)

פלט בלבד. זמן האחזור של ה-span.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. לדוגמה: "3.5s".

המזהה של הפריט הספציפי, בהתאם לסוג שלו. ברשימה הבאה מופיעים שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים:
resource

string

פלט בלבד. שם המשאב של טווחי ההנחיות או הכלים.

toolset

object (ToolsetTool)

פלט בלבד. מזהה הכלי של ערכת הכלים.

model

string

פלט בלבד. שם ה-span של ה-LLM.

callback

string

פלט בלבד. השם של טווח הקריאה החוזרת (callback) של המשתמש.

סוף השדות שמוציאים זה את זה.

EvaluationResult.SpanLatency.Type

סוג ה-span. יכול להיות שבעתיד נוסיף עוד ערכים.

טיפוסים בני מנייה (enum)
TYPE_UNSPECIFIED ערך ברירת המחדל. הערך הזה לא בשימוש.
TOOL טווח קריאת ה-API לכלי.
USER_CALLBACK טווח הקריאה החוזרת של המשתמש.
GUARDRAIL טווח של שכבת הגנה.
LLM טווח LLM.

EvaluationResult.EvaluationExpectationResult

התוצאה של ציפייה אחת להערכה.

ייצוג ב-JSON
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string
}
שדות
evaluationExpectation

string

פלט בלבד. הציפייה מההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

prompt

string

פלט בלבד. ההנחיה ששימשה להערכה.

outcome

enum (EvaluationResult.Outcome)

פלט בלבד. התוצאה של ציפיית ההערכה.

explanation

string

פלט בלבד. ההסבר לתוצאה.

EvaluationResult.ScenarioResult

התוצאה של הערכת התרחיש.

ייצוג ב-JSON
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (EvaluationResult.ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (EvaluationResult.ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (EvaluationResult.HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (EvaluationResult.TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (EvaluationResult.UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (EvaluationResult.ScenarioResult.MilestoneResult)
    }
  ],
  "allExpectationsSatisfied": boolean,
  "taskCompleted": boolean
}
שדות
conversation

string

פלט בלבד. השיחה שנוצרה בתרחיש.

task

string

פלט בלבד. המשימה ששימשה להפעלת התרחיש של התוצאה הזו.

userFacts[]

object (Evaluation.Scenario.UserFact)

פלט בלבד. העובדות על המשתמש ששימשו את התרחיש לתוצאה הזו.

expectationOutcomes[]

object (EvaluationResult.ScenarioExpectationOutcome)

פלט בלבד. התוצאה של כל ציפייה.

rubricOutcomes[]

object (EvaluationResult.ScenarioRubricOutcome)

פלט בלבד. התוצאה של הקריטריונים להערכה.

hallucinationResult[]

object (EvaluationResult.HallucinationResult)

פלט בלבד. תוצאת הבדיקה של ההזיות. לכל שלב בשיחה תהיה תוצאת הזיה אחת.

taskCompletionResult
(deprecated)

object (EvaluationResult.TaskCompletionResult)

פלט בלבד. התוצאה של בדיקת השלמת המשימה.

toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

פלט בלבד. זמן האחזור של כל הפעלה של קריאת API לכלי בשיחה.

userGoalSatisfactionResult

object (EvaluationResult.UserGoalSatisfactionResult)

פלט בלבד. התוצאה של בדיקת שביעות הרצון של המשתמש מהיעד.

spanLatencies[]

object (EvaluationResult.SpanLatency)

פלט בלבד. זמן האחזור של הטווחים בשיחה.

evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

פלט בלבד. תוצאות הציפיות מההערכה.

milestoneResults[]

object (EvaluationResult.ScenarioResult.MilestoneResult)

פלט בלבד. התוצאות של כל ציון דרך בתרחיש.

allExpectationsSatisfied

boolean

פלט בלבד. אם כל הציפיות נענו בתור הזה.

taskCompleted

boolean

פלט בלבד. אם המשימה הושלמה בתור הזה. הציון הזה משקלל את כל הציפיות שנענו, את היעדר ההזיות ואת שביעות הרצון של המשתמש מהשגת המטרה.

EvaluationResult.ScenarioExpectationOutcome

התוצאה של ציפייה לתרחיש.

ייצוג ב-JSON
{
  "expectation": {
    object (Evaluation.ScenarioExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of mutually exclusive fields.
}
שדות
expectation

object (Evaluation.ScenarioExpectation)

פלט בלבד. הציפייה שנבדקה.

outcome

enum (EvaluationResult.Outcome)

פלט בלבד. התוצאה של ScenarioExpectation.

התוצאה של הציפייה. ברשימה הבאה מופיעים שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים:
observedToolCall

object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)

פלט בלבד. קריאת ה-API לכלי שנצפתה.

observedAgentResponse

object (Message)

פלט בלבד. התשובה של הסוכן שנצפתה.

סוף השדות שמוציאים זה את זה.

EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall

קריאת ה-API לכלי והתגובה שנצפו.

ייצוג ב-JSON
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
שדות
toolCall

object (ToolCall)

פלט בלבד. קריאת ה-API לכלי שנצפתה.

toolResponse

object (ToolResponse)

פלט בלבד. התשובה שנצפתה מהכלי.

EvaluationResult.ScenarioRubricOutcome

תוצאת ההערכה לפי קריטריון ההערכה.

ייצוג ב-JSON
{
  "rubric": string,
  "scoreExplanation": string,
  "score": number
}
שדות
rubric

string

פלט בלבד. הקריטריונים ששימשו להערכת השיחה.

scoreExplanation

string

פלט בלבד. התשובה של הבודק לקריטריון ההערכה.

score

number

פלט בלבד. הציון של השיחה לפי קריטריון ההערכה.

EvaluationResult.TaskCompletionResult

התוצאה של בדיקת השלמת המשימה בשיחה.

ייצוג ב-JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: המשימה הושלמה, ציון 0: המשימה לא הושלמה, ציון 1-: יעד המשתמש לא מוגדר

explanation

string

פלט בלבד. ההסבר לציון השלמת המשימה.

score

integer

פלט בלבד. ציון השלמת המשימה. יכול להיות ‎-1, 0, 1

EvaluationResult.UserGoalSatisfactionResult

התוצאה של בדיקת שביעות הרצון של המשתמש מהשיחה.

ייצוג ב-JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 2: העברה חלקה, ציון 1: המשימה של המשתמש בוצעה, ציון 0: המשימה של המשתמש לא בוצעה, ציון 1-: המשימה של המשתמש לא צוינה

explanation

string

פלט בלבד. ההסבר לציון שביעות הרצון של המשתמשים מהמשימה.

score

integer

פלט בלבד. ציון שביעות הרצון של המשתמש מהמשימה. יכול להיות -1, 0, 1, 2.

EvaluationResult.ScenarioResult.MilestoneResult

מייצג את התוצאה של ביצוע אבן דרך.

ייצוג ב-JSON
{
  "milestone": {
    object (Evaluation.Scenario.Milestone)
  },
  "status": enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus),
  "justification": string
}
שדות
milestone

object (Evaluation.Scenario.Milestone)

פלט בלבד. אבן הדרך שאחריה מתבצע מעקב.

status

enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus)

פלט בלבד. הסטטוס הנוכחי של אבן הדרך.

justification

string

פלט בלבד. הסיבה לסטטוס הנוכחי.

EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus

סטטוס אבן הדרך.

טיפוסים בני מנייה (enum)
MILESTONE_STATUS_UNSPECIFIED סטטוס לא מוגדר.
NOT_STARTED השלב עדיין לא התחיל.
IN_PROGRESS האבן דרך מתבצעת כרגע.
COMPLETED השלמתם את אבן הדרך.

EvaluationResult.ExecutionState

מצב הביצוע של תוצאת ההערכה.

טיפוסים בני מנייה (enum)
EXECUTION_STATE_UNSPECIFIED מצב ההרצה של תוצאת ההערכה לא צוין.
QUEUED הפעלת תוצאות ההערכה נמצאת בתור.
RUNNING ההרצה של תוצאת ההערכה מתבצעת.
COMPLETED ההרצה של תוצאת ההערכה הסתיימה.
ERROR ההרצה של תוצאת ההערכה נכשלה בגלל שגיאה פנימית.
CANCELLED ההרצה של תוצאת ההערכה בוטלה.

EvaluationResult.OutcomeMetadata

מטא-נתונים על תוצאות ההערכה.

טיפוסים בני מנייה (enum)
OUTCOME_METADATA_UNSPECIFIED מטא-נתונים לא מוגדרים של תוצאות.
GRACEFUL_HANDOFF ההערכה הובילה להעברה חלקה לנציג אנושי.

Methods

delete

מחיקה של תוצאת הערכה.

export

ייצוא של תוצאות ההערכות.

get

הצגת פרטים של תוצאת הערכה ספציפית.

list

מציגה את כל תוצאות ההערכה של הערכה נתונה.

runEvaluationResultMetrics

מריץ מדדים על תוצאת הערכה קיימת.