- משאב: EvaluationResult
- ייצוג ב-JSON
- EvaluationResult.GoldenResult
- EvaluationResult.GoldenResult.TurnReplayResult
- EvaluationResult.GoldenExpectationOutcome
- EvaluationResult.Outcome
- EvaluationResult.SemanticSimilarityResult
- EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
- EvaluationResult.HallucinationResult
- EvaluationResult.ToolCallLatency
- EvaluationResult.OverallToolInvocationResult
- EvaluationResult.SpanLatency
- EvaluationResult.SpanLatency.Type
- EvaluationResult.EvaluationExpectationResult
- EvaluationResult.ScenarioResult
- EvaluationResult.ScenarioExpectationOutcome
- EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
- EvaluationResult.ScenarioRubricOutcome
- EvaluationResult.TaskCompletionResult
- EvaluationResult.UserGoalSatisfactionResult
- EvaluationResult.ScenarioResult.MilestoneResult
- EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
- EvaluationResult.ExecutionState
- EvaluationResult.OutcomeMetadata
- Methods
משאב: EvaluationResult
תוצאת הערכה מייצגת את הפלט של הפעלת הערכה.
| ייצוג ב-JSON |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| שדות | |
|---|---|
name |
מזהה. המזהה הייחודי של תוצאת ההערכה. פורמט: |
displayName |
חובה. השם המוצג של תוצאת ההערכה. ייחודי בתוך הערכה. כברירת מחדל, הפורמט הוא: " |
createTime |
פלט בלבד. חותמת הזמן של יצירת תוצאת ההערכה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: |
evaluationStatus |
פלט בלבד. תוצאת הבדיקה. השדה הזה מאוכלס רק אם הערך של executionState הוא COMPLETE. |
evaluationRun |
פלט בלבד. הרצת ההערכה שהפיקה את התוצאה הזו. פורמט: |
persona |
פלט בלבד. הפרסונה ששימשה ליצירת השיחה לתוצאת ההערכה. |
errorInfo |
פלט בלבד. פרטי השגיאה של תוצאת ההערכה. |
error |
פלט בלבד. הוצא משימוש: צריך להשתמש ב- |
initiatedBy |
פלט בלבד. המשתמש שהפעיל את הרצת ההערכה שהובילה לתוצאה הזו. |
appVersion |
פלט בלבד. גרסת האפליקציה שבה נוצרה השיחה שהובילה לתוצאה הזו. פורמט: |
appVersionDisplayName |
פלט בלבד. השם המוצג של ה- |
changelog |
פלט בלבד. יומן השינויים של גרסת האפליקציה שבה בוצעה ההערכה. השדה הזה מאוכלס אם המשתמש מריץ הערכה על הגרסה האחרונה או על טיוטה. |
changelogCreateTime |
פלט בלבד. זמן היצירה של יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה על הגרסה האחרונה או על טיוטה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: |
executionState |
פלט בלבד. מצב הביצוע של תוצאת ההערכה. |
evaluationMetricsThresholds |
פלט בלבד. סף ההערכה של התוצאה. |
config |
פלט בלבד. ההגדרות ששימשו להרצת ההערכה שהובילה לתוצאה הזו. |
goldenRunMethod |
פלט בלבד. השיטה שבה משתמשים כדי להריץ את הערכת הזהב. |
rootSpan |
פלט בלבד. היחידה הלוגית הבסיסית למעקב של הרצת ההערכה, שכוללת מידע על כל שלב בהערכה. |
outcomeMetadata |
פלט בלבד. המטא-נתונים של תוצאת ההערכה. השדה הזה מאוכלס רק אם הערך של executionState הוא COMPLETE. |
| תוצאת הבדיקה. השדה הזה מאוכלס רק כשערך השדה execution_state הוא COMPLETED. ברשימה הבאה מופיעים שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים: | |
goldenResult |
פלט בלבד. התוצאה של הערכת הזהב. |
scenarioResult |
פלט בלבד. התוצאה של הערכת התרחיש. |
| סוף השדות שמוציאים זה את זה. | |
EvaluationResult.GoldenResult
התוצאה של הערכת הזהב.
| ייצוג ב-JSON |
|---|
{ "turnReplayResults": [ { object ( |
| שדות | |
|---|---|
turnReplayResults[] |
פלט בלבד. התוצאה של הרצת כל שלב בשיחה האידיאלית. |
evaluationExpectationResults[] |
פלט בלבד. תוצאות הציפיות מההערכה. |
EvaluationResult.GoldenResult.TurnReplayResult
התוצאה של הרצת סבב אחד של שיחת הזהב.
| ייצוג ב-JSON |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| שדות | |
|---|---|
conversation |
פלט בלבד. השיחה שנוצרה בסבב הזה. |
expectationOutcome[] |
פלט בלבד. התוצאה של כל ציפייה. |
hallucinationResult |
פלט בלבד. תוצאת הבדיקה של ההזיות. |
toolInvocationScore |
פלט בלבד. הוצאה משימוש, במקום זאת, צריך להשתמש ב-OverallToolInvocationResult. |
turnLatency |
פלט בלבד. משך הזמן של הפנייה. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב- |
toolCallLatencies[] |
פלט בלבד. זמן האחזור של כל קריאת API לכלי בסבב. |
semanticSimilarityResult |
פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי. |
overallToolInvocationResult |
פלט בלבד. התוצאה של הבדיקה הכוללת של הפעלת הכלי. |
errorInfo |
פלט בלבד. מידע על השגיאה שהתרחשה במהלך התור הזה. |
spanLatencies[] |
פלט בלבד. זמן האחזור של קטעי הטקסט בתור. |
toolOrderedInvocationScore |
פלט בלבד. הציון הכולל של הפעלת הכלים לפי הסדר בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים מהתור הצפוי שהופעלו בפועל בסדר הצפוי. |
EvaluationResult.GoldenExpectationOutcome
מציינת את הציפייה ואת התוצאה של הציפייה הזו.
| ייצוג ב-JSON |
|---|
{ "expectation": { object ( |
| שדות | |
|---|---|
expectation |
פלט בלבד. הציפייה שנבדקה. |
outcome |
פלט בלבד. התוצאה של הציפייה. |
semanticSimilarityResult |
פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי. |
toolInvocationResult |
פלט בלבד. התוצאה של בדיקת הפעלת הכלי. |
| התוצאה של הציפייה. ברשימה הבאה מופיעים שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים: | |
observedToolCall |
פלט בלבד. התוצאה של הציפייה לקריאת API לכלי. |
observedToolResponse |
פלט בלבד. התוצאה של הציפייה לתגובה מהכלי. |
observedAgentResponse |
פלט בלבד. התוצאה של הציפייה לתגובה מהסוכן. |
observedAgentTransfer |
פלט בלבד. התוצאה של הציפייה להעברה לנציג. |
observedPayload |
פלט בלבד. מטען ייעודי (payload) מותאם אישית שנצפה. אין ציפיות לגבי מטען ייעודי (payload) מותאם אישית. הנתון הזה משמש רק לחישוב מדדים. התוצאה היא תמיד SKIPPED. |
| סוף השדות שמוציאים זה את זה. | |
EvaluationResult.Outcome
התוצאה של ההערכה או הציפייה.
| טיפוסים בני מנייה (enum) | |
|---|---|
OUTCOME_UNSPECIFIED |
תוצאת ההערכה לא צוינה. |
PASS |
ההערכה/הציפייה עברה. במקרה של הערכה, המשמעות היא שכל הציפיות נענו. |
FAIL |
הערכה/ציפייה נכשלה. במקרה של הערכה, המשמעות היא שלפחות ציפייה אחת לא התממשה. |
SKIPPED |
ההערכה/הציפייה לא בוצעה. |
EvaluationResult.SemanticSimilarityResult
התוצאה של בדיקת הדמיון הסמנטי.
| ייצוג ב-JSON |
|---|
{
"label": string,
"explanation": string,
"outcome": enum ( |
| שדות | |
|---|---|
label |
פלט בלבד. התווית שמשויכת לכל ציון. ציון 4: עקביות מלאה, ציון 3: עקביות ברוב המקרים, ציון 2: עקביות חלקית (השמטות קלות), ציון 1: חוסר עקביות ברוב המקרים (השמטות משמעותיות), ציון 0: חוסר עקביות מוחלט או סתירה |
explanation |
פלט בלבד. ההסבר לציון הדמיון הסמנטי. |
outcome |
פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי. ההחלטה מתקבלת על ידי השוואת הניקוד ל-semanticSimilaritySuccessThreshold. אם הציון שווה לסף או גבוה ממנו, התוצאה תהיה "עבר". אחרת, התוצאה תהיה FAIL. |
score |
פלט בלבד. ציון הדמיון הסמנטי. הערך יכול להיות 0, 1, 2, 3 או 4. |
EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
התוצאה של בדיקת הפעלת הכלי.
| ייצוג ב-JSON |
|---|
{
"outcome": enum ( |
| שדות | |
|---|---|
outcome |
פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. כדי לקבוע את זה, המערכת משווה בין parameterCorrectnessScore לבין הסף. אם הציון שווה לסף או גבוה ממנו, התוצאה תהיה "עבר". אחרת, התוצאה תהיה FAIL. |
explanation |
פלט בלבד. הסבר בטקסט חופשי על התוצאה של הפעלת הכלי. |
parameterCorrectnessScore |
פלט בלבד. הציון של נכונות הפרמטרים להפעלת הכלי. המדד הזה מציין את אחוז הפרמטרים מקריאת ה-API הצפויה לכלי שהיו קיימים גם בקריאת ה-API בפועל לכלי. |
EvaluationResult.HallucinationResult
תוצאת הבדיקה של הזיות בתור בודד.
| ייצוג ב-JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| שדות | |
|---|---|
label |
פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: מוצדק, ציון 0: לא מוצדק, ציון 1-: אין טענה שצריך להעריך |
explanation |
פלט בלבד. ההסבר לציון ההזיה. |
score |
פלט בלבד. ציון ההזיה. יכול להיות -1, 0, 1. |
EvaluationResult.ToolCallLatency
זמן האחזור של הפעלת קריאת API לכלי.
| ייצוג ב-JSON |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| שדות | |
|---|---|
tool |
פלט בלבד. שם הכלי שהופעל. פורמט: |
displayName |
פלט בלבד. השם המוצג של הכלי. |
startTime |
פלט בלבד. שעת ההתחלה של הרצת קריאת ה-API לכלי. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: |
endTime |
פלט בלבד. שעת הסיום של הפעלת קריאת ה-API לכלי. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: |
executionLatency |
פלט בלבד. זמן האחזור של הפעלת קריאת ה-API לכלי. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב- |
EvaluationResult.OverallToolInvocationResult
התוצאה של הבדיקה הכוללת של הפעלת הכלי.
| ייצוג ב-JSON |
|---|
{
"outcome": enum ( |
| שדות | |
|---|---|
outcome |
פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. כדי לקבוע את זה, המערכת משווה בין toolInvocationScore לבין overallToolInvocationCorrectnessThreshold. אם הציון שווה לסף או גבוה ממנו, התוצאה תהיה "עבר". אחרת, התוצאה תהיה FAIL. |
toolInvocationScore |
הציון הכולל של הפעלת הכלים בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים שהופעלו בפועל מתוך הכלים שהיו צפויים לפעול בתור. |
EvaluationResult.SpanLatency
זמן האחזור של ביצוע span.
| ייצוג ב-JSON |
|---|
{ "type": enum ( |
| שדות | |
|---|---|
type |
פלט בלבד. סוג ה-span. |
displayName |
פלט בלבד. השם המוצג של ה-span. רלוונטי לטווחים של כלים ומעקות בטיחות. |
startTime |
פלט בלבד. שעת ההתחלה של הטווח. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: |
endTime |
פלט בלבד. שעת הסיום של הטווח. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: |
executionLatency |
פלט בלבד. זמן האחזור של ה-span. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב- |
| המזהה של הפריט הספציפי, בהתאם לסוג שלו. ברשימה הבאה מופיעים שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים: | |
resource |
פלט בלבד. שם המשאב של טווחי ההנחיות או הכלים. |
toolset |
פלט בלבד. מזהה הכלי של ערכת הכלים. |
model |
פלט בלבד. שם ה-span של ה-LLM. |
callback |
פלט בלבד. השם של טווח הקריאה החוזרת (callback) של המשתמש. |
| סוף השדות שמוציאים זה את זה. | |
EvaluationResult.SpanLatency.Type
סוג ה-span. יכול להיות שבעתיד נוסיף עוד ערכים.
| טיפוסים בני מנייה (enum) | |
|---|---|
TYPE_UNSPECIFIED |
ערך ברירת המחדל. הערך הזה לא בשימוש. |
TOOL |
טווח קריאת ה-API לכלי. |
USER_CALLBACK |
טווח הקריאה החוזרת של המשתמש. |
GUARDRAIL |
טווח של שכבת הגנה. |
LLM |
טווח LLM. |
EvaluationResult.EvaluationExpectationResult
התוצאה של ציפייה אחת להערכה.
| ייצוג ב-JSON |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| שדות | |
|---|---|
evaluationExpectation |
פלט בלבד. הציפייה מההערכה. פורמט: |
prompt |
פלט בלבד. ההנחיה ששימשה להערכה. |
outcome |
פלט בלבד. התוצאה של ציפיית ההערכה. |
explanation |
פלט בלבד. ההסבר לתוצאה. |
EvaluationResult.ScenarioResult
התוצאה של הערכת התרחיש.
| ייצוג ב-JSON |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| שדות | |
|---|---|
conversation |
פלט בלבד. השיחה שנוצרה בתרחיש. |
task |
פלט בלבד. המשימה ששימשה להפעלת התרחיש של התוצאה הזו. |
userFacts[] |
פלט בלבד. העובדות על המשתמש ששימשו את התרחיש לתוצאה הזו. |
expectationOutcomes[] |
פלט בלבד. התוצאה של כל ציפייה. |
rubricOutcomes[] |
פלט בלבד. התוצאה של הקריטריונים להערכה. |
hallucinationResult[] |
פלט בלבד. תוצאת הבדיקה של ההזיות. לכל שלב בשיחה תהיה תוצאת הזיה אחת. |
taskCompletionResult |
פלט בלבד. התוצאה של בדיקת השלמת המשימה. |
toolCallLatencies[] |
פלט בלבד. זמן האחזור של כל הפעלה של קריאת API לכלי בשיחה. |
userGoalSatisfactionResult |
פלט בלבד. התוצאה של בדיקת שביעות הרצון של המשתמש מהיעד. |
spanLatencies[] |
פלט בלבד. זמן האחזור של הטווחים בשיחה. |
evaluationExpectationResults[] |
פלט בלבד. תוצאות הציפיות מההערכה. |
milestoneResults[] |
פלט בלבד. התוצאות של כל ציון דרך בתרחיש. |
allExpectationsSatisfied |
פלט בלבד. אם כל הציפיות נענו בתור הזה. |
taskCompleted |
פלט בלבד. אם המשימה הושלמה בתור הזה. הציון הזה משקלל את כל הציפיות שנענו, את היעדר ההזיות ואת שביעות הרצון של המשתמש מהשגת המטרה. |
EvaluationResult.ScenarioExpectationOutcome
התוצאה של ציפייה לתרחיש.
| ייצוג ב-JSON |
|---|
{ "expectation": { object ( |
| שדות | |
|---|---|
expectation |
פלט בלבד. הציפייה שנבדקה. |
outcome |
פלט בלבד. התוצאה של ScenarioExpectation. |
| התוצאה של הציפייה. ברשימה הבאה מופיעים שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים: | |
observedToolCall |
פלט בלבד. קריאת ה-API לכלי שנצפתה. |
observedAgentResponse |
פלט בלבד. התשובה של הסוכן שנצפתה. |
| סוף השדות שמוציאים זה את זה. | |
EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
קריאת ה-API לכלי והתגובה שנצפו.
| ייצוג ב-JSON |
|---|
{ "toolCall": { object ( |
| שדות | |
|---|---|
toolCall |
פלט בלבד. קריאת ה-API לכלי שנצפתה. |
toolResponse |
פלט בלבד. התשובה שנצפתה מהכלי. |
EvaluationResult.ScenarioRubricOutcome
תוצאת ההערכה לפי קריטריון ההערכה.
| ייצוג ב-JSON |
|---|
{ "rubric": string, "scoreExplanation": string, "score": number } |
| שדות | |
|---|---|
rubric |
פלט בלבד. הקריטריונים ששימשו להערכת השיחה. |
scoreExplanation |
פלט בלבד. התשובה של הבודק לקריטריון ההערכה. |
score |
פלט בלבד. הציון של השיחה לפי קריטריון ההערכה. |
EvaluationResult.TaskCompletionResult
התוצאה של בדיקת השלמת המשימה בשיחה.
| ייצוג ב-JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| שדות | |
|---|---|
label |
פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: המשימה הושלמה, ציון 0: המשימה לא הושלמה, ציון 1-: יעד המשתמש לא מוגדר |
explanation |
פלט בלבד. ההסבר לציון השלמת המשימה. |
score |
פלט בלבד. ציון השלמת המשימה. יכול להיות -1, 0, 1 |
EvaluationResult.UserGoalSatisfactionResult
התוצאה של בדיקת שביעות הרצון של המשתמש מהשיחה.
| ייצוג ב-JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| שדות | |
|---|---|
label |
פלט בלבד. התווית שמשויכת לכל ציון. ציון 2: העברה חלקה, ציון 1: המשימה של המשתמש בוצעה, ציון 0: המשימה של המשתמש לא בוצעה, ציון 1-: המשימה של המשתמש לא צוינה |
explanation |
פלט בלבד. ההסבר לציון שביעות הרצון של המשתמשים מהמשימה. |
score |
פלט בלבד. ציון שביעות הרצון של המשתמש מהמשימה. יכול להיות -1, 0, 1, 2. |
EvaluationResult.ScenarioResult.MilestoneResult
מייצג את התוצאה של ביצוע אבן דרך.
| ייצוג ב-JSON |
|---|
{ "milestone": { object ( |
| שדות | |
|---|---|
milestone |
פלט בלבד. אבן הדרך שאחריה מתבצע מעקב. |
status |
פלט בלבד. הסטטוס הנוכחי של אבן הדרך. |
justification |
פלט בלבד. הסיבה לסטטוס הנוכחי. |
EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
סטטוס אבן הדרך.
| טיפוסים בני מנייה (enum) | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
סטטוס לא מוגדר. |
NOT_STARTED |
השלב עדיין לא התחיל. |
IN_PROGRESS |
האבן דרך מתבצעת כרגע. |
COMPLETED |
השלמתם את אבן הדרך. |
EvaluationResult.ExecutionState
מצב הביצוע של תוצאת ההערכה.
| טיפוסים בני מנייה (enum) | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
מצב ההרצה של תוצאת ההערכה לא צוין. |
QUEUED |
הפעלת תוצאות ההערכה נמצאת בתור. |
RUNNING |
ההרצה של תוצאת ההערכה מתבצעת. |
COMPLETED |
ההרצה של תוצאת ההערכה הסתיימה. |
ERROR |
ההרצה של תוצאת ההערכה נכשלה בגלל שגיאה פנימית. |
CANCELLED |
ההרצה של תוצאת ההערכה בוטלה. |
EvaluationResult.OutcomeMetadata
מטא-נתונים על תוצאות ההערכה.
| טיפוסים בני מנייה (enum) | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
מטא-נתונים לא מוגדרים של תוצאות. |
GRACEFUL_HANDOFF |
ההערכה הובילה להעברה חלקה לנציג אנושי. |
Methods |
|
|---|---|
|
מחיקה של תוצאת הערכה. |
|
ייצוא של תוצאות ההערכות. |
|
הצגת פרטים של תוצאת הערכה ספציפית. |
|
מציגה את כל תוצאות ההערכה של הערכה נתונה. |
|
מריץ מדדים על תוצאת הערכה קיימת. |