MCP Tools Reference: ces.googleapis.com

כלי: list_evaluations

הצגת רשימה של הערכות.

בדוגמה הבאה אפשר לראות איך משתמשים ב-curl כדי להפעיל את כלי ה-MCP‏ list_evaluations.

בקשת Curl 
                  
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "list_evaluations",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

סכימת הקלט

בקשת הודעה עבור EvaluationService.ListEvaluations.

ListEvaluationsRequest

ייצוג ב-JSON 
{
  "parent": string,
  "pageSize": integer,
  "pageToken": string,
  "filter": string,
  "evaluationFilter": string,
  "evaluationRunFilter": string,
  "orderBy": string,
  "lastTenResults": boolean
}
שדות
parent

string

חובה. שם המשאב של האפליקציה שממנה רוצים להציג את ההערכות.
pageSize

integer

זה שינוי אופציונלי. גודל הדף המבוקש. יכול להיות שהשרת יחזיר פחות פריטים מהמספר שצוין בבקשה. אם לא מציינים ערך, השרת יבחר ברירת מחדל מתאימה.
pageToken

string

זה שינוי אופציונלי. הערך next_page_token שמוחזר מקריאה קודמת של EvaluationService.ListEvaluations.
filter
(deprecated)

string

זה שינוי אופציונלי. הוצא משימוש: במקומו, צריך להשתמש במסננים evaluation_filter ו-evaluation_run_filter.
evaluationFilter

string

זה שינוי אופציונלי. מסנן שיוחל על ההערכה כשמציגים את רשימת ההערכות. פרטים נוספים זמינים בכתובת https://google.aip.dev/160. שדות נתמכים: evaluation_datasets
evaluationRunFilter

string

זה שינוי אופציונלי. מחרוזת סינון לשדות במשאבי EvaluationRun המשויכים. פרטים נוספים זמינים בכתובת https://google.aip.dev/160. שדות נתמכים: create_time, initiated_by, app_version_display_name
orderBy

string

זה שינוי אופציונלי. השדה שלפיו יתבצע המיון. יש תמיכה רק בערכים name,‏ create_time ו-update_time. שדות הזמן מסודרים בסדר יורד, ושדה השם מסודר בסדר עולה. אם לא מציינים את הפרמטר הזה, ברירת המחדל היא update_time. פרטים נוספים זמינים בכתובת https://google.aip.dev/132#ordering.
lastTenResults

boolean

זה שינוי אופציונלי. האם לכלול בתשובה את 10 תוצאות ההערכה האחרונות של כל הערכה.

סכימת הפלט

הודעת תגובה ל-EvaluationService.ListEvaluations.

ListEvaluationsResponse

ייצוג ב-JSON 
{
  "evaluations": [
    {
      object (Evaluation)
    }
  ],
  "nextPageToken": string
}
שדות
evaluations[]

object (Evaluation)

רשימת ההערכות.
nextPageToken

string

טוקן שאפשר לשלוח כ-ListEvaluationsRequest.page_token כדי לאחזר את הדף הבא. אם השדה הזה לא מופיע, סימן שלא קיימים דפים נוספים.

הערכה

ייצוג ב-JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
שדות
name

string

מזהה. המזהה הייחודי של ההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

חובה. שם התצוגה שהמשתמש נתן להערכה. ייחודי באפליקציה.
description

string

זה שינוי אופציונלי. תיאור שהמשתמש מגדיר לגבי ההערכה.
tags[]

string

זה שינוי אופציונלי. תגים שהוגדרו על ידי המשתמש לסיווג הבדיקה.
evaluationDatasets[]

string

פלט בלבד. רשימה של מערכי נתונים להערכה שההערכה שייכת להם. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן שבה נוצרה ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
createdBy

string

פלט בלבד. המשתמש שיצר את ההערכה.
updateTime

string (Timestamp format)

פלט בלבד. חותמת זמן של מועד העדכון האחרון של ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

פלט בלבד. המשתמש שעדכן לאחרונה את ההערכה.
evaluationRuns[]

string

פלט בלבד. הערכים של EvaluationRuns שההערכה הזו משויכת אליהם.
etag

string

פלט בלבד. תג Etag שמשמש כדי לוודא שהאובייקט לא השתנה במהלך פעולת קריאה-שינוי-כתיבה. אם ה-etag ריק, העדכון יחליף את כל השינויים שמתבצעים בו-זמנית.
aggregatedMetrics

object (AggregatedMetrics)

פלט בלבד. המדדים המצטברים של ההערכה הזו בכל ההרצות.
lastCompletedResult

object (EvaluationResult)

פלט בלבד. תוצאת ההערכה האחרונה של ההערכה הזו.
invalid

boolean

פלט בלבד. האם ההערכה לא תקינה. מצב כזה יכול לקרות אם ההערכה מתייחסת לכלי, לערכת כלים או לסוכן שנמחקו מאז.
lastTenResults[]

object (EvaluationResult)

פלט בלבד. 10 התוצאות האחרונות של ההערכה הזו. השדה הזה מאוכלס רק אם הערך של include_last_ten_results מוגדר כ-True ב-ListEvaluationsRequest או ב-GetEvaluationRequest.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

זה שינוי אופציונלי. ביטול של ספי מדדים להערכה הספציפית הזו.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

זה שינוי אופציונלי. ההגדרה הזו מבטלת את הגדרות המדדים להערכה הספציפית הזו.
שדה איחוד inputs. הערך של inputs יכול להיות רק אחד מהבאים:
golden

object (Golden)

זה שינוי אופציונלי. השלבים החשובים שצריך לבדוק.
scenario

object (Scenario)

זה שינוי אופציונלי. ההגדרה של תרחיש.

זהוב

ייצוג ב-JSON 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
שדות
turns[]

object (GoldenTurn)

חובה. התורות המוזהבות שנדרשות כדי להפעיל מחדש שיחה מוזהבת. המספר המקסימלי של תורות שמותר הוא 100.
evaluationExpectations[]

string

זה שינוי אופציונלי. הציפיות להערכה של השיחה שהופעלה מחדש. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

ייצוג ב-JSON 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
שדות
steps[]

object (Step)

חובה. השלבים שנדרשים כדי להפעיל מחדש שיחה לדוגמה.
rootSpan

object (Span)

זה שינוי אופציונלי. הטווח הבסיסי של התור הזה לעיבוד ולתחזוקה של מידע אודיו. ה-URI של האודיו חייב להכיל אודיו שנשמר בתדירות דגימה של 16KHz.
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

זה שינוי אופציונלי. ערכי סף של מדדים ברמת התור, שמשמשים לביטול ערכי הסף שמוגדרים ברמת המדד.
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. שינוי ברירת המחדל של התנהגות מדד ההזיות ברמת התור.

שלב

ייצוג ב-JSON 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
שדות
שדה איחוד step. השלב לביצוע. הערך step יכול להיות רק אחד מהבאים:
userInput

object (SessionInput)

זה שינוי אופציונלי. קלט של משתמשים לשיחה.
agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. העברת השיחה לסוכן אחר.
expectation

object (GoldenExpectation)

זה שינוי אופציונלי. מריץ ציפייה בתור הנוכחי.

SessionInput

ייצוג ב-JSON 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
שדות
willContinue

boolean

זה שינוי אופציונלי. דגל שמציין אם ההודעה הנוכחית היא קטע מקלט גדול יותר בסשן סטרימינג דו-כיווני.

אם הערך הוא true, הסוכן ידחה את העיבוד עד שהוא יקבל הודעה נוספת עם הערך false או עד שהמערכת תזהה נקודת קצה בקלט האודיו.will_continue

הערה: השדה הזה לא רלוונטי לקלט של אודיו ו-DTMF, כי הם תמיד מעובדים באופן אוטומטי על סמך אות סיום השיחה.
שדה איחוד input_type. סוג הקלט. הערך input_type יכול להיות רק אחד מהבאים:
text

string

זה שינוי אופציונלי. נתוני טקסט ממשתמש הקצה.
dtmf

string

זה שינוי אופציונלי. ספרות DTMF ממשתמש הקצה.
audio

string (bytes format)

זה שינוי אופציונלי. נתוני אודיו ממשתמש הקצה.

מחרוזת בקידוד Base64.
toolResponses

object (ToolResponses)

זה שינוי אופציונלי. תוצאות ההרצה של קריאות הכלים מהלקוח.
image

object (Image)

זה שינוי אופציונלי. נתוני תמונות ממשתמש הקצה.
blob

object (Blob)

זה שינוי אופציונלי. נתוני Blob ממשתמש הקצה.
variables

object (Struct format)

זה שינוי אופציונלי. משתנים הקשריים של הסשן, עם מפתח לפי שם. הנציג של CES ישתמש רק במשתנים שהוגדרו באפליקציה.

משתנים לא מזוהים עדיין יישלחו אל [הנציג של Dialogflow][Agent.RemoteDialogflowAgent] כפרמטרים נוספים של הסשן.
event

object (Event)

זה שינוי אופציונלי. קלט האירוע.

ToolResponses

ייצוג ב-JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
שדות
toolResponses[]

object (ToolResponse)

זה שינוי אופציונלי. רשימת תוצאות ההרצה של הכלי.

ToolResponse

ייצוג ב-JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
שדות
id

string

זה שינוי אופציונלי. מזהה התשובה התואם של tool call.
displayName

string

פלט בלבד. השם המוצג של הכלי.
response

object (Struct format)

חובה. תוצאת ההפעלה של הכלי בפורמט אובייקט JSON. משתמשים במפתח 'output' כדי לציין את התגובה של הכלי ובמפתח 'error' כדי לציין את פרטי השגיאה (אם יש). אם לא מציינים את המפתחות output ו-error, כל התגובה נחשבת לתוצאת ההפעלה של הכלי.
שדה איחוד tool_identifier. המזהה של הכלי שהופעל. יכול להיות שמדובר בכלי קבוע או בכלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool

string

זה שינוי אופציונלי. שם הכלי להפעלה. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

זה שינוי אופציונלי. הכלי שהופעל מתוך ערכת הכלים.

ToolsetTool

ייצוג ב-JSON 
{
  "toolset": string,
  "toolId": string
}
שדות
toolset

string

חובה. שם המשאב של ערכת הכלים שממנה נגזר הכלי הזה. פורמט: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

זה שינוי אופציונלי. מזהה הכלי לסינון הכלים כדי לאחזר את הסכימה שלהם.

Struct

ייצוג ב-JSON 
{
  "fields": {
    string: value,
    ...
  }
}
שדות
fields

map (key: string, value: value (Value format))

מפה לא מסודרת של ערכים עם הקלדה דינמית.

אובייקט שמכיל רשימה של "key": value זוגות. דוגמה: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

ייצוג ב-JSON 
{
  "key": string,
  "value": value
}
שדות
key

string
value

value (Value format)

ערך

ייצוג ב-JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
שדות
שדה איחוד kind. סוג הערך. הערך kind יכול להיות רק אחד מהבאים:
nullValue

null

מייצג null JSON.
numberValue

number

מייצג מספר JSON. הערך לא יכול להיות NaN, Infinity או -Infinity, כי אין תמיכה בערכים האלה ב-JSON. בנוסף, אי אפשר לייצג ערכי Int64 גדולים, כי פורמט JSON בדרך כלל לא תומך בהם בסוג המספר שלו.
stringValue

string

מייצג מחרוזת JSON.
boolValue

boolean

מייצג ערך בוליאני ב-JSON (הערך המילולי true או false ב-JSON).
structValue

object (Struct format)

מייצג אובייקט JSON.
listValue

array (ListValue format)

מייצג מערך JSON.

ListValue

ייצוג ב-JSON 
{
  "values": [
    value
  ]
}
שדות
values[]

value (Value format)

שדה חוזר של ערכים עם הקלדה דינמית.

תמונה

ייצוג ב-JSON 
{
  "mimeType": string,
  "data": string
}
שדות
mimeType

string

חובה. סוג ה-MIME התקני של IANA של נתוני המקור. סוגי התמונות הנתמכים כוללים: * image/png * image/jpeg * image/webp
data

string (bytes format)

חובה. בייטים גולמיים של התמונה.

מחרוזת בקידוד Base64.

Blob

ייצוג ב-JSON 
{
  "mimeType": string,
  "data": string
}
שדות
mimeType

string

חובה. סוג ה-MIME התקני של IANA של נתוני המקור.
data

string (bytes format)

חובה. בייטים גולמיים של ה-blob.

מחרוזת בקידוד Base64.

אירוע

ייצוג ב-JSON 
{
  "event": string
}
שדות
event

string

חובה. שם האירוע.

AgentTransfer

ייצוג ב-JSON 
{
  "targetAgent": string,
  "displayName": string
}
שדות
targetAgent

string

חובה. הסוכן שאליו מועברת השיחה. הסוכן יטפל בשיחה מעכשיו והלאה. פורמט: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

פלט בלבד. השם המוצג של הסוכן.

GoldenExpectation

ייצוג ב-JSON 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
שדות
note

string

זה שינוי אופציונלי. הערה לגבי הדרישה הזו, שיכולה לעזור לכם לדווח על מקרים שבהם בדיקות ספציפיות נכשלות. למשל, "Check_Payment_Tool_Called".
skipEvaluation

boolean

זה שינוי אופציונלי. אם הערך הוא true, הציפייה הספציפית הזו לא תוערך.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

זה שינוי אופציונלי. החלפת מדדים ברמת השלב.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

זה שינוי אופציונלי. הגדרות ברירת מחדל חלופיות למדדי הדמיון הסמנטי של agent_response.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

זה שינוי אופציונלי. שינויים במדדים של הזיות בתגובות של נציגים.
comparisonType

enum (ComparisonType)

זה שינוי אופציונלי. סוג ההשוואה שמשמש לבדיקת הציפייה.
שדה איחוד condition. הבדיקה בפועל שצריך לבצע. הערך condition יכול להיות רק אחד מהבאים:
toolCall

object (ToolCall)

זה שינוי אופציונלי. בודקים אם בוצעה קריאה לכלי ספציפי עם הפרמטרים.
toolResponse

object (ToolResponse)

זה שינוי אופציונלי. בודקים אם כלי ספציפי הגיב בצורה הצפויה.
agentResponse

object (Message)

זה שינוי אופציונלי. בודקים שהנציג הווירטואלי הגיב בתשובה הנכונה. התפקיד agent (סוכן) מרומז.
agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. בודקים שהנציג העביר את השיחה לנציג אחר.
updatedVariables

object (Struct format)

זה שינוי אופציונלי. בודקים שהסוכן עדכן את משתני הסשן לערכים הצפויים. הוא שימש גם לתיעוד של עדכוני משתנים של סוכנים לצורך הערכות מוזהבות.
mockToolResponse

object (ToolResponse)

זה שינוי אופציונלי. התגובה של הכלי ל-mock, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM.
noToolCalls

boolean

זה שינוי אופציונלי. בודקים שלא נעשה שימוש בכלים במהלך התור הזה.

ToolCall

ייצוג ב-JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
שדות
id

string

זה שינוי אופציונלי. המזהה הייחודי של קריאת הכלי. אם השדה מאוכלס, הלקוח צריך להחזיר את תוצאת ההפעלה עם המזהה התואם בשדה ToolResponse.
displayName

string

פלט בלבד. השם המוצג של הכלי.
args

object (Struct format)

זה שינוי אופציונלי. פרמטרים וערכים של קלט עבור הכלי בפורמט אובייקט JSON.
שדה איחוד tool_identifier. המזהה של הכלי שיש להפעיל. יכול להיות שמדובר בכלי קבוע או בכלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool

string

זה שינוי אופציונלי. שם הכלי להפעלה. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

זה שינוי אופציונלי. הכלי להפעלה מתוך ערכת הכלים.

הודעה

ייצוג ב-JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
שדות
role

string

זה שינוי אופציונלי. התפקיד בשיחה, למשל: משתמש, נציג.
chunks[]

object (Chunk)

זה שינוי אופציונלי. תוכן ההודעה כסדרה של נתחים.
eventTime

string (Timestamp format)

זה שינוי אופציונלי. חותמת הזמן שבה ההודעה נשלחה או התקבלה. אסור להשתמש בערך הזה אם ההודעה היא חלק מexample.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

חלק

ייצוג ב-JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
שדות
שדה איחוד data. לחלק את הנתונים לחלקים. הערך data יכול להיות רק אחד מהבאים:
text

string

זה שינוי אופציונלי. נתוני טקסט.
transcript

string

זה שינוי אופציונלי. תמליל שמשויך לאודיו.
blob

object (Blob)

זה שינוי אופציונלי. נתוני Blob.
payload

object (Struct format)

זה שינוי אופציונלי. נתונים של מטען ייעודי בהתאמה אישית.
image

object (Image)

זה שינוי אופציונלי. נתוני תמונה.
toolCall

object (ToolCall)

זה שינוי אופציונלי. בקשה להפעלת כלי.
toolResponse

object (ToolResponse)

זה שינוי אופציונלי. תשובה להפעלת כלי.
agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. אירוע העברה של סוכן.
updatedVariables

object (Struct format)

מבנה נתונים מייצג משתנים שעודכנו בשיחה, עם שמות המשתנים כמפתחות.
defaultVariables

object (Struct format)

מבנה נתונים מייצג משתני ברירת מחדל בתחילת השיחה, עם מפתחות לפי שמות המשתנים.

חותמת הזמן

ייצוג ב-JSON 
{
  "seconds": string,
  "nanos": integer
}
שדות
seconds

string (int64 format)

מייצג את השניות של זמן UTC מאז ראשית זמן יוניקס (Unix epoch) ב-1970-01-01T00:00:00Z. הערך חייב להיות בין ‎-62135596800 ל-‎253402300799, כולל (שמתאים לטווח 0001-01-01T00:00:00Z עד 9999-12-31T23:59:59Z).
nanos

integer

שבריר לא שלילי של שנייה ברזולוציית ננו-שנייה. השדה הזה מייצג את החלק של הננו-שנייה במשך הזמן, ולא מהווה חלופה לשניות. ערכי שניות שליליים עם שברים עדיין צריכים לכלול ערכי ננו-שניות לא שליליים שסופרים קדימה בזמן. הערך חייב להיות בין 0 ל-999,999,999, כולל.

ExpectationLevelMetricsThresholds

ייצוג ב-JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
שדות

שדה איחוד _tool_invocation_parameter_correctness_threshold.

הערך _tool_invocation_parameter_correctness_threshold יכול להיות רק אחד מהבאים:
toolInvocationParameterCorrectnessThreshold

number

זה שינוי אופציונלי. סף ההצלחה לפרמטרים ספציפיים של הפעלת כלי. חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

SemanticSimilarityMetricsConfig

ייצוג ב-JSON 
{
  "enableSemanticSimilarityMetrics": boolean
}
שדות
enableSemanticSimilarityMetrics

boolean

זה שינוי אופציונלי. האם לחשב מדדים של דמיון סמנטי לצורך ההערכה.

HallucinationMetricsConfig

ייצוג ב-JSON 
{
  "enableHallucinationMetrics": boolean
}
שדות
enableHallucinationMetrics

boolean

זה שינוי אופציונלי. האם לחשב מדדים של הזיות לצורך ההערכה.

Span

ייצוג ב-JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
שדות
name

string

פלט בלבד. השם של ה-span.
startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של טווח הזמן.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של טווח הזמן.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

פלט בלבד. משך הזמן של הטווח.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
attributes

object (Struct format)

פלט בלבד. מאפייני מפתח/ערך שמשויכים לטווח.
childSpans[]

object (Span)

פלט בלבד. טווחים משניים שמוטמעים בטווח הזה.

משך

ייצוג ב-JSON 
{
  "seconds": string,
  "nanos": integer
}
שדות
seconds

string (int64 format)

שניות חתומות של טווח הזמן. הערך חייב להיות בין ‎-315,576,000,000 לבין ‎+315,576,000,000, כולל. הערה: הגבולות האלה מחושבים לפי: 60 שניות בדקה * 60 דקות בשעה * 24 שעות ביממה * 365.25 ימים בשנה * 10,000 שנים
nanos

integer

שברים חתומים של שנייה ברזולוציית ננו-שנייה של טווח הזמן. משכי זמן של פחות משנייה מיוצגים באמצעות שדה seconds עם הערך 0 ושדה nanos עם ערך חיובי או שלילי. למשכי זמן של שנייה אחת או יותר, הערך בשדה nanos צריך להיות שונה מאפס ובעל אותו סימן כמו הערך בשדה seconds. הערך צריך להיות בין ‎-999,999,999 לבין ‎+999,999,999, כולל.

TurnLevelMetricsThresholds

ייצוג ב-JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
שדות
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

זה שינוי אופציונלי. הערוץ של הדמיון הסמנטי שבו רוצים להשתמש להערכה.

שדה איחוד _semantic_similarity_success_threshold.

הערך _semantic_similarity_success_threshold יכול להיות רק אחד מהבאים:
semanticSimilaritySuccessThreshold

integer

זה שינוי אופציונלי. סף ההצלחה לדמיון סמנטי. חייב להיות מספר שלם בין 0 ל-4. ברירת המחדל היא >= 3.

שדה איחוד _overall_tool_invocation_correctness_threshold.

הערך _overall_tool_invocation_correctness_threshold יכול להיות רק אחד מהבאים:
overallToolInvocationCorrectnessThreshold

number

זה שינוי אופציונלי. סף ההצלחה לדיוק הכולל של הפעלת הכלי. חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

תרחיש

ייצוג ב-JSON 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
שדות
task

string

חובה. המשימה שהתרחיש יכוון אליה.
userFacts[]

object (UserFact)

זה שינוי אופציונלי. העובדות על המשתמש שבהן התרחיש ישתמש.
maxTurns

integer

זה שינוי אופציונלי. מספר הפניות המקסימלי לסימולציה. הערך המקסימלי המותר הוא 100. ערך ברירת המחדל הוא 100.
rubrics[]

string

חובה. קריטריונים להערכת התרחיש.
scenarioExpectations[]

object (ScenarioExpectation)

חובה. הפרמטר ScenarioExpectations להערכת השיחה שנוצרה על ידי סימולציית המשתמש.
variableOverrides

object (Struct format)

זה שינוי אופציונלי. משתנים / פרמטרים של סשן כהקשר לסשן, עם מפתח לפי שמות המשתנים. הערכים של המשתנים האלה יחליפו את ערכי ברירת המחדל שהוגדרו על ידי המערכת.

הערה: אלה עובדות שונות מעובדות על המשתמש, שהן עובדות שהמשתמש מכיר. משתנים הם פרמטרים שהנציג מכיר: כלומר, MDN (מספר טלפון) שמועבר על ידי מערכת הטלפוניה.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

זה שינוי אופציונלי. הוצאה משימוש, במקום זאת, צריך להשתמש במאפיין user_goal_behavior.
userGoalBehavior

enum (UserGoalBehavior)

זה שינוי אופציונלי. ההתנהגות הצפויה של המשתמש ביחס ליעד.
evaluationExpectations[]

string

זה שינוי אופציונלי. הציפיות להערכה שמשמשות להערכת השיחה שנוצרה על ידי הסימולציה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (ScenarioExecutionMode)

זה שינוי אופציונלי. מצב ההרצה של הערכות התרחישים.

UserFact

ייצוג ב-JSON 
{
  "name": string,
  "value": string
}
שדות
name

string

חובה. השם של עובדת המשתמש.
value

string

חובה. הערך של נתון המשתמש.

ScenarioExpectation

ייצוג ב-JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
שדות
שדה איחוד expectation. הציפייה להערכת השיחה שנוצרה על ידי הסימולציה. הערך expectation יכול להיות רק אחד מהבאים:
toolExpectation

object (ToolExpectation)

זה שינוי אופציונלי. הזוג של קריאה לכלי ותגובה שצריך להעריך.
agentResponse

object (Message)

זה שינוי אופציונלי. תשובת הסוכן שצריך להעריך.

ToolExpectation

ייצוג ב-JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
שדות
expectedToolCall

object (ToolCall)

חובה. הקריאה הצפויה לכלי, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM.
mockToolResponse

object (ToolResponse)

חובה. התגובה של הכלי ל-mock, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM.

AggregatedMetrics

ייצוג ב-JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
שדות
metricsByAppVersion[]

object (MetricsByAppVersion)

פלט בלבד. מדדים מצטברים, שמקובצים לפי מזהה גרסת האפליקציה.

MetricsByAppVersion

ייצוג ב-JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
שדות
appVersionId

string

פלט בלבד. מזהה גרסת האפליקציה.
toolMetrics[]

object (ToolMetrics)

פלט בלבד. מדדים לכל כלי בגרסה הזו של האפליקציה.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

פלט בלבד. מדדים לדמיון סמנטי בגרסת האפליקציה הזו.
hallucinationMetrics[]

object (HallucinationMetrics)

פלט בלבד. מדדים להזיות בגרסת האפליקציה הזו.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

פלט בלבד. מדדים של זמן האחזור של קריאות לכלי בגרסה הזו של האפליקציה.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

פלט בלבד. מדדים של זמן התגובה בגרסת האפליקציה הזו.
passCount

integer

פלט בלבד. מספר הפעמים שההערכה עברה.
failCount

integer

פלט בלבד. מספר הפעמים שההערכה נכשלה.
metricsByTurn[]

object (MetricsByTurn)

פלט בלבד. מדדים מצטברים לכל תור בגרסת האפליקציה הזו.

ToolMetrics

ייצוג ב-JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
שדות
tool

string

פלט בלבד. שם הכלי.
passCount

integer

פלט בלבד. מספר הפעמים שהכלי עבר.
failCount

integer

פלט בלבד. מספר הפעמים שהכלי נכשל.

SemanticSimilarityMetrics

ייצוג ב-JSON 
{
  "score": number
}
שדות
score

number

פלט בלבד. הציון הממוצע של הדמיון הסמנטי (0-4).

HallucinationMetrics

ייצוג ב-JSON 
{
  "score": number
}
שדות
score

number

פלט בלבד. הציון הממוצע של הזיות (0 עד 1).

ToolCallLatencyMetrics

ייצוג ב-JSON 
{
  "tool": string,
  "averageLatency": string
}
שדות
tool

string

פלט בלבד. שם הכלי.
averageLatency

string (Duration format)

פלט בלבד. החביון הממוצע של קריאות הכלים.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

TurnLatencyMetrics

ייצוג ב-JSON 
{
  "averageLatency": string
}
שדות
averageLatency

string (Duration format)

פלט בלבד. זמן האחזור הממוצע של התורות.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

MetricsByTurn

ייצוג ב-JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
שדות
turnIndex

integer

פלט בלבד. אינדקס הפנייה (מתחיל מ-0).
toolMetrics[]

object (ToolMetrics)

פלט בלבד. מדדים לכל כלי בתור הזה.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

פלט בלבד. מדדים של דמיון סמנטי בתור הזה.
hallucinationMetrics[]

object (HallucinationMetrics)

פלט בלבד. מדדים להזיות בתור הזה.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

פלט בלבד. מדדים של זמן האחזור של קריאה לכלי בתור הזה.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

פלט בלבד. מדדים של זמן הטעינה של התור הנוכחי.

EvaluationResult

ייצוג ב-JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
שדות
name

string

מזהה. המזהה הייחודי של תוצאת הבדיקה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

חובה. השם המוצג של תוצאת ההערכה. ייחודי בתוך הערכה. כברירת מחדל, הפורמט הוא: תוצאה – .
createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן שבה נוצרה תוצאת ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

פלט בלבד. התוצאה של הבדיקה. השדה הזה מאוכלס רק אם execution_state הוא COMPLETE.
evaluationRun

string

פלט בלבד. הפעלת ההערכה שהניבה את התוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

פלט בלבד. הפרסונה ששימשה ליצירת השיחה לתוצאת ההערכה.
errorInfo

object (EvaluationErrorInfo)

פלט בלבד. פרטי השגיאה בתוצאת ההערכה.
error
(deprecated)

object (Status)

פלט בלבד. הוצא משימוש: במקומו, צריך להשתמש ב-error_info. שגיאות שאירעו במהלך הביצוע.
initiatedBy

string

פלט בלבד. המשתמש שיזם את הרצת ההערכה שהניבה את התוצאה הזו.
appVersion

string

פלט בלבד. גרסת האפליקציה ששימשה ליצירת השיחה שהובילה לתוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

פלט בלבד. השם המוצג של app_version שההערכה בוצעה לגביו.
changelog

string

פלט בלבד. יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה.
changelogCreateTime

string (Timestamp format)

פלט בלבד. זמן היצירה של יומן השינויים של גרסת האפליקציה שההערכה הופעלה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

פלט בלבד. המצב של ביצוע תוצאת ההערכה.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

פלט בלבד. הסף להערכה של התוצאה.
config

object (EvaluationConfig)

פלט בלבד. ההגדרה שבה נעשה שימוש בהרצת ההערכה שהניבה את התוצאה הזו.
goldenRunMethod

enum (GoldenRunMethod)

פלט בלבד. השיטה שבה נעשה שימוש להפעלת הערכת הזהב.
rootSpan

object (Span)

פלט בלבד. יחידה לוגית למעקב ברמת הבסיס של הרצת ההערכה, שכוללת מידע על כל שלב בהערכה.
outcomeMetadata

enum (OutcomeMetadata)

פלט בלבד. מטא-נתונים של תוצאת הבדיקה. השדה הזה מאוכלס רק אם execution_state הוא COMPLETE.
שדה איחוד result. התוצאה של ההערכה. השדה הזה מאוכלס רק כש-execution_state הוא COMPLETED. הערך result יכול להיות רק אחד מהבאים:
goldenResult

object (GoldenResult)

פלט בלבד. התוצאה של הערכת הזהב.
scenarioResult

object (ScenarioResult)

פלט בלבד. התוצאה של הערכת תרחיש.

GoldenResult

ייצוג ב-JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
שדות
turnReplayResults[]

object (TurnReplayResult)

פלט בלבד. התוצאה של כל תור בשיחה המוזהבת.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

פלט בלבד. תוצאות הציפיות מההערכה.

TurnReplayResult

ייצוג ב-JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
שדות
conversation

string

פלט בלבד. השיחה שנוצרה בתור הזה.
expectationOutcome[]

object (GoldenExpectationOutcome)

פלט בלבד. התוצאה של כל ציפייה.
hallucinationResult

object (HallucinationResult)

פלט בלבד. התוצאה של בדיקת ההזיות.
toolInvocationScore
(deprecated)

number

פלט בלבד. הוצאה משימוש, במקומו, צריך להשתמש ב-OverallToolInvocationResult.
turnLatency

string (Duration format)

פלט בלבד. משך התור.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

פלט בלבד. החביון של כל קריאה לכלי בתור.
semanticSimilarityResult

object (SemanticSimilarityResult)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
overallToolInvocationResult

object (OverallToolInvocationResult)

פלט בלבד. התוצאה של הבדיקה הכוללת של הפעלת הכלי.
errorInfo

object (EvaluationErrorInfo)

פלט בלבד. מידע על השגיאה שאירעה במהלך התור הזה.
spanLatencies[]

object (SpanLatency)

פלט בלבד. זמן האחזור של טווחי הזמן בפנייה.

שדה איחוד _tool_ordered_invocation_score.

הערך _tool_ordered_invocation_score יכול להיות רק אחד מהבאים:
toolOrderedInvocationScore

number

פלט בלבד. הציון הכולל של הפעלת הכלי בתור הזה. המדד הזה מציין את אחוז הכלים הכולל מתוך התור הצפוי שהופעלו בפועל בסדר הצפוי.

GoldenExpectationOutcome

ייצוג ב-JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
שדות
expectation

object (GoldenExpectation)

פלט בלבד. הציפייה שנבדקה.
outcome

enum (Outcome)

פלט בלבד. התוצאה של הציפייה.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
toolInvocationResult

object (ToolInvocationResult)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי.
שדה איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall

object (ToolCall)

פלט בלבד. התוצאה של הציפייה לקריאה לכלי.
observedToolResponse

object (ToolResponse)

פלט בלבד. התוצאה של הציפייה לתגובה מהכלי.
observedAgentResponse

object (Message)

פלט בלבד. התוצאה של הציפייה לתגובה מהסוכן.
observedAgentTransfer

object (AgentTransfer)

פלט בלבד. התוצאה של ההעברה הצפויה לנציג.
observedPayload

object (Struct format)

פלט בלבד. מטען ייעודי (payload) מותאם אישית שנצפה. אין ציפיות לגבי מטען ייעודי (payload) בהתאמה אישית. הערך הזה משמש רק לחישוב מדדים. תוצאת האירוע היא תמיד SKIPPED (דילוג).

SemanticSimilarityResult

ייצוג ב-JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 4: עקבי לחלוטין ציון 3: עקבי ברובו ציון 2: עקבי באופן חלקי (השמטות קלות) ציון 1: לא עקבי במידה רבה (השמטות משמעותיות) ציון 0: לא עקבי לחלוטין / סותר
explanation

string

פלט בלבד. ההסבר לציון הדמיון הסמנטי.
outcome

enum (Outcome)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי. הוא נקבע על ידי השוואת הציון לערך של semantic_similarity_success_threshold. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. ציון הדמיון הסמנטי. יכול להיות 0, 1, 2, 3 או 4.

ToolInvocationResult

ייצוג ב-JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
שדות
outcome

enum (Outcome)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. ההחלטה מתקבלת על סמך השוואה בין הציון parameter_correctness_score לבין ערך הסף. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.
explanation

string

פלט בלבד. הסבר בטקסט חופשי לתוצאת ההפעלה של הכלי.

שדה איחוד _parameter_correctness_score.

הערך _parameter_correctness_score יכול להיות רק אחד מהבאים:
parameterCorrectnessScore

number

פלט בלבד. ציון הדיוק של פרמטר ההפעלה של הכלי. הערך הזה מציין את אחוז הפרמטרים מקריאת הכלי הצפויה שהיו גם בקריאת הכלי בפועל.

HallucinationResult

ייצוג ב-JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: מוצדק ציון 0: לא מוצדק ציון ‎-1: אין טענה להערכה
explanation

string

פלט בלבד. ההסבר לציון ההזיה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. ציון ההזיה. יכול להיות ‎-1, 0, 1.

ToolCallLatency

ייצוג ב-JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
שדות
tool

string

פלט בלבד. שם הכלי שהופעל. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
displayName

string

פלט בלבד. השם המוצג של הכלי.
startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של הביצוע של קריאת הפונקציה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של ההפעלה של קריאת הכלי.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

פלט בלבד. זמן האחזור של ביצוע הקריאה לכלי.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

OverallToolInvocationResult

ייצוג ב-JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
שדות
outcome

enum (Outcome)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. ההחלטה מתקבלת על ידי השוואה בין הציון tool_invocation_score לבין סף הדיוק הכולל של הפעלת הכלי overall_tool_invocation_correctness_threshold. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.

שדה איחוד _tool_invocation_score.

הערך _tool_invocation_score יכול להיות רק אחד מהבאים:
toolInvocationScore

number

הציון הכולל של הפעלת הכלי בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים מהתור הצפוי שהופעלו בפועל.

EvaluationErrorInfo

ייצוג ב-JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
שדות
errorType

enum (ErrorType)

פלט בלבד. סוג השגיאה.
errorMessage

string

פלט בלבד. הודעת השגיאה.
sessionId

string

פלט בלבד. מזהה הסשן של השיחה שגרמה לשגיאה.
userFacingErrorMessage

string

פלט בלבד. הודעת השגיאה שמוצגת למשתמש.

SpanLatency

ייצוג ב-JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
שדות
type

enum (Type)

פלט בלבד. סוג הטווח.
displayName

string

פלט בלבד. השם המוצג של הטווח. רלוונטי לכלים ולגבולות שמוגדרים בטווחים.
startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של הטווח.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של טווח הזמן.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

פלט בלבד. זמן האחזור של הטווח.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
שדה איחוד identifier. המזהה של הפריט הספציפי על סמך הסוג שלו. הערך identifier יכול להיות רק אחד מהבאים:
resource

string

פלט בלבד. שם המשאב של אמצעי הבקרה או של הכלים.
toolset

object (ToolsetTool)

פלט בלבד. מזהה הכלי בערכת הכלים.
model

string

פלט בלבד. השם של טווח ה-LLM.
callback

string

פלט בלבד. השם של טווח הקריאה החוזרת של המשתמש.

EvaluationExpectationResult

ייצוג ב-JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
שדות
evaluationExpectation

string

פלט בלבד. הציפייה מההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

פלט בלבד. ההנחיה שבה נעשה שימוש לצורך ההערכה.
outcome

enum (Outcome)

פלט בלבד. התוצאה של ציפיית ההערכה.
explanation

string

פלט בלבד. ההסבר לתוצאה.

ScenarioResult

ייצוג ב-JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
שדות
conversation

string

פלט בלבד. השיחה שנוצרה בתרחיש.
task

string

פלט בלבד. המשימה ששימשה להרצת התרחיש לתוצאה הזו.
userFacts[]

object (UserFact)

פלט בלבד. הנתונים על המשתמש ששימשו את התרחיש לחישוב התוצאה הזו.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

פלט בלבד. התוצאה של כל ציפייה.
rubricOutcomes[]

object (ScenarioRubricOutcome)

פלט בלבד. התוצאה של קריטריון ההערכה.
hallucinationResult[]

object (HallucinationResult)

פלט בלבד. התוצאה של בדיקת ההזיות. תהיה תוצאת הזיה אחת לכל תור בשיחה.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

פלט בלבד. התוצאה של בדיקת השלמת המשימה.
toolCallLatencies[]

object (ToolCallLatency)

פלט בלבד. ההשהיה של כל הפעלה של קריאה לכלי בשיחה.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

פלט בלבד. התוצאה של בדיקת שביעות הרצון של המשתמש מהיעד.
spanLatencies[]

object (SpanLatency)

פלט בלבד. ההשהיה של טווחי הזמן בשיחה.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

פלט בלבד. תוצאות הציפיות מההערכה.

שדה איחוד _all_expectations_satisfied.

הערך _all_expectations_satisfied יכול להיות רק אחד מהבאים:
allExpectationsSatisfied

boolean

פלט בלבד. האם כל הציפיות התממשו בתור הזה.

שדה איחוד _task_completed.

הערך _task_completed יכול להיות רק אחד מהבאים:
taskCompleted

boolean

פלט בלבד. האם המשימה הושלמה בתור הזה. התשובה מורכבת מכל הציפיות שהתממשו, ללא הזיות, וממידת שביעות הרצון של המשתמש מהשגת היעד.

ScenarioExpectationOutcome

ייצוג ב-JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
שדות
expectation

object (ScenarioExpectation)

פלט בלבד. הציפייה שנבדקה.
outcome

enum (Outcome)

פלט בלבד. התוצאה של ScenarioExpectation.
שדה איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall

object (ObservedToolCall)

פלט בלבד. הקריאה לכלי שנצפתה.
observedAgentResponse

object (Message)

פלט בלבד. התשובה שנצפתה מהסוכן.

ObservedToolCall

ייצוג ב-JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
שדות
toolCall

object (ToolCall)

פלט בלבד. הקריאה לכלי שנצפתה.
toolResponse

object (ToolResponse)

פלט בלבד. התשובה שנצפתה מהכלי.

ScenarioRubricOutcome

ייצוג ב-JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
שדות
rubric

string

פלט בלבד. קריטריון ההערכה ששימש להערכת השיחה.
scoreExplanation

string

פלט בלבד. התשובה של המעריך לקריטריון ההערכה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

number

פלט בלבד. הציון של השיחה בהשוואה לקריטריון ההערכה.

TaskCompletionResult

ייצוג ב-JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: ציון על השלמת משימה ציון 0: ציון על אי-השלמת משימה ציון ‎-1: יעד המשתמש לא הוגדר
explanation

string

פלט בלבד. הסבר על ציון השלמת המשימה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. הציון על השלמת המשימה. יכול להיות ‎-1,‏ 0 או 1

UserGoalSatisfactionResult

ייצוג ב-JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 2: ציון העברה חלקה ציון 1: ציון שביעות רצון של המשתמש מהמשימה ציון 0: ציון חוסר שביעות רצון של המשתמש מהמשימה ציון ‎-1: ציון לא מוגדר של שביעות רצון של המשתמש מהמשימה
explanation

string

פלט בלבד. ההסבר לציון שביעות הרצון של המשתמש מהמשימה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. ציון שביעות הרצון של המשתמש מהמשימה. יכול להיות ‎-1, 0, 1, 2.

EvaluationPersona

ייצוג ב-JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
שדות
name

string

חובה. המזהה הייחודי של האישיות. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

זה שינוי אופציונלי. תיאור הפרסונה.
displayName

string

חובה. השם המוצג של האישיות. ייחודי בתוך אפליקציה.
personality

string

חובה. הוראה לסוכן לגבי אופן ההתנהלות במהלך הבדיקה.
speechConfig

object (SpeechConfig)

זה שינוי אופציונלי. הגדרות לגבי האופן שבו האישיות נשמעת (הגדרות TTS).

SpeechConfig

ייצוג ב-JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
שדות
speakingRate

number

זה שינוי אופציונלי. קצב הדיבור. ‫1.0 הוא ערך רגיל. ערך נמוך יותר מייצג קצב איטי יותר (למשל, 0.8), וערך גבוה יותר מייצג קצב מהיר יותר (למשל, 1.5). שימושי לבדיקה של האופן שבו הנציג מטפל בשיחות עם אנשים שמדברים מהר.
environment

enum (BackgroundEnvironment)

זה שינוי אופציונלי. סביבת האודיו המדומה.
voiceId

string

זה שינוי אופציונלי. המזהה הספציפי של הקול או המבטא שבו רוצים להשתמש. דוגמה: en-US-Wavenet-D או en-GB-Standard-A

סטטוס

ייצוג ב-JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
שדות
code

integer

קוד הסטטוס, שצריך להיות ערך enum של google.rpc.Code.
message

string

הודעת שגיאה שמוצגת למפתח, שצריכה להיות באנגלית. כל הודעת שגיאה שמוצגת למשתמש צריכה להיות מותאמת לשפה המקומית ולהישלח בשדה google.rpc.Status.details, או להיות מותאמת לשפה המקומית על ידי הלקוח.
details[]

object

רשימה של הודעות שכוללות את פרטי השגיאה. יש קבוצה משותפת של סוגי הודעות לשימוש בממשקי API.

אובייקט שמכיל שדות מסוג שרירותי. שדה נוסף "@type" מכיל URI שמזהה את הסוג. דוגמה: { "id": 1234, "@type": "types.example.com/standard/id" }.

הכול

ייצוג ב-JSON 
{
  "typeUrl": string,
  "value": string
}
שדות
typeUrl

string

מזהה את הסוג של הודעת Protobuf שעברה סריאליזציה באמצעות הפניה ל-URI שכוללת קידומת שמסתיימת בקו נטוי ואת שם הסוג שמוגדר במלואו.

דוגמה: type.googleapis.com/google.protobuf.StringValue

המחרוזת הזו צריכה להכיל לפחות תו אחד של /, והתוכן אחרי ה-/ האחרון צריך להיות השם המלא של הסוג בפורמט קנוני, בלי נקודה מובילה. אל תכתבו סכימה בהפניות ל-URI האלה כדי שהלקוחות לא ינסו ליצור איתם קשר.

הקידומת היא שרירותית, וההטמעות של Protobuf אמורות פשוט להסיר את כל מה שמופיע עד לתווים / האחרונים, כולל הם, כדי לזהות את הסוג. ‫type.googleapis.com/ היא תחילית ברירת מחדל נפוצה שנדרשת בחלק מההטמעות מדור קודם. הקידומת הזו לא מציינת את המקור של הסוג, ולא צפוי שמזהי URI שמכילים אותה יגיבו לבקשות כלשהן.

כל מחרוזות כתובות ה-URL של הסוג חייבות להיות הפניות חוקיות ל-URI, עם הגבלה נוספת (בפורמט הטקסט) שלפיה התוכן של ההפניה חייב לכלול רק תווים אלפאנומריים, תווים מיוחדים עם קידוד אחוזים ותווים מהקבוצה הבאה (לא כולל הגרשיים החיצוניים): /-.~_!$&()*+,;=. למרות שאנחנו מאפשרים קידודים באחוזים, ההטמעות לא צריכות לבטל את הקידוד שלהם כדי למנוע בלבול עם מנתחי נתונים קיימים. לדוגמה, בקשה עם הערך type.googleapis.com%2FFoo צריכה להידחות.

בתכנון המקורי של Any, נשקלה האפשרות להפעיל שירות לפתרון סוגים בכתובות ה-URL האלה של הסוגים, אבל ב-Protobuf מעולם לא הוטמע שירות כזה, והפנייה לכתובות ה-URL האלה נחשבת לבעייתית ולבעיית אבטחה פוטנציאלית. אל תנסו ליצור קשר עם כתובות URL מסוג 'יצירת קשר'.
value

string (bytes format)

מחזיק סריאליזציה של Protobuf של הסוג שמתואר על ידי type_url.

מחרוזת בקידוד Base64.

EvaluationMetricsThresholds

ייצוג ב-JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
שדות
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

זה שינוי אופציונלי. ערכי הסף של מדדי ההערכה המרכזיים.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. הוצא משימוש: במקומו, צריך להשתמש ב-golden_hallucination_metric_behavior. ההתנהגות של מדד ההזיות משמשת כרגע להערכות מוזהבות.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות מוזהבות.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות של תרחישים.

GoldenEvaluationMetricsThresholds

ייצוג ב-JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
שדות
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

זה שינוי אופציונלי. ערכי הסף של המדדים ברמת התור.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

זה שינוי אופציונלי. ערכי הסף של מדדי רמת הציפייה.
toolMatchingSettings

object (ToolMatchingSettings)

זה שינוי אופציונלי. הגדרות ההתאמה של הכלי. קריאה נוספת לכלי היא קריאה לכלי שקיימת בהרצה אבל לא תואמת לאף קריאה לכלי בציפייה המוזהבת.

ToolMatchingSettings

ייצוג ב-JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
שדות
extraToolCallBehavior

enum (ExtraToolCallBehavior)

זה שינוי אופציונלי. התנהגות במקרה של קריאות נוספות לכלים. ברירת המחדל היא FAIL.

EvaluationConfig

ייצוג ב-JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
שדות
inputAudioConfig

object (InputAudioConfig)

זה שינוי אופציונלי. הגדרות לעיבוד האודיו שמתקבל מהקלט.
outputAudioConfig

object (OutputAudioConfig)

זה שינוי אופציונלי. הגדרות ליצירת פלט האודיו.
evaluationChannel

enum (EvaluationChannel)

זה שינוי אופציונלי. הערוץ שרוצים להעריך.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

זה שינוי אופציונלי. קובע אם ההערכה צריכה להשתמש בקריאות אמיתיות לכלים או בכלים מזויפים.

InputAudioConfig

ייצוג ב-JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
שדות
audioEncoding

enum (AudioEncoding)

חובה. הקידוד של נתוני האודיו של הקלט.
sampleRateHertz

integer

חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הקלט.
noiseSuppressionLevel

string

זה שינוי אופציונלי. האם להפעיל סינון רעשים באודיו של הקלט. הערכים האפשריים הם low,‏ moderate,‏ high,‏ very_high.

OutputAudioConfig

ייצוג ב-JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
שדות
audioEncoding

enum (AudioEncoding)

חובה. הקידוד של נתוני האודיו של הפלט.
sampleRateHertz

integer

חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הפלט.

EvaluationMetricsConfig

ייצוג ב-JSON 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
שדות
goldenMetricsConfig

object (GoldenMetricsConfig)

זה שינוי אופציונלי. הגדרות של המדדים המרכזיים להערכה.
scenarioMetricsConfig

object (ScenarioMetricsConfig)

זה שינוי אופציונלי. הגדרות מדדי התרחיש להערכה.

GoldenMetricsConfig

ייצוג ב-JSON 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
שדות
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

זה שינוי אופציונלי. הגדרה גלובלית של מדדים של דמיון סמנטי.
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדי דיוק של כלים ברמת התור.
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדי דיוק של כלי ברמת השלב.

ToolCorrectnessMetricsConfig

ייצוג ב-JSON 
{
  "enableToolCorrectnessMetrics": boolean
}
שדות
enableToolCorrectnessMetrics

boolean

זה שינוי אופציונלי. האם לחשב מדדי נכונות של הכלי לצורך ההערכה.

ScenarioMetricsConfig

ייצוג ב-JSON 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
שדות
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדים של השגת יעדים עסקיים ברמת המשתמש.
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדים של רמת הציפיות.

UserGoalMetMetricsConfig

ייצוג ב-JSON 
{
  "enableUserGoalMetMetrics": boolean
}
שדות
enableUserGoalMetMetrics

boolean

זה שינוי אופציונלי. האם לחשב את מדדי היעד שהמשתמש השיג לצורך ההערכה.

ExpectationsMetMetricsConfig

ייצוג ב-JSON 
{
  "enableExpectationsMetMetrics": boolean
}
שדות
enableExpectationsMetMetrics

boolean

זה שינוי אופציונלי. האם לחשב את מדדי רמת הציפיות לצורך הבדיקה.

NullValue

מייצג null JSON.

‫NullValue הוא ערך שמירה, שמשתמש בערך מספרי עם ערך אחד בלבד כדי לייצג את ערך ה-null עבור איחוד הסוגים Value.

שדה מסוג NullValue עם ערך כלשהו שאינו 0 נחשב לא תקין. רוב כלי הסריאליזציה של ProtoJSON יפלטו Value עם null_value שמוגדר כ-null JSON בלי קשר לערך המספרי, ולכן יבצעו המרה הלוך ושוב לערך 0.

טיפוסים בני מנייה (enum)
NULL_VALUE ערך null.

ComparisonType

סוגי השוואה נתמכים לבדיקת התשובה של הסוכן.

טיפוסים בני מנייה (enum)
COMPARISON_TYPE_UNSPECIFIED סוג השוואה לא צוין. ההתנהגות מוגדרת כברירת מחדל ל-SEMANTIC_SIMILARITY לתגובות של סוכנים ולקריאות כלים.
EQUALS התאמה מדויקת למחרוזת.
CONTAINS התאמה של מחרוזת משנה (בדיקה אם המחרוזת הצפויה כלולה בתשובה בפועל).
SEMANTIC_SIMILARITY התאמה של דמיון סמנטי (הערכת דמיון במשמעות באמצעות LLM).

SemanticSimilarityChannel

הערוץ שבו רוצים להשתמש לדמיון סמנטי.

טיפוסים בני מנייה (enum)
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED לא צוין מדד. ברירת המחדל היא TEXT.
TEXT שימוש בדמיון סמנטי בין טקסטים.
AUDIO שימוש בדמיון סמנטי של אודיו.

HallucinationMetricBehavior

ההתנהגות של מדד ההזיות. ללא קשר להתנהגות, המדד תמיד יחושב. ההבדל הוא שכשהמדד מושבת, הוא לא משמש לחישוב ציון ההערכה הכולל.

טיפוסים בני מנייה (enum)
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת של מדד הזיות.
DISABLED השבתה של מדד ההזיות.
ENABLED הפעלת מדד ההזיות.

TaskCompletionBehavior

ההתנהגות הצפויה של משימת המשתמש. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ברירת המחדל היא TASK_SATISFIED.
TASK_SATISFIED משימת המשתמש צריכה להסתיים בהצלחה.
TASK_REJECTED צריך לדחות את משימת המשתמש.

UserGoalBehavior

ההתנהגות הצפויה של המשתמש ביחס ליעד. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
USER_GOAL_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ערך ברירת המחדל הוא USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED המטרה של המשתמש צריכה להסתיים בהצלחה.
USER_GOAL_REJECTED צריך לדחות את יעד המשתמש.
USER_GOAL_IGNORED מתעלמים מהסטטוס של היעד של המשתמש.

ScenarioExecutionMode

מצב ההרצה של הערכות התרחישים.

טיפוסים בני מנייה (enum)
SCENARIO_EXECUTION_MODE_UNSPECIFIED מצב ביצוע לא מוגדר. ברירת המחדל היא QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED מצב אופטימיזציה לאיכות.
SPEED_OPTIMIZED מצב אופטימיזציה למהירות.

תוצאת הסריקה

התוצאה של הבדיקה או הציפייה.

טיפוסים בני מנייה (enum)
OUTCOME_UNSPECIFIED תוצאת ההערכה לא צוינה.
PASS ההערכה או הציפייה עברו. במקרה של הערכה, המשמעות היא שכל הציפיות התממשו.
FAIL ההערכה או הציפייה נכשלו. במקרה של הערכה, המשמעות היא שלפחות אחת מהציפיות לא התקיימה.
SKIPPED ההערכה או הציפייה דולגו.

ErrorType

סוג השגיאה

טיפוסים בני מנייה (enum)
ERROR_TYPE_UNSPECIFIED סוג שגיאה לא מזוהה.
RUNTIME_FAILURE הייתה שגיאה במהלך ההרצה.
CONVERSATION_RETRIEVAL_FAILURE האחזור של השיחה מ-CES Runtime נכשל.
METRIC_CALCULATION_FAILURE המערכת לא הצליחה לחשב מדד או תוצאה.
EVALUATION_UPDATE_FAILURE עדכון ההערכה נכשל.
QUOTA_EXHAUSTED הגעתם למכסה.
USER_SIMULATION_FAILURE הסימולציה של המשתמשים נכשלה.

סוג

סוג הטווח. יכול להיות שבעתיד נוסיף עוד ערכים.

טיפוסים בני מנייה (enum)
TYPE_UNSPECIFIED ערך ברירת המחדל. הערך הזה לא בשימוש.
TOOL טווח של קריאה לכלי.
USER_CALLBACK משך הזמן של שיחת משתמש חוזרת.
GUARDRAIL טווח ההגבלה.
LLM טווח LLM.

BackgroundEnvironment

סביבת אודיו מדומה.

טיפוסים בני מנייה (enum)
BACKGROUND_ENVIRONMENT_UNSPECIFIED לא צוינה סביבת רקע.
CALL_CENTER סביבת מוקד טלפוני.
TRAFFIC סביבה עם רעשי תנועה.
KIDS_NOISE רעש מהסביבה של ילדים.
CAFE סביבת בית קפה.

ExecutionState

המצב של ביצוע תוצאת ההערכה.

טיפוסים בני מנייה (enum)
EXECUTION_STATE_UNSPECIFIED לא צוין מצב הביצוע של תוצאת ההערכה.
QUEUED ההפעלה של תוצאת ההערכה ממתינה בתור.
RUNNING ההרצה של תוצאת ההערכה פועלת.
COMPLETED ההרצה של תוצאת ההערכה הסתיימה.
ERROR הביצוע של תוצאת ההערכה נכשל בגלל שגיאה פנימית.
CANCELLED הביצוע של תוצאת ההערכה בוטל.

ExtraToolCallBehavior

ההגדרה הזו מגדירה את ההתנהגות כשנתקלים בקריאה נוספת לכלי. קריאה נוספת לכלי היא קריאה לכלי שקיימת בהרצה אבל לא תואמת לאף קריאה לכלי בציפייה המוזהבת.

טיפוסים בני מנייה (enum)
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ברירת המחדל היא FAIL.
FAIL הבדיקה תיכשל אם יזוהה קריאה נוספת לכלי.
ALLOW מאשרים את קריאת הכלים הנוספת.

AudioEncoding

המאפיין AudioEncoding מציין את פורמט הקידוד של נתוני האודיו.

טיפוסים בני מנייה (enum)
AUDIO_ENCODING_UNSPECIFIED קידוד אודיו שלא צוין.
LINEAR16 קידוד אודיו בשיטת PCM ליניארי של 16 ביט.
MULAW דגימות של 8 ביט שמרחיבות דגימות אודיו של 14 ביט באמצעות G.711 PCMU/mu-law.
ALAW דגימות של 8 ביט שמרחיבות דגימות אודיו של 14 ביט באמצעות G.711 PCMU/A-law.

EvaluationChannel

הערוץ שרוצים להעריך.

טיפוסים בני מנייה (enum)
EVALUATION_CHANNEL_UNSPECIFIED ערוץ הערכה לא מוגדר.
TEXT ערוץ הערכה מסוג טקסט בלבד.
AUDIO ערוץ להערכת אודיו.

EvaluationToolCallBehaviour

הגדרת אופן הפעולה של קריאות לכלי בהרצות של הערכה.

טיפוסים בני מנייה (enum)
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED התנהגות לא מוגדרת של קריאה לכלי. כברירת מחדל, יתבצעו קריאות אמיתיות לכלים.
REAL שימוש בקריאות אמיתיות לכלי.
FAKE שימוש בקריאות מזויפות לכלים.

GoldenRunMethod

השיטה שבה נעשה שימוש להפעלת ההערכה.

טיפוסים בני מנייה (enum)
GOLDEN_RUN_METHOD_UNSPECIFIED לא צוינה שיטת ההפעלה.
STABLE מריצים את ההערכה כהפעלה חוזרת יציבה, שבה כל תור הוא סשן ייחודי עם התורות הקודמות הצפויות שמוזרקות כהקשר.
NAIVE מריצים את ההערכה כהפעלה חוזרת פשוטה, שבה ההפעלה היא סשן יחיד ללא הקשר מוזרק.

OutcomeMetadata

נתוני מטא-נתונים על תוצאת ההערכה.

טיפוסים בני מנייה (enum)
OUTCOME_METADATA_UNSPECIFIED מטא-נתונים לא מוגדרים של התוצאה.
GRACEFUL_HANDOFF ההערכה הובילה להעברה חלקה לנציג אנושי.

הערות על כלים

רמז הרסני: ❌ | רמז אידמפוטנטי: ✅ | רמז לקריאה בלבד: ✅ | רמז לעולם פתוח: ❌