MCP Tools Reference: ces.googleapis.com

כלי: get_evaluation_result

הצגת פרטים של תוצאת הערכה ספציפית.

בדוגמת הקוד הבאה מוסבר איך להשתמש ב-curl כדי להפעיל את כלי ה-MCP‏ get_evaluation_result.

בקשת Curl
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "get_evaluation_result", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }'

סכימת הקלט

הודעת בקשה עבור EvaluationService.GetEvaluationResult.

GetEvaluationResultRequest

ייצוג ב-JSON
{ "name": string }

שדות
name	string חובה. שם המשאב של תוצאת ההערכה שרוצים לאחזר.

סכימת הפלט

תוצאת הערכה מייצגת את הפלט של הפעלת הערכה.

EvaluationResult

ייצוג ב-JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

שדות
name	string מזהה. המזהה הייחודי של תוצאת ההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string חובה. השם המוצג של תוצאת ההערכה. ייחודי בתוך הערכה. כברירת מחדל, הפורמט הוא: " result - ".
createTime	string (Timestamp format) פלט בלבד. חותמת הזמן של יצירת תוצאת ההערכה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) פלט בלבד. תוצאת הבדיקה. השדה הזה מאוכלס רק אם הערך של execution_state הוא COMPLETE.
evaluationRun	string פלט בלבד. הרצת ההערכה שהפיקה את התוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) פלט בלבד. הפרסונה ששימשה ליצירת השיחה לתוצאת ההערכה.
errorInfo	object (EvaluationErrorInfo) פלט בלבד. פרטי השגיאה של תוצאת ההערכה.
error (deprecated)	object (Status) הפריט הזה הוצא משימוש. פלט בלבד. הוצא משימוש: צריך להשתמש ב-error_info במקום זאת. שגיאות שאירעו במהלך ההפעלה.
initiatedBy	string פלט בלבד. המשתמש שהפעיל את הרצת ההערכה שהובילה לתוצאה הזו.
appVersion	string פלט בלבד. גרסת האפליקציה שבה נוצרה השיחה שהובילה לתוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string פלט בלבד. השם המוצג של ה-app_version שההערכה בוצעה לגביו.
changelog	string פלט בלבד. יומן השינויים של גרסת האפליקציה שבה בוצעה ההערכה. השדה הזה מאוכלס אם המשתמש מריץ הערכה על הגרסה האחרונה או על טיוטה.
changelogCreateTime	string (Timestamp format) פלט בלבד. זמן היצירה של יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה על הגרסה האחרונה או על טיוטה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) פלט בלבד. מצב הביצוע של תוצאת ההערכה.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) פלט בלבד. סף ההערכה של התוצאה.
config	object (EvaluationConfig) פלט בלבד. ההגדרות ששימשו להרצת ההערכה שהובילה לתוצאה הזו.
goldenRunMethod	enum (GoldenRunMethod) פלט בלבד. השיטה שבה משתמשים כדי להריץ את הערכת הזהב.
rootSpan	object (Span) פלט בלבד. היחידה הלוגית הבסיסית למעקב של הרצת ההערכה, שכוללת מידע על כל שלב בהערכה.
outcomeMetadata	enum (OutcomeMetadata) פלט בלבד. המטא-נתונים של תוצאת ההערכה. השדה הזה מאוכלס רק אם הערך של execution_state הוא COMPLETE.
שדה של איחוד result. תוצאת הבדיקה. השדה הזה מאוכלס רק כשערך השדה execution_state הוא COMPLETED. הערך result יכול להיות רק אחד מהבאים:
goldenResult	object (GoldenResult) פלט בלבד. התוצאה של הערכת הזהב.
scenarioResult	object (ScenarioResult) פלט בלבד. התוצאה של הערכת התרחיש.

GoldenResult

ייצוג ב-JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

שדות
turnReplayResults[]	object (TurnReplayResult) פלט בלבד. התוצאה של הרצת כל שלב בשיחה האידיאלית.
evaluationExpectationResults[]	object (EvaluationExpectationResult) פלט בלבד. תוצאות הציפיות מההערכה.

TurnReplayResult

ייצוג ב-JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

שדות
conversation	string פלט בלבד. השיחה שנוצרה בסבב הזה.
expectationOutcome[]	object (GoldenExpectationOutcome) פלט בלבד. התוצאה של כל ציפייה.
hallucinationResult	object (HallucinationResult) פלט בלבד. תוצאת הבדיקה של ההזיות.
toolInvocationScore (deprecated)	number הפריט הזה הוצא משימוש. פלט בלבד. הוצאה משימוש, במקום זאת, צריך להשתמש ב-OverallToolInvocationResult.
turnLatency	string (Duration format) פלט בלבד. משך הזמן של הפנייה. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. לדוגמה: "3.5s".
toolCallLatencies[]	object (ToolCallLatency) פלט בלבד. זמן האחזור של כל קריאת API לכלי בסבב.
semanticSimilarityResult	object (SemanticSimilarityResult) פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
overallToolInvocationResult	object (OverallToolInvocationResult) פלט בלבד. התוצאה של הבדיקה הכוללת של הפעלת הכלי.
errorInfo	object (EvaluationErrorInfo) פלט בלבד. מידע על השגיאה שהתרחשה במהלך התור הזה.
spanLatencies[]	object (SpanLatency) פלט בלבד. זמן האחזור של קטעי הטקסט בתור.
שדה של איחוד _tool_ordered_invocation_score. הערך _tool_ordered_invocation_score יכול להיות רק אחד מהבאים:
toolOrderedInvocationScore	number פלט בלבד. הציון הכולל של הפעלת הכלים לפי הסדר בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים מהתור הצפוי שהופעלו בפועל בסדר הצפוי.

GoldenExpectationOutcome

ייצוג ב-JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

שדות
expectation	object (GoldenExpectation) פלט בלבד. הציפייה שנבדקה.
outcome	enum (Outcome) פלט בלבד. התוצאה של הציפייה.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) הפריט הזה הוצא משימוש. פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
toolInvocationResult	object (ToolInvocationResult) פלט בלבד. התוצאה של בדיקת הפעלת הכלי.
שדה של איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall	object (ToolCall) פלט בלבד. התוצאה של הציפייה לקריאת API לכלי.
observedToolResponse	object (ToolResponse) פלט בלבד. התוצאה של הציפייה לתגובה מהכלי.
observedAgentResponse	object (Message) פלט בלבד. התוצאה של הציפייה לתגובה מהסוכן.
observedAgentTransfer	object (AgentTransfer) פלט בלבד. התוצאה של הציפייה להעברה לנציג.
observedPayload	object (Struct format) פלט בלבד. מטען ייעודי (payload) מותאם אישית שנצפה. אין ציפיות לגבי מטען ייעודי (payload) מותאם אישית. הנתון הזה משמש רק לחישוב מדדים. התוצאה היא תמיד SKIPPED.

ToolCall

ייצוג ב-JSON
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

שדות
id	string זה שינוי אופציונלי. המזהה הייחודי של קריאת ה-API לכלי. אם השדה מאוכלס, הלקוח צריך להחזיר את תוצאת ההפעלה עם המזהה התואם ב-ToolResponse.
displayName	string פלט בלבד. השם המוצג של הכלי.
args	object (Struct format) זה שינוי אופציונלי. הפרמטרים והערכים של הקלט לכלי בפורמט של אובייקט JSON.
parentToolCallId	string פלט בלבד. המזהה של קריאת ה-API לכלי שגרמה לקריאה הזו, כשהיא הונפקה על ידי סוכן משנה שפועל בשם קריאה ראשית. ריק לקריאות ברמה העליונה. מאפשר ללקוח לקבץ את העבודה של סוכן משנה תחת הקריאה שהתחילה אותה, במקום להציג כל שלב כרכיב אחים.
agentName	string פלט בלבד. השם של הנציג שביצע את השיחה, בפורמט שקריא לבני אדם, למשל "אדריכל קבלן". השדה ריק כשהסוכן ברמה הבסיסית (root) הנפיק אותו.
targetApp	string פלט בלבד. האפליקציה שאליה השיחה הזו מיועדת, נגזרת על ידי Assistant מהארגומנטים של המשאבים של השיחה: שם משאב של אפליקציה, PROJECT לכלים ברמת המיקום, או ריק לכלים מקומיים בסשן. מוגדר רק בסשנים של Assistant ברמת הפרויקט.
שדה של איחוד tool_identifier. המזהה של הכלי שצריך להפעיל. הוא יכול להיות כלי קבוע או כלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool	string זה שינוי אופציונלי. שם הכלי שרוצים להפעיל. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) זה שינוי אופציונלי. הכלי להרצה מתוך ערכת הכלים.

ToolsetTool

ייצוג ב-JSON
{ "toolset": string, "toolId": string }

שדות
toolset	string חובה. שם המשאב של ערכת הכלים שממנה נגזר הכלי הזה. פורמט: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string זה שינוי אופציונלי. מזהה הכלי שלפיו מסננים את הכלים כדי לאחזר את הסכימה שלהם.

Struct

ייצוג ב-JSON
{ "fields": { string: value, ... } }

שדות
fields	map (key: string, value: value (Value format)) מפה לא מסודרת של ערכים שהוקלדו באופן דינמי. אובייקט שמכיל רשימה של צמדי "key": value. לדוגמה: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

ייצוג ב-JSON
{ "key": string, "value": value }

שדות
key	string
value	value (Value format)

ערך

ייצוג ב-JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

שדות
שדה של איחוד kind. סוג הערך. הערך kind יכול להיות רק אחד מהבאים:
nullValue	null מייצג null ב-JSON.
numberValue	number מייצג מספר ב-JSON. אסור להשתמש בערכים NaN,‏ Infinity או -Infinity, כי אין להם תמיכה ב-JSON. הוא גם לא יכול לייצג ערכי Int64 גדולים, כי בדרך כלל פורמט JSON לא תומך בהם בסוג המספר שלו.
stringValue	string מייצג מחרוזת JSON.
boolValue	boolean מייצג ערך בוליאני של JSON (ליטרל true או false ב-JSON).
structValue	object (Struct format) מייצג אובייקט JSON.
listValue	array (ListValue format) מייצג מערך JSON.

ListValue

ייצוג ב-JSON
{ "values": [ value ] }

שדות
values[]	value (Value format) שדה חוזר של ערכים שהוקלדו באופן דינמי.

ToolResponse

ייצוג ב-JSON
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

שדות
id	string זה שינוי אופציונלי. המזהה התואם של tool call שהתשובה מתייחסת אליו.
displayName	string פלט בלבד. השם המוצג של הכלי.
response	object (Struct format) חובה. תוצאת ההפעלה של הכלי בפורמט של אובייקט JSON. צריך להשתמש במפתח output כדי לציין את התגובה של הכלי, ובמפתח error כדי לציין את פרטי השגיאה (אם יש). אם המפתחות "output" ו-"error" לא צוינו, כל ה-"response" נחשב לתוצאת ההפעלה של הכלי.
parentToolCallId	string פלט בלבד. המזהה של קריאת ה-API לכלי שגרמה לקריאה הזו, כשהיא הונפקה על ידי סוכן משנה שפועל בשם קריאה ראשית. ריק לקריאות ברמה העליונה. מאפשר ללקוח לקבץ את העבודה של סוכן משנה תחת הקריאה שהתחילה אותה, במקום להציג כל שלב כרכיב אחים.
agentName	string פלט בלבד. השם של הנציג שביצע את השיחה, בפורמט שקריא לבני אדם, למשל "אדריכל קבלן". השדה ריק כשהסוכן ברמה הבסיסית (root) הנפיק אותו.
targetApp	string פלט בלבד. האפליקציה שהכלי שהופעל טירגט; משקפת את ToolCall.target_app.
שדה של איחוד tool_identifier. המזהה של הכלי שהופעל. הוא יכול להיות כלי קבוע או כלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool	string זה שינוי אופציונלי. שם הכלי שרוצים להפעיל. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) זה שינוי אופציונלי. הכלי שהופעל מתוך ערכת הכלים.

הודעה

ייצוג ב-JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

שדות
role	string זה שינוי אופציונלי. התפקיד בשיחה, למשל: משתמש, נציג.
chunks[]	object (Chunk) זה שינוי אופציונלי. תוכן ההודעה כסדרה של קטעים.
eventTime	string (Timestamp format) זה שינוי אופציונלי. חותמת הזמן של שליחת או קבלת ההודעה. אין להשתמש אם ההודעה היא חלק מ-example. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

מקטע

ייצוג ב-JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

שדות
שדה של איחוד data. נתוני המקטע. הערך data יכול להיות רק אחד מהבאים:
text	string זה שינוי אופציונלי. נתוני טקסט.
transcript	string זה שינוי אופציונלי. תמליל שמשויך לאודיו.
blob	object (Blob) זה שינוי אופציונלי. נתוני Blob.
payload	object (Struct format) זה שינוי אופציונלי. נתוני מטען ייעודי (payload) בהתאמה אישית.
image	object (Image) זה שינוי אופציונלי. נתוני התמונה.
toolCall	object (ToolCall) זה שינוי אופציונלי. בקשה להפעלת כלי.
toolResponse	object (ToolResponse) זה שינוי אופציונלי. תגובה להרצת הכלי.
agentTransfer	object (AgentTransfer) זה שינוי אופציונלי. אירוע העברה של סוכן.
updatedVariables	object (Struct format) מבנה שמייצג משתנים שעודכנו בשיחה, עם מפתחות לפי שמות המשתנים.
defaultVariables	object (Struct format) מבנה שמייצג משתני ברירת מחדל בתחילת השיחה, עם מפתחות לפי שמות המשתנים.

כתם

ייצוג ב-JSON
{ "mimeType": string, "data": string }

שדות
mimeType	string חובה. סוג ה-MIME של נתוני המקור לפי תקן IANA.
data	string (bytes format) חובה. בייטים גולמיים של ה-blob. מחרוזת בקידוד Base64.

תמונה

ייצוג ב-JSON
{ "mimeType": string, "data": string, "altText": string }

שדות
mimeType	string חובה. סוג ה-MIME של נתוני המקור לפי תקן IANA. סוגי התמונות הנתמכים כוללים: * image/png * image/jpeg * image/webp
data	string (bytes format) חובה. בייטים גולמיים של התמונה. מחרוזת בקידוד Base64.
altText	string זה שינוי אופציונלי. הטקסט החלופי של התמונה.

AgentTransfer

ייצוג ב-JSON
{ "targetAgent": string, "displayName": string }

שדות
targetAgent	string חובה. הנציג שאליו מועברת השיחה. הנציג יטפל בשיחה מכאן והלאה. פורמט: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string פלט בלבד. השם המוצג של הנציג.

חותמת הזמן

ייצוג ב-JSON
{ "seconds": string, "nanos": integer }

שדות
seconds	string (int64 format) מייצג שניות של זמן UTC מאז ראשית זמן יוניקס (Unix epoch) ‏1970-01-01T00:00:00Z. הערך חייב להיות בין ‎-62135596800 ל-253402300799, כולל (טווח שמתאים ל-‎0001-01-01T00:00:00Z עד ‎9999-12-31T23:59:59Z).
nanos	integer שברים לא שליליים של שנייה ברזולוציה של ננו-שנייה. השדה הזה הוא החלק של הננו-שניות במשך הזמן, ולא חלופה לשניות. ערכי שניות שליליים עם שברים עדיין צריכים לכלול ערכי ננו-שניות לא שליליים שנספרים קדימה בזמן. הערך חייב להיות בין 0 ל-999,999,999, כולל.

GoldenExpectation

ייצוג ב-JSON

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

שדות
note	string זה שינוי אופציונלי. הערה לגבי הדרישה הזו, שימושית לדיווח כשבדיקות ספציפיות נכשלות. למשל, "Check_Payment_Tool_Called".
skipEvaluation	boolean זה שינוי אופציונלי. אם המאפיין מוגדר בתור true, הציפייה הספציפית הזו לא תיבדק.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) זה שינוי אופציונלי. המדיניות הזו מבטלת את המדדים ברמת השלב.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) זה שינוי אופציונלי. שינויים במדדי הדמיון הסמנטי של agent_response.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) זה שינוי אופציונלי. שינויים במדדי ההזיה של agent_response.
comparisonType	enum (ComparisonType) זה שינוי אופציונלי. סוג ההשוואה שבה משתמשים לבדיקת הציפייה.
שדה של איחוד condition. הבדיקה בפועל שצריך לבצע. הערך condition יכול להיות רק אחד מהבאים:
toolCall	object (ToolCall) זה שינוי אופציונלי. בודקים אם כלי ספציפי הופעל עם הפרמטרים.
toolResponse	object (ToolResponse) זה שינוי אופציונלי. לבדוק אם כלי מסוים הגיב כמו שציפיתם.
agentResponse	object (Message) זה שינוי אופציונלי. בודקים שהנציג השיב את התשובה הנכונה. התפקיד "סוכן" משתמע.
agentTransfer	object (AgentTransfer) זה שינוי אופציונלי. מוודאים שהנציג העביר את השיחה לנציג אחר.
updatedVariables	object (Struct format) זה שינוי אופציונלי. בודקים שהנציג עדכן את משתני הסשן לערכים הצפויים. משמש גם כדי לתעד עדכונים של משתני סוכן להערכות זהב.
mockToolResponse	object (ToolResponse) זה שינוי אופציונלי. תגובת הכלי ל-mock, עם הפרמטרים הרלוונטיים שצוינו. כל פרמטר שלא צוין ייווצר על ידי ה-LLM.
noToolCalls	boolean זה שינוי אופציונלי. מוודאים שלא הופעלו כלים במהלך התור הזה.

ExpectationLevelMetricsThresholds

ייצוג ב-JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

שדות
שדה של איחוד _tool_invocation_parameter_correctness_threshold. הערך _tool_invocation_parameter_correctness_threshold יכול להיות רק אחד מהבאים:
toolInvocationParameterCorrectnessThreshold	number זה שינוי אופציונלי. סף ההצלחה לתקינות של פרמטר קריאה לכלי ספציפי. הערך חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

SemanticSimilarityMetricsConfig

ייצוג ב-JSON
{ "enableSemanticSimilarityMetrics": boolean }

שדות
enableSemanticSimilarityMetrics	boolean זה שינוי אופציונלי. אם לחשב מדדי דמיון סמנטי להערכה.

HallucinationMetricsConfig

ייצוג ב-JSON
{ "enableHallucinationMetrics": boolean }

שדות
enableHallucinationMetrics	boolean זה שינוי אופציונלי. אם לחשב מדדי הזיה להערכה.

SemanticSimilarityResult

ייצוג ב-JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 4: עקביות מלאה, ציון 3: עקביות ברוב המקרים, ציון 2: עקביות חלקית (השמטות קלות), ציון 1: חוסר עקביות ברוב המקרים (השמטות משמעותיות), ציון 0: חוסר עקביות מוחלט או סתירה
explanation	string פלט בלבד. ההסבר לציון הדמיון הסמנטי.
outcome	enum (Outcome) פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי. ההחלטה מתקבלת על סמך השוואה בין הציון לבין semantic_similarity_success_threshold. אם הציון שווה לסף או גבוה ממנו, התוצאה תהיה "עבר". אחרת, התוצאה תהיה FAIL.
שדה של איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. ציון הדמיון הסמנטי. הערך יכול להיות 0, 1, 2, 3 או 4.

ToolInvocationResult

ייצוג ב-JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

שדות
outcome	enum (Outcome) פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. כדי לקבוע את זה, המערכת משווה את הערך של parameter_correctness_score לסף. אם הציון שווה לסף או גבוה ממנו, התוצאה תהיה "עבר". אחרת, התוצאה תהיה FAIL.
explanation	string פלט בלבד. הסבר בטקסט חופשי על התוצאה של הפעלת הכלי.
שדה של איחוד _parameter_correctness_score. הערך _parameter_correctness_score יכול להיות רק אחד מהבאים:
parameterCorrectnessScore	number פלט בלבד. הציון של נכונות הפרמטרים להפעלת הכלי. המדד הזה מציין את אחוז הפרמטרים מקריאת ה-API הצפויה לכלי שהיו קיימים גם בקריאת ה-API בפועל לכלי.

HallucinationResult

ייצוג ב-JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: מוצדק, ציון 0: לא מוצדק, ציון 1-: אין טענה שצריך להעריך
explanation	string פלט בלבד. ההסבר לציון ההזיה.
שדה של איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. ציון ההזיה. יכול להיות ‎-1, ‏ 0, ‏ 1.

משך

ייצוג ב-JSON
{ "seconds": string, "nanos": integer }

שדות
seconds	string (int64 format) שניות חתומות של משך הזמן. הערך חייב להיות בין ‎-315,576,000,000 ל-‎+315,576,000,000, כולל. הערה: הגבולות האלה מחושבים לפי: 60 שניות/דקה * 60 דקות/שעה * 24 שעות/יום * 365.25 ימים/שנה * 10,000 שנים
nanos	integer שברים חתומים של שנייה ברזולוציה של ננו-שנייה של משך הזמן. משכי זמן של פחות משנייה מיוצגים על ידי שדה seconds עם הערך 0 ושדה nanos עם ערך חיובי או שלילי. במשכי זמן של שנייה אחת או יותר, ערך שאינו אפס בשדה nanos חייב להיות עם אותו סימן כמו השדה seconds. הערך חייב להיות בין ‎-999,999,999 ל- ‎+999,999,999, כולל.

ToolCallLatency

ייצוג ב-JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

שדות
tool	string פלט בלבד. שם הכלי שהופעל. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string פלט בלבד. השם המוצג של הכלי.
startTime	string (Timestamp format) פלט בלבד. שעת ההתחלה של הרצת קריאת ה-API לכלי. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) פלט בלבד. שעת הסיום של הפעלת קריאת ה-API לכלי. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) פלט בלבד. זמן האחזור של הפעלת קריאת ה-API לכלי. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. לדוגמה: "3.5s".

OverallToolInvocationResult

ייצוג ב-JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

שדות
outcome	enum (Outcome) פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. הציון נקבע על ידי השוואה בין tool_invocation_score לבין overall_tool_invocation_correctness_threshold. אם הציון שווה לסף או גבוה ממנו, התוצאה תהיה "עבר". אחרת, התוצאה תהיה FAIL.
שדה של איחוד _tool_invocation_score. הערך _tool_invocation_score יכול להיות רק אחד מהבאים:
toolInvocationScore	number הציון הכולל של הפעלת הכלים בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים שהופעלו בפועל מתוך הכלים שהיו צפויים לפעול בתור.

EvaluationErrorInfo

ייצוג ב-JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

שדות
errorType	enum (ErrorType) פלט בלבד. סוג השגיאה.
errorMessage	string פלט בלבד. הודעת השגיאה.
sessionId	string פלט בלבד. מזהה הסשן של השיחה שגרמה לשגיאה.
userFacingErrorMessage	string פלט בלבד. הודעת השגיאה שמוצגת למשתמש.

SpanLatency

ייצוג ב-JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

שדות
type	enum (Type) פלט בלבד. סוג ה-span.
displayName	string פלט בלבד. השם המוצג של ה-span. רלוונטי לטווחים של כלים ומעקות בטיחות.
startTime	string (Timestamp format) פלט בלבד. שעת ההתחלה של הטווח. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) פלט בלבד. שעת הסיום של הטווח. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) פלט בלבד. זמן האחזור של ה-span. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. לדוגמה: "3.5s".
שדה של איחוד identifier. המזהה של הפריט הספציפי, בהתאם לסוג שלו. הערך identifier יכול להיות רק אחד מהבאים:
resource	string פלט בלבד. שם המשאב של טווחי ההנחיות או הכלים.
toolset	object (ToolsetTool) פלט בלבד. מזהה הכלי של ערכת הכלים.
model	string פלט בלבד. שם ה-span של ה-LLM.
callback	string פלט בלבד. השם של טווח הקריאה החוזרת (callback) של המשתמש.

EvaluationExpectationResult

ייצוג ב-JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

שדות
evaluationExpectation	string פלט בלבד. הציפייה מההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string פלט בלבד. ההנחיה ששימשה להערכה.
outcome	enum (Outcome) פלט בלבד. התוצאה של ציפיית ההערכה.
explanation	string פלט בלבד. ההסבר לתוצאה.

ScenarioResult

ייצוג ב-JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], "milestoneResults": [ { object (MilestoneResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

שדות
conversation	string פלט בלבד. השיחה שנוצרה בתרחיש.
task	string פלט בלבד. המשימה ששימשה להפעלת התרחיש של התוצאה הזו.
userFacts[]	object (UserFact) פלט בלבד. העובדות על המשתמש ששימשו את התרחיש לתוצאה הזו.
expectationOutcomes[]	object (ScenarioExpectationOutcome) פלט בלבד. התוצאה של כל ציפייה.
rubricOutcomes[]	object (ScenarioRubricOutcome) פלט בלבד. התוצאה של הקריטריונים להערכה.
hallucinationResult[]	object (HallucinationResult) פלט בלבד. תוצאת הבדיקה של ההזיות. לכל שלב בשיחה תהיה תוצאת הזיה אחת.
taskCompletionResult (deprecated)	object (TaskCompletionResult) הפריט הזה הוצא משימוש. פלט בלבד. התוצאה של בדיקת השלמת המשימה.
toolCallLatencies[]	object (ToolCallLatency) פלט בלבד. זמן האחזור של כל הפעלה של קריאת API לכלי בשיחה.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) פלט בלבד. התוצאה של בדיקת שביעות הרצון של המשתמש מהיעד.
spanLatencies[]	object (SpanLatency) פלט בלבד. זמן האחזור של הטווחים בשיחה.
evaluationExpectationResults[]	object (EvaluationExpectationResult) פלט בלבד. תוצאות הציפיות מההערכה.
milestoneResults[]	object (MilestoneResult) פלט בלבד. התוצאות של כל ציון דרך בתרחיש.
שדה של איחוד _all_expectations_satisfied. הערך _all_expectations_satisfied יכול להיות רק אחד מהבאים:
allExpectationsSatisfied	boolean פלט בלבד. אם כל הציפיות נענו בתור הזה.
שדה של איחוד _task_completed. הערך _task_completed יכול להיות רק אחד מהבאים:
taskCompleted	boolean פלט בלבד. אם המשימה הושלמה בתור הזה. הציון הזה משקלל את כל הציפיות שנענו, את היעדר ההזיות ואת שביעות הרצון של המשתמש מהשגת המטרה.

UserFact

ייצוג ב-JSON
{ "name": string, "value": string }

שדות
name	string חובה. השם של עובדת המשתמש.
value	string חובה. הערך של העובדה על המשתמש.

ScenarioExpectationOutcome

ייצוג ב-JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

שדות
expectation	object (ScenarioExpectation) פלט בלבד. הציפייה שנבדקה.
outcome	enum (Outcome) פלט בלבד. התוצאה של ScenarioExpectation.
שדה של איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall	object (ObservedToolCall) פלט בלבד. קריאת ה-API לכלי שנצפתה.
observedAgentResponse	object (Message) פלט בלבד. התשובה של הסוכן שנצפתה.

ObservedToolCall

ייצוג ב-JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

שדות
toolCall	object (ToolCall) פלט בלבד. קריאת ה-API לכלי שנצפתה.
toolResponse	object (ToolResponse) פלט בלבד. התשובה שנצפתה מהכלי.

ScenarioExpectation

ייצוג ב-JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

שדות
שדה של איחוד expectation. הציפייה להערכת השיחה שנוצרה על ידי הסימולציה. הערך expectation יכול להיות רק אחד מהבאים:
toolExpectation	object (ToolExpectation) זה שינוי אופציונלי. צמד קריאת ה-API לכלי והתשובה שרוצים להעריך.
agentResponse	object (Message) זה שינוי אופציונלי. תשובת הנציג שצריך להעריך.

ToolExpectation

ייצוג ב-JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

שדות
expectedToolCall	object (ToolCall) חובה. קריאת ה-API לכלי שצפויה להתבצע, עם הפרמטרים הרלוונטיים. כל פרמטר שלא צוין ייווצר על ידי ה-LLM.
mockToolResponse	object (ToolResponse) חובה. תגובת הכלי ל-mock, עם הפרמטרים הרלוונטיים שצוינו. כל פרמטר שלא צוין ייווצר על ידי ה-LLM.

ScenarioRubricOutcome

ייצוג ב-JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

שדות
rubric	string פלט בלבד. הקריטריונים ששימשו להערכת השיחה.
scoreExplanation	string פלט בלבד. התשובה של הבודק לקריטריון ההערכה.
שדה של איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	number פלט בלבד. הציון של השיחה לפי קריטריון ההערכה.

TaskCompletionResult

ייצוג ב-JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: המשימה הושלמה, ציון 0: המשימה לא הושלמה, ציון 1-: יעד המשתמש לא מוגדר
explanation	string פלט בלבד. ההסבר לציון השלמת המשימה.
שדה של איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. ציון השלמת המשימה. יכול להיות ‎-1, 0, 1

UserGoalSatisfactionResult

ייצוג ב-JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 2: העברה חלקה, ציון 1: המשימה של המשתמש בוצעה, ציון 0: המשימה של המשתמש לא בוצעה, ציון 1-: המשימה של המשתמש לא צוינה
explanation	string פלט בלבד. ההסבר לציון שביעות הרצון של המשתמשים מהמשימה.
שדה של איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. ציון שביעות הרצון של המשתמש מהמשימה. יכול להיות -1, 0, 1, 2.

MilestoneResult

ייצוג ב-JSON
{ "milestone": { object (Milestone) }, "status": enum (MilestoneStatus), "justification": string }

שדות
milestone	object (Milestone) פלט בלבד. אבן הדרך שאחריה מתבצע מעקב.
status	enum (MilestoneStatus) פלט בלבד. הסטטוס הנוכחי של אבן הדרך.
justification	string פלט בלבד. הסיבה לסטטוס הנוכחי.

אבן דרך

ייצוג ב-JSON
{ "goal": string, "maxTurnCount": integer, "successCriteria": string, "protocol": string, "staticUtterance": string, "event": { object (Event) } }

שדות
goal	string חובה. המטרה של אבן הדרך.
maxTurnCount	integer זה שינוי אופציונלי. מספר הפניות המקסימלי לאבן הדרך הזו.
successCriteria	string זה שינוי אופציונלי. הקריטריונים להצלחה של אבן הדרך.
protocol	string זה שינוי אופציונלי. ההנחיות שהנציג צריך לפעול לפיהן במהלך השיחה.
staticUtterance	string זה שינוי אופציונלי. ביטוי סטטי שהסימולטור ישלח בדיוק כמו שהוא, במקום ליצור קלט משתמש באופן דינמי.
event	object (Event) זה שינוי אופציונלי. קלט של אירוע שיישלח במקום יצירה דינמית.

אירוע

ייצוג ב-JSON
{ "event": string, "variables": { object } }

שדות
event	string חובה. שם האירוע.
variables	object (Struct format) זה שינוי אופציונלי. משתנים נוספים שמשויכים לאירוע.

EvaluationPersona

ייצוג ב-JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

שדות
name	string חובה. המזהה הייחודי של הפרסונה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string זה שינוי אופציונלי. תיאור הפרסונה.
displayName	string חובה. השם המוצג של הדמות. ייחודי באפליקציה.
personality	string חובה. הוראה לסוכן לגבי אופן ההתנהגות בהערכה.
speechConfig	object (SpeechConfig) זה שינוי אופציונלי. הגדרות הקול של הפרסונה (הגדרות TTS).

SpeechConfig

ייצוג ב-JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

שדות
speakingRate	number זה שינוי אופציונלי. קצב הדיבור. ‫1.0 הוא הערך הרגיל. ערך נמוך יותר הוא איטי יותר (למשל, 0.8), ערך גבוה יותר הוא מהיר יותר (למשל, 1.5). התכונה הזו שימושית כדי לבדוק איך הסוכן מתמודד עם אנשים שמדברים מהר.
environment	enum (BackgroundEnvironment) זה שינוי אופציונלי. סביבת האודיו המדומה.
voiceId	string זה שינוי אופציונלי. המזהה הספציפי של הקול או המבטא שבו ייעשה שימוש. דוגמה: "en-US-Wavenet-D" או "en-GB-Standard-A"

סטטוס

ייצוג ב-JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

שדות
code	integer קוד הסטטוס, שצריך להיות ערך enum של google.rpc.Code.
message	string הודעת שגיאה שמיועדת למפתחים, וצריכה להיות באנגלית. כל הודעת שגיאה שגלויה למשתמשים צריכה להיות מותאמת לשוק המקומי ולהישלח בשדה google.rpc.Status.details, או להיות מותאמת לשוק המקומי על ידי הלקוח.
details[]	object רשימת הודעות עם פרטי השגיאה. יש קבוצה נפוצה של סוגי הודעות לשימוש בממשקי API. אובייקט שמכיל שדות מסוג שרירותי. שדה נוסף, "@type", מכיל URI שמזהה את הסוג. לדוגמה: { "id": 1234, "@type": "types.example.com/standard/id" }.

הכול

ייצוג ב-JSON
{ "typeUrl": string, "value": string }

שדות
typeUrl	string מזהה את הסוג של הודעת Protobuf שעברה סריאליזציה באמצעות הפניה ל-URI שמורכבת מתחילית שמסתיימת בלוכסן ומשם הסוג המלא. דוגמה: type.googleapis.com/google.protobuf.StringValue המחרוזת הזו חייבת להכיל לפחות תו / אחד, והתוכן שאחרי ה-/ האחרון חייב להיות השם המלא של הסוג בצורה קנונית, בלי נקודה בהתחלה. אל תכתבו סכימה בהפניות האלה ל-URI, כדי שהלקוחות לא ינסו ליצור איתן קשר. הקידומת היא שרירותית, וההטמעות של Protobuf אמורות פשוט להסיר את כל מה שמופיע עד ל-/ האחרון, כולל אותו, כדי לזהות את הסוג. ‫type.googleapis.com/ היא תחילית נפוצה שמוגדרת כברירת מחדל, ונדרשת בחלק מההטמעות הקודמות. הקידומת הזו לא מציינת את מקור הסוג, ומזהי URI שמכילים אותה לא אמורים להגיב לבקשות. כל המחרוזות של כתובות ה-URL של הסוגים חייבות להיות הפניות חוקיות ל-URI, עם הגבלה נוספת (לפורמט הטקסט) שלפיה התוכן של ההפניה חייב לכלול רק תווים אלפאנומריים, תווי בריחה (escape) בקידוד אחוזים ותווים בקבוצה הבאה (לא כולל הגרשים ההפוכים החיצוניים): /-.~_!$&()*+,;=. למרות שאנחנו מאפשרים קידוד באחוזים, בהטמעות לא צריך לבטל את תווי המילוט כדי למנוע בלבול עם מנתחים קיימים. לדוגמה, צריך לדחות את type.googleapis.com%2FFoo. בעיצוב המקורי של Any, נשקלה האפשרות להפעיל שירות לזיהוי סוגים בכתובות ה-URL האלה, אבל Protobuf אף פעם לא הטמיעה שירות כזה, והיא מחשיבה את הפנייה לכתובות ה-URL האלה כבעייתית וכבעיית אבטחה פוטנציאלית. אל תנסו ליצור קשר עם כתובות URL מסוג זה.
value	string (bytes format) מכיל סריאליזציה של Protobuf מהסוג שמתואר על ידי type_url. מחרוזת בקידוד Base64.

EvaluationMetricsThresholds

ייצוג ב-JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

שדות
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) זה שינוי אופציונלי. ערכי הסף של מדדי ההערכה המושלמים.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) הפריט הזה הוצא משימוש. זה שינוי אופציונלי. הוצא משימוש: צריך להשתמש ב-golden_hallucination_metric_behavior במקום זאת. ההתנהגות של מדד ההזיות משמשת כרגע להערכות של קבוצת הזהב.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות הזהב.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) זה שינוי אופציונלי. התנהגות המדד "הזיות" בהערכות של תרחישים.

GoldenEvaluationMetricsThresholds

ייצוג ב-JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

שדות
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) זה שינוי אופציונלי. ערכי הסף של המדדים ברמת התור.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) זה שינוי אופציונלי. ערכי הסף של המדדים ברמת הציפייה.
toolMatchingSettings	object (ToolMatchingSettings) זה שינוי אופציונלי. הגדרות ההתאמה של הכלי. קריאת API מיותרת לכלי היא קריאה שקיימת בהרצה אבל לא תואמת לאף קריאת API לכלי בציפייה האידיאלית.

TurnLevelMetricsThresholds

ייצוג ב-JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

שדות
semanticSimilarityChannel	enum (SemanticSimilarityChannel) זה שינוי אופציונלי. ערוץ הדמיון הסמנטי שבו משתמשים להערכה.
שדה של איחוד _semantic_similarity_success_threshold. הערך _semantic_similarity_success_threshold יכול להיות רק אחד מהבאים:
semanticSimilaritySuccessThreshold	integer זה שינוי אופציונלי. סף ההצלחה של הדמיון הסמנטי. הערך חייב להיות מספר שלם בין 0 ל-4. ברירת המחדל היא >= 3.
שדה של איחוד _overall_tool_invocation_correctness_threshold. הערך _overall_tool_invocation_correctness_threshold יכול להיות רק אחד מהבאים:
overallToolInvocationCorrectnessThreshold	number זה שינוי אופציונלי. סף ההצלחה של הדיוק הכולל בהפעלת הכלים. הערך חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

ToolMatchingSettings

ייצוג ב-JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

שדות
extraToolCallBehavior	enum (ExtraToolCallBehavior) זה שינוי אופציונלי. התנהגות של קריאות API נוספות לכלי. ברירת המחדל היא FAIL.

EvaluationConfig

ייצוג ב-JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

שדות
inputAudioConfig	object (InputAudioConfig) זה שינוי אופציונלי. הגדרות לעיבוד קלט האודיו.
outputAudioConfig	object (OutputAudioConfig) זה שינוי אופציונלי. הגדרות ליצירת פלט האודיו.
evaluationChannel	enum (EvaluationChannel) זה שינוי אופציונלי. הערוץ שרוצים לבדוק.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) זה שינוי אופציונלי. מציין אם ההערכה צריכה להשתמש בקריאות API אמיתיות לכלים או בכלים מזויפים.

InputAudioConfig

ייצוג ב-JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

שדות
audioEncoding	enum (AudioEncoding) חובה. הקידוד של נתוני האודיו של הקלט.
sampleRateHertz	integer חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הקלט.
noiseSuppressionLevel	string זה שינוי אופציונלי. אם להפעיל סינון רעשים בקלט האודיו. הערכים הזמינים הם "low",‏ "moderate",‏ "high",‏ "very_high".

OutputAudioConfig

ייצוג ב-JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

שדות
audioEncoding	enum (AudioEncoding) חובה. הקידוד של נתוני האודיו בפלט.
sampleRateHertz	integer חובה. תדירות הדגימה (בהרץ) של נתוני האודיו בפלט.

Span

ייצוג ב-JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

שדות
name	string פלט בלבד. שם ה-span.
startTime	string (Timestamp format) פלט בלבד. שעת ההתחלה של הטווח. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) פלט בלבד. שעת הסיום של הטווח. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z",‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
duration	string (Duration format) פלט בלבד. משך הזמן של הטווח. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. לדוגמה: "3.5s".
attributes	object (Struct format) פלט בלבד. מאפייני מפתח/ערך שמשויכים ל-span.
childSpans[]	object (Span) פלט בלבד. ה-spans המשניים שמוטמעים ב-span הזה.

NullValue

מייצג null ב-JSON.

‫NullValue הוא sentinel, שמשתמש ב-enum עם ערך אחד בלבד כדי לייצג את הערך null לאיחוד מסוג Value.

שדה מסוג NullValue עם ערך שונה מ-0 נחשב לא תקין. רוב ה-serializers של ProtoJSON יפיקו Value עם null_value שמוגדר כ-null של JSON, בלי קשר לערך של המספר השלם, ולכן יבצעו סבב מלא לערך 0.

טיפוסים בני מנייה (enum)
NULL_VALUE	ערך Null.

ComparisonType

סוגי ההשוואות שנתמכים לבדיקת התשובה של הנציג.

טיפוסים בני מנייה (enum)
COMPARISON_TYPE_UNSPECIFIED	סוג ההשוואה לא צוין. התנהגות ברירת המחדל היא SEMANTIC_SIMILARITY לתשובות של הסוכן ולקריאות API לכלי.
EQUALS	התאמה מדויקת של מחרוזת.
CONTAINS	התאמה למחרוזת משנה (בודקת אם המחרוזת הצפויה כלולה בתשובה בפועל).
SEMANTIC_SIMILARITY	התאמה לפי דמיון סמנטי (הערכת הדמיון במשמעות באמצעות מודל שפה גדול).

תוצאת הסריקה

התוצאה של ההערכה או הציפייה.

טיפוסים בני מנייה (enum)
OUTCOME_UNSPECIFIED	תוצאת ההערכה לא צוינה.
PASS	ההערכה/הציפייה עברה. במקרה של הערכה, המשמעות היא שכל הציפיות נענו.
FAIL	הערכה/ציפייה נכשלה. במקרה של הערכה, המשמעות היא שלפחות ציפייה אחת לא התממשה.
SKIPPED	ההערכה/הציפייה לא בוצעה.

ErrorType

סוג השגיאה

טיפוסים בני מנייה (enum)
ERROR_TYPE_UNSPECIFIED	סוג שגיאה לא מזוהה.
RUNTIME_FAILURE	כשל במהלך ההרצה בזמן ריצה.
CONVERSATION_RETRIEVAL_FAILURE	לא הצלחנו לאחזר את השיחה מ-CES Runtime.
METRIC_CALCULATION_FAILURE	אי אפשר לחשב מדד או תוצאה.
EVALUATION_UPDATE_FAILURE	ההערכה לא עודכנה.
QUOTA_EXHAUSTED	המכסה נגמרה.
USER_SIMULATION_FAILURE	הסימולציה של המשתמש נכשלה.

סוג

סוג ה-span. יכול להיות שבעתיד נוסיף עוד ערכים.

טיפוסים בני מנייה (enum)
TYPE_UNSPECIFIED	ערך ברירת המחדל. הערך הזה לא בשימוש.
TOOL	טווח קריאת ה-API לכלי.
USER_CALLBACK	טווח הקריאה החוזרת של המשתמש.
GUARDRAIL	טווח של שכבת הגנה.
LLM	טווח LLM.

MilestoneStatus

סטטוס אבן הדרך.

טיפוסים בני מנייה (enum)
MILESTONE_STATUS_UNSPECIFIED	סטטוס לא מוגדר.
NOT_STARTED	השלב עדיין לא התחיל.
IN_PROGRESS	האבן דרך מתבצעת כרגע.
COMPLETED	השלמתם את אבן הדרך.

BackgroundEnvironment

סביבת אודיו מדומה.

טיפוסים בני מנייה (enum)
BACKGROUND_ENVIRONMENT_UNSPECIFIED	לא צוינה סביבת רקע.
CALL_CENTER	סביבה של מוקד טלפוני.
TRAFFIC	סביבה עם רעשי תנועה.
KIDS_NOISE	סביבה עם רעש של ילדים.
CAFE	סביבה של בית קפה.

ExecutionState

מצב הביצוע של תוצאת ההערכה.

טיפוסים בני מנייה (enum)
EXECUTION_STATE_UNSPECIFIED	מצב ההרצה של תוצאת ההערכה לא צוין.
QUEUED	הפעלת תוצאות ההערכה נמצאת בתור.
RUNNING	ההרצה של תוצאת ההערכה מתבצעת.
COMPLETED	ההרצה של תוצאת ההערכה הסתיימה.
ERROR	ההרצה של תוצאת ההערכה נכשלה בגלל שגיאה פנימית.
CANCELLED	ההרצה של תוצאת ההערכה בוטלה.

SemanticSimilarityChannel

הערוץ שבו רוצים להשתמש לדמיון סמנטי.

טיפוסים בני מנייה (enum)
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	לא צוין מדד. ברירת המחדל היא TEXT.
TEXT	שימוש בדמיון סמנטי של טקסט.
AUDIO	שימוש בדמיון סמנטי של אודיו.

ExtraToolCallBehavior

ההגדרה הזו קובעת מה קורה כשמתקבלת קריאת API נוספת לכלי. קריאת API מיותרת לכלי היא קריאה שקיימת בהרצה אבל לא תואמת לאף קריאת API לכלי בציפייה האידיאלית.

טיפוסים בני מנייה (enum)
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	התנהגות לא מוגדרת. ברירת המחדל היא FAIL.
FAIL	ההערכה תיכשל אם תהיה קריאה נוספת לכלי.
ALLOW	מאשרים את קריאת ה-API הנוספת לכלי.

HallucinationMetricBehavior

ההתנהגות של מדד ההזיות. המדד תמיד יחושב, בלי קשר להתנהגות. ההבדל הוא שכשהמדד מושבת, הוא לא משמש לחישוב ציון ההערכה הכולל.

טיפוסים בני מנייה (enum)
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	התנהגות לא מוגדרת של מדד ההזיות.
DISABLED	השבתת המדד "הזיה".
ENABLED	הפעלת המדד "הזיות".

AudioEncoding

‫AudioEncoding מציין את פורמט הקידוד של נתוני האודיו.

טיפוסים בני מנייה (enum)
AUDIO_ENCODING_UNSPECIFIED	קידוד אודיו לא מוגדר.
LINEAR16	קידוד אודיו PCM ליניארי של 16 ביט.
MULAW	דגימות של 8 ביטים שדוחסות דגימות אודיו של 14 ביטים באמצעות G.711 PCMU/mu-law.
ALAW	דגימות של 8 ביטים שדוחסות דגימות אודיו של 14 ביטים באמצעות G.711 PCMU/A-law.

EvaluationChannel

הערוץ שרוצים לבדוק.

טיפוסים בני מנייה (enum)
EVALUATION_CHANNEL_UNSPECIFIED	לא צוין ערוץ הערכה.
TEXT	ערוץ הערכה של טקסט בלבד.
AUDIO	ערוץ להערכת אודיו.

EvaluationToolCallBehaviour

הגדרת ההתנהגות של קריאת API לכלי בהרצות של הערכה.

טיפוסים בני מנייה (enum)
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	התנהגות לא מוגדרת של קריאת API לכלי. כברירת מחדל, המודל יבצע קריאות API לכלי אמיתיות.
REAL	משתמשים בקריאות אמיתיות לכלי.
FAKE	שימוש בקריאות API מזויפות לכלי.

GoldenRunMethod

השיטה שבה משתמשים כדי להריץ את ההערכה.

טיפוסים בני מנייה (enum)
GOLDEN_RUN_METHOD_UNSPECIFIED	שיטת ההפעלה לא צוינה.
STABLE	מריצים את ההערכה כהפעלה מחדש יציבה, שבה כל שלב הוא סשן ייחודי, והשלבים הצפויים הקודמים מוזרקים כהקשר.
NAIVE	מריצים את ההערכה כהפעלה מחדש נאיבית, שבה ההרצה היא סשן יחיד בלי הזרקת הקשר.

OutcomeMetadata

מטא-נתונים על תוצאות ההערכה.

טיפוסים בני מנייה (enum)
OUTCOME_METADATA_UNSPECIFIED	מטא-נתונים לא מוגדרים של תוצאות.
GRACEFUL_HANDOFF	ההערכה הובילה להעברה חלקה לנציג אנושי.

הערות לגבי הכלים

הערות לגבי כלים נשלחות ללקוחות MCP כדי לתאר את הסיכון הבסיסי של כלי מסוים. רוב הלקוחות מתייחסים לרמזים האלה כלא מהימנים, אבל אפשר להשתמש בהם כדי להחליט מתי לשלוח למשתמש בקשה לאישור.

בנוסף למחרוזת הכותרת, הרמזים הבוליאניים הבאים מוגדרים כך:

• ‫readOnlyHint: אם הערך הוא True, הכלי לא משנה את הסביבה שלו. ברירת המחדל: false.
• ‫destructiveHint: אם הערך הוא True, הכלי יכול לבצע פעולות הרסניות. אם הערך הוא False, הכלי יכול לבצע רק פעולות הוספה. ברירת המחדל: true.
• ‫idempotentHint: אם הערך הוא True, קריאה חוזרת לכלי עם אותם ארגומנטים לא תשפיע על הסביבה שלו. ברירת המחדל: false.
• ‫openWorldHint: אם הערך הוא True, הכלי יכול לקיים אינטראקציה עם "עולם פתוח" של ישויות חיצוניות. אם הערך הוא false, הכלי יכול לקיים אינטראקציה רק עם ישויות פנימיות. לדוגמה, כלי חיפוש באינטרנט הוא כלי בעולם פתוח, אבל כלי זיכרון הוא לא כלי בעולם פתוח.

Destructive Hint: ❌ | Idempotent Hint: ✅ | Read Only Hint: ✅ | Open World Hint: ❌