MCP Tools Reference: ces.googleapis.com

כלי: create_evaluation

יצירת הערכה חדשה.

בדוגמת הקוד הבאה מוצג שימוש בפקודה curl כדי להפעיל את הכלי create_evaluation MCP.

בקשת Curl
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "create_evaluation", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }'

סכימת הקלט

בקשת הודעה עבור EvaluationService.CreateEvaluation.

CreateEvaluationRequest

ייצוג ב-JSON
{ "parent": string, "evaluationId": string, "evaluation": { object (Evaluation) } }

שדות
parent	string חובה. האפליקציה שעבורה רוצים ליצור את ההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}
evaluationId	string זה שינוי אופציונלי. המזהה שבו יש להשתמש להערכה, שיהפוך לרכיב הסופי של שם המשאב של ההערכה. אם לא מספקים מזהה, המערכת מקצה מזהה ייחודי באופן אוטומטי לצורך ההערכה.
evaluation	object (Evaluation) חובה. ההערכה שרוצים ליצור.

הערכה

ייצוג ב-JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], "evaluationMetricsThresholdOverride": { object (EvaluationMetricsThresholds) }, "evaluationMetricsConfigOverride": { object (EvaluationMetricsConfig) }, // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

שדות
name	string מזהה. המזהה הייחודי של ההערכה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string חובה. השם המוצג של ההערכה שהוגדר על ידי המשתמש. ייחודי באפליקציה.
description	string זה שינוי אופציונלי. תיאור של ההערכה שהמשתמשים מגדירים.
tags[]	string זה שינוי אופציונלי. תגים שהוגדרו על ידי המשתמש לסיווג הבדיקה.
evaluationDatasets[]	string פלט בלבד. רשימה של מערכי נתונים להערכה שההערכה שייכת להם. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) פלט בלבד. חותמת הזמן שבה נוצרה ההערכה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
createdBy	string פלט בלבד. המשתמש שיצר את ההערכה.
updateTime	string (Timestamp format) פלט בלבד. חותמת זמן של מועד העדכון האחרון של ההערכה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string פלט בלבד. המשתמש שעדכן לאחרונה את ההערכה.
evaluationRuns[]	string פלט בלבד. הערכים של EvaluationRuns שההערכה הזו משויכת אליהם.
etag	string פלט בלבד. תג Etag שמשמש כדי לוודא שהאובייקט לא השתנה במהלך פעולת קריאה-שינוי-כתיבה. אם ה-etag ריק, העדכון יחליף את כל השינויים המקבילים.
aggregatedMetrics	object (AggregatedMetrics) פלט בלבד. המדדים המצטברים של ההערכה הזו בכל ההרצות.
lastCompletedResult	object (EvaluationResult) פלט בלבד. תוצאת ההערכה האחרונה של ההערכה הזו.
invalid	boolean פלט בלבד. האם ההערכה לא תקינה. מצב כזה יכול לקרות אם ההערכה מתייחסת לכלי, לערכת כלים או לסוכן שנמחקו מאז.
lastTenResults[]	object (EvaluationResult) פלט בלבד. 10 התוצאות האחרונות של ההערכה הזו. השדה הזה מאוכלס רק אם הערך של include_last_ten_results מוגדר כ-True ב-ListEvaluationsRequest או ב-GetEvaluationRequest.
evaluationMetricsThresholdOverride	object (EvaluationMetricsThresholds) זה שינוי אופציונלי. ביטול של ספי מדדים להערכה הספציפית הזו.
evaluationMetricsConfigOverride	object (EvaluationMetricsConfig) זה שינוי אופציונלי. ההגדרה הזו מבטלת את הגדרות המדדים להערכה הספציפית הזו.
שדה איחוד inputs. הקלט להערכה inputs יכול להיות רק אחד מהבאים:
golden	object (Golden) זה שינוי אופציונלי. השלבים העיקריים שצריך לבדוק.
scenario	object (Scenario) זה שינוי אופציונלי. ההגדרה של תרחיש.

Golden

ייצוג ב-JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

שדות
turns[]	object (GoldenTurn) חובה. מספר התורות הנדרש כדי להפעיל מחדש שיחה מושלמת. המספר המקסימלי של תורות שמותרות הוא 100.
evaluationExpectations[]	string זה שינוי אופציונלי. הציפיות להערכה של השיחה שהופעלה מחדש. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

ייצוג ב-JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) }, "turnLevelMetricsThresholdsOverride": { object (TurnLevelMetricsThresholds) }, "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior) }

שדות
steps[]	object (Step) חובה. השלבים שנדרשים כדי להפעיל מחדש שיחה לדוגמה.
rootSpan	object (Span) זה שינוי אופציונלי. הטווח הבסיסי של התור הזה לעיבוד ולתחזוקה של נתוני אודיו. ה-URI של האודיו חייב להכיל אודיו שנשמר בתדירות דגימה של 16KHz.
turnLevelMetricsThresholdsOverride	object (TurnLevelMetricsThresholds) זה שינוי אופציונלי. הגדרות שמשנות את ערכי הסף של המדדים ברמת התור.
hallucinationMetricBehaviorOverride	enum (HallucinationMetricBehavior) זה שינוי אופציונלי. שינוי ברירת המחדל של התנהגות מדד ההזיות ברמת התור.

שלב

ייצוג ב-JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

שדות
שדה איחוד step. השלב לביצוע. הערך step יכול להיות רק אחד מהבאים:
userInput	object (SessionInput) זה שינוי אופציונלי. קלט של משתמשים לגבי השיחה.
agentTransfer	object (AgentTransfer) זה שינוי אופציונלי. להעביר את השיחה לנציג אחר.
expectation	object (GoldenExpectation) זה שינוי אופציונלי. מריץ ציפייה בתור הנוכחי.

SessionInput

ייצוג ב-JSON
{ "willContinue": boolean, // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

שדות
willContinue	boolean זה שינוי אופציונלי. סימון שמציין אם ההודעה הנוכחית היא קטע מקלט גדול יותר בסשן של סטרימינג דו-כיווני. אם הערך הוא true, הסוכן ידחה את העיבוד עד שהוא יקבל הודעה נוספת עם הערך will_continue שהוא false, או עד שהמערכת תזהה נקודת קצה בקלט האודיו. הערה: השדה הזה לא רלוונטי לקלט של אודיו ו-DTMF, כי הם תמיד מעובדים באופן אוטומטי על סמך אות סיום השיחה.
שדה איחוד input_type. סוג הקלט. הערך input_type יכול להיות רק אחד מהבאים:
text	string זה שינוי אופציונלי. נתוני טקסט ממשתמש הקצה.
dtmf	string זה שינוי אופציונלי. ספרות DTMF ממשתמש הקצה.
audio	string (bytes format) זה שינוי אופציונלי. נתוני אודיו ממשתמש הקצה. מחרוזת בקידוד Base64.
toolResponses	object (ToolResponses) זה שינוי אופציונלי. תוצאות ההרצה של קריאות הכלים מהלקוח.
image	object (Image) זה שינוי אופציונלי. נתוני תמונות ממשתמש הקצה.
blob	object (Blob) זה שינוי אופציונלי. נתוני Blob ממשתמש הקצה.
variables	object (Struct format) זה שינוי אופציונלי. משתנים לפי הקשר של הסשן, עם שם כמפתח. הסוכן CES ישתמש רק במשתנים שהוגדרו באפליקציה. משתנים לא מזוהים עדיין יישלחו אל [סוכן Dialogflow][Agent.RemoteDialogflowAgent] כפרמטרים נוספים של הסשן.
event	object (Event) זה שינוי אופציונלי. קלט האירוע.

ToolResponses

ייצוג ב-JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

שדות
toolResponses[]	object (ToolResponse) זה שינוי אופציונלי. רשימת תוצאות ההרצה של הכלי.

ToolResponse

ייצוג ב-JSON
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

שדות
id	string זה שינוי אופציונלי. מזהה התשובה התואם של tool call.
displayName	string פלט בלבד. השם המוצג של הכלי.
response	object (Struct format) חובה. תוצאת ההפעלה של הכלי בפורמט אובייקט JSON. משתמשים במפתח 'output' כדי לציין את התגובה של הכלי ובמפתח 'error' כדי לציין את פרטי השגיאה (אם יש). אם לא מציינים את המפתחות output ו-error, כל התגובה נחשבת לתוצאת ההפעלה של הכלי.
parentToolCallId	string פלט בלבד. המזהה של קריאת הכלי שגרמה לקריאה הזו, אם היא הופקה על ידי סוכן משנה שפועל בשם קריאת הורה. השדה ריק עבור שיחות ברמה העליונה. מאפשר ללקוח לקבץ את העבודה של סוכן משנה תחת השיחה שהתחילה אותה, במקום להציג כל שלב כפריט באותה רמה.
agentName	string פלט בלבד. השם של הסוכן שהנפיק את השיחה הזו, בפורמט שקריא לבני אדם, למשל Contract Architect. ריק אם הסוכן הראשי הנפיק אותו.
שדה איחוד tool_identifier. המזהה של הכלי שהופעל. יכול להיות שמדובר בכלי קבוע או בכלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool	string זה שינוי אופציונלי. שם הכלי להפעלה. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) זה שינוי אופציונלי. הכלי בערכת הכלים שהופעל.

ToolsetTool

ייצוג ב-JSON
{ "toolset": string, "toolId": string }

שדות
toolset	string חובה. שם המשאב של ערכת הכלים שממנה נגזר הכלי הזה. פורמט: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string זה שינוי אופציונלי. מזהה הכלי לסינון הכלים כדי לאחזר את הסכימה שלהם.

Struct

ייצוג ב-JSON
{ "fields": { string: value, ... } }

שדות
fields	map (key: string, value: value (Value format)) מפה לא מסודרת של ערכים עם הקלדה דינמית. אובייקט שמכיל רשימה של "key": value זוגות. לדוגמה: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

ייצוג ב-JSON
{ "key": string, "value": value }

שדות
key	string
value	value (Value format)

ערך

ייצוג ב-JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

שדות
שדה איחוד kind. סוג הערך. הערך kind יכול להיות רק אחד מהבאים:
nullValue	null מייצג JSON null.
numberValue	number מייצג מספר ב-JSON. הערך לא יכול להיות NaN, Infinity או -Infinity, כי אין תמיכה בערכים האלה ב-JSON. בנוסף, אי אפשר לייצג ערכי Int64 גדולים, כי פורמט JSON בדרך כלל לא תומך בהם בסוג המספר שלו.
stringValue	string מייצג מחרוזת JSON.
boolValue	boolean מייצג ערך בוליאני ב-JSON (הערכים true או false ב-JSON).
structValue	object (Struct format) מייצג אובייקט JSON.
listValue	array (ListValue format) מייצג מערך JSON.

ListValue

ייצוג ב-JSON
{ "values": [ value ] }

שדות
values[]	value (Value format) שדה חוזר של ערכים עם הקלדה דינמית.

תמונה

ייצוג ב-JSON
{ "mimeType": string, "data": string, "altText": string }

שדות
mimeType	string חובה. סוג ה-MIME התקני של IANA של נתוני המקור. סוגי התמונות הנתמכים כוללים: * image/png * image/jpeg * image/webp
data	string (bytes format) חובה. בייטים גולמיים של התמונה. מחרוזת בקידוד Base64.
altText	string זה שינוי אופציונלי. הטקסט החלופי של התמונה.

Blob

ייצוג ב-JSON
{ "mimeType": string, "data": string }

שדות
mimeType	string חובה. סוג ה-MIME התקני של IANA של נתוני המקור.
data	string (bytes format) חובה. בייטים גולמיים של ה-blob. מחרוזת בקידוד Base64.

אירוע

ייצוג ב-JSON
{ "event": string, "variables": { object } }

שדות
event	string חובה. שם האירוע.
variables	object (Struct format) זה שינוי אופציונלי. משתנים נוספים שמשויכים לאירוע.

AgentTransfer

ייצוג ב-JSON
{ "targetAgent": string, "displayName": string }

שדות
targetAgent	string חובה. הסוכן שאליו מועברת השיחה. הנציג יטפל בשיחה מכאן ואילך. פורמט: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string פלט בלבד. השם המוצג של הנציג.

GoldenExpectation

ייצוג ב-JSON

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

שדות
note	string זה שינוי אופציונלי. הערה לגבי הדרישה הזו, שימושית לדיווח כשבדיקות ספציפיות נכשלות. למשל, "Check_Payment_Tool_Called".
skipEvaluation	boolean זה שינוי אופציונלי. אם המאפיין מוגדר כ-true, הציפייה הספציפית הזו לא תוערך.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) זה שינוי אופציונלי. עוקף את המדדים ברמת השלב.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) זה שינוי אופציונלי. הגדרות ברירת מחדל שמשנות את מדדי הדמיון הסמנטי של agent_response.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) זה שינוי אופציונלי. שינויים במדדים של הזיות בתשובות של סוכנים.
comparisonType	enum (ComparisonType) זה שינוי אופציונלי. סוג ההשוואה שמשמש לבדיקת הציפייה.
שדה איחוד condition. הבדיקה בפועל שצריך לבצע. הערך condition יכול להיות רק אחד מהבאים:
toolCall	object (ToolCall) זה שינוי אופציונלי. בודקים אם בוצעה קריאה לכלי ספציפי עם הפרמטרים.
toolResponse	object (ToolResponse) זה שינוי אופציונלי. בודקים אם הכלי הספציפי הגיב בצורה הצפויה.
agentResponse	object (Message) זה שינוי אופציונלי. בודקים שהנציג הווירטואלי הגיב בתשובה הנכונה. התפקיד 'סוכן' מרומז.
agentTransfer	object (AgentTransfer) זה שינוי אופציונלי. בודקים שהנציג העביר את השיחה לנציג אחר.
updatedVariables	object (Struct format) זה שינוי אופציונלי. בודקים שהסוכן עדכן את משתני הסשן לערכים הצפויים. המשתנה הזה משמש גם לתיעוד של עדכוני משתנים של סוכנים לצורך הערכות מוזהבות.
mockToolResponse	object (ToolResponse) זה שינוי אופציונלי. התגובה של הכלי ל-mock, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM.
noToolCalls	boolean זה שינוי אופציונלי. בודקים שלא נעשה שימוש בכלים במהלך התור הזה.

ToolCall

ייצוג ב-JSON
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

שדות
id	string זה שינוי אופציונלי. המזהה הייחודי של קריאת הכלי. אם השדה מאוכלס, הלקוח צריך להחזיר את תוצאת ההפעלה עם המזהה התואם בשדה ToolResponse.
displayName	string פלט בלבד. השם המוצג של הכלי.
args	object (Struct format) זה שינוי אופציונלי. פרמטרי הקלט והערכים של הכלי בפורמט אובייקט JSON.
parentToolCallId	string פלט בלבד. המזהה של קריאת הכלי שגרמה לקריאה הזו, אם היא הופקה על ידי סוכן משנה שפועל בשם קריאת הורה. השדה ריק עבור שיחות ברמה העליונה. מאפשר ללקוח לקבץ את העבודה של סוכן משנה תחת השיחה שהתחילה אותה, במקום להציג כל שלב כפריט באותה רמה.
agentName	string פלט בלבד. השם של הסוכן שהנפיק את השיחה הזו, בפורמט שקריא לבני אדם, למשל Contract Architect. ריק אם הסוכן הראשי הנפיק אותו.
שדה איחוד tool_identifier. המזהה של הכלי שיש להפעיל. יכול להיות שמדובר בכלי קבוע או בכלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool	string זה שינוי אופציונלי. שם הכלי להפעלה. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) זה שינוי אופציונלי. הכלי להרצה מתוך ערכת הכלים.

הודעה

ייצוג ב-JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

שדות
role	string זה שינוי אופציונלי. התפקיד בשיחה, למשל: משתמש, נציג.
chunks[]	object (Chunk) זה שינוי אופציונלי. תוכן ההודעה כסדרה של נתחים.
eventTime	string (Timestamp format) זה שינוי אופציונלי. חותמת הזמן שבה ההודעה נשלחה או התקבלה. אסור להשתמש בתג הזה אם ההודעה היא חלק מexample. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

מקטע

ייצוג ב-JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

שדות
שדה איחוד data. מקטעים של נתונים. הערך data יכול להיות רק אחד מהבאים:
text	string זה שינוי אופציונלי. נתוני טקסט.
transcript	string זה שינוי אופציונלי. תמליל שמשויך לאודיו.
blob	object (Blob) זה שינוי אופציונלי. נתוני Blob.
payload	object (Struct format) זה שינוי אופציונלי. נתונים של מטען ייעודי בהתאמה אישית.
image	object (Image) זה שינוי אופציונלי. נתוני תמונה.
toolCall	object (ToolCall) זה שינוי אופציונלי. בקשה להרצת כלי.
toolResponse	object (ToolResponse) זה שינוי אופציונלי. תשובה להרצת הכלי.
agentTransfer	object (AgentTransfer) זה שינוי אופציונלי. אירוע של העברה לסוכן.
updatedVariables	object (Struct format) מבנה הנתונים מייצג משתנים שעודכנו בשיחה, עם שמות המשתנים כמפתחות.
defaultVariables	object (Struct format) מבנה נתונים מייצג משתני ברירת מחדל בתחילת השיחה, עם מפתחות לפי שמות המשתנים.

חותמת הזמן

ייצוג ב-JSON
{ "seconds": string, "nanos": integer }

שדות
seconds	string (int64 format) מייצג את השניות של זמן UTC מאז ראשית זמן יוניקס (Unix epoch) ‏1970-01-01T00:00:00Z. הערך צריך להיות בין ‎-62135596800 ל-253402300799 כולל (שמתאים לטווח 0001-01-01T00:00:00Z עד 9999-12-31T23:59:59Z).
nanos	integer שבריר לא שלילי של שנייה ברזולוציית ננו-שנייה. השדה הזה מייצג את החלק של הננו-שנייה במשך הזמן, ולא מהווה חלופה לשניות. ערכים שליליים של שניות עם שברים עדיין צריכים לכלול ערכים חיוביים של ננו-שניות שסופרים קדימה בזמן. הערך חייב להיות בין 0 ל-999,999,999, כולל.

ExpectationLevelMetricsThresholds

ייצוג ב-JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

שדות
שדה איחוד _tool_invocation_parameter_correctness_threshold. הערך _tool_invocation_parameter_correctness_threshold יכול להיות רק אחד מהבאים:
toolInvocationParameterCorrectnessThreshold	number זה שינוי אופציונלי. סף ההצלחה לפרמטרים של הפעלת כלי ספציפיים. הערך חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

SemanticSimilarityMetricsConfig

ייצוג ב-JSON
{ "enableSemanticSimilarityMetrics": boolean }

שדות
enableSemanticSimilarityMetrics	boolean זה שינוי אופציונלי. האם לחשב מדדים של דמיון סמנטי לצורך ההערכה.

HallucinationMetricsConfig

ייצוג ב-JSON
{ "enableHallucinationMetrics": boolean }

שדות
enableHallucinationMetrics	boolean זה שינוי אופציונלי. האם לחשב מדדים של הזיות לצורך ההערכה.

Span

ייצוג ב-JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

שדות
name	string פלט בלבד. שם הטווח.
startTime	string (Timestamp format) פלט בלבד. שעת ההתחלה של טווח הזמן. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) פלט בלבד. שעת הסיום של טווח הזמן. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
duration	string (Duration format) פלט בלבד. משך הזמן של הטווח. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
attributes	object (Struct format) פלט בלבד. מאפייני מפתח/ערך שמשויכים לטווח.
childSpans[]	object (Span) פלט בלבד. טווחים משניים שמוטמעים בטווח הזה.

משך

ייצוג ב-JSON
{ "seconds": string, "nanos": integer }

שדות
seconds	string (int64 format) מספר השניות עם סימן של טווח הזמן. הערך חייב להיות בין ‎-315,576,000,000 לבין ‎+315,576,000,000, כולל. הערה: הגבולות האלה מחושבים לפי: 60 שניות בדקה * 60 דקות בשעה * 24 שעות ביממה * 365.25 ימים בשנה * 10,000 שנים
nanos	integer שברים חתומים של שנייה ברזולוציית ננו-שנייה של טווח הזמן. משכי זמן של פחות משנייה אחת מיוצגים באמצעות שדה seconds עם הערך 0 ושדה nanos עם ערך חיובי או שלילי. למשכי זמן של שנייה אחת או יותר, הערך בשדה nanos צריך להיות שונה מאפס ובעל אותו סימן כמו הערך בשדה seconds. הערך צריך להיות בין ‎-999,999,999 לבין ‎+999,999,999, כולל.

TurnLevelMetricsThresholds

ייצוג ב-JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

שדות
semanticSimilarityChannel	enum (SemanticSimilarityChannel) זה שינוי אופציונלי. הערוץ של הדמיון הסמנטי שבו רוצים להשתמש לצורך הערכה.
שדה איחוד _semantic_similarity_success_threshold. הערך _semantic_similarity_success_threshold יכול להיות רק אחד מהבאים:
semanticSimilaritySuccessThreshold	integer זה שינוי אופציונלי. סף ההצלחה לדמיון סמנטי. הערך צריך להיות מספר שלם בין 0 ל-4. ברירת המחדל היא >= 3.
שדה איחוד _overall_tool_invocation_correctness_threshold. הערך _overall_tool_invocation_correctness_threshold יכול להיות רק אחד מהבאים:
overallToolInvocationCorrectnessThreshold	number זה שינוי אופציונלי. סף ההצלחה לדיוק הכולל של הפעלת הכלי. הערך חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

תרחיש

ייצוג ב-JSON
{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ], "scenarioExecutionMode": enum (ScenarioExecutionMode) }

שדות
task	string חובה. המשימה שמטרגטים בתרחיש.
userFacts[]	object (UserFact) זה שינוי אופציונלי. העובדות על המשתמש שישמשו בתרחיש.
maxTurns	integer זה שינוי אופציונלי. המספר המקסימלי של תורות לסימולציה. הערך המקסימלי המותר הוא 100. ערך ברירת המחדל הוא 100.
rubrics[]	string חובה. קריטריוני ההערכה שלפיהם יקבל התרחיש ציון.
scenarioExpectations[]	object (ScenarioExpectation) חובה. ה-ScenarioExpectations להערכת השיחה שנוצרה על ידי סימולציית המשתמש.
variableOverrides	object (Struct format) זה שינוי אופציונלי. משתנים / פרמטרים של סשן כהקשר לסשן, עם מפתח לפי שמות המשתנים. הערכים של המשתנים האלה יחליפו את ערכי ברירת המחדל שהוגדרו על ידי המערכת. הערה: אלה עובדות שונות מעובדות על המשתמש, שהן עובדות שהמשתמש מכיר. משתנים הם פרמטרים שהסוכן מכיר: כלומר, MDN (מספר טלפון) שמועבר על ידי מערכת הטלפוניה.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) הפריט הזה הוצא משימוש. זה שינוי אופציונלי. הוצאה משימוש, במקום זאת, צריך להשתמש במאפיין user_goal_behavior.
userGoalBehavior	enum (UserGoalBehavior) זה שינוי אופציונלי. ההתנהגות הצפויה של המשתמש ביחס ליעד.
evaluationExpectations[]	string זה שינוי אופציונלי. הציפיות להערכה שמשמשות להערכת השיחה שנוצרה על ידי הסימולציה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode	enum (ScenarioExecutionMode) זה שינוי אופציונלי. מצב ההפעלה של הערכות התרחישים.

UserFact

ייצוג ב-JSON
{ "name": string, "value": string }

שדות
name	string חובה. השם של עובדת המשתמש.
value	string חובה. הערך של נתון המשתמש.

ScenarioExpectation

ייצוג ב-JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

שדות
שדה איחוד expectation. הציפייה להערכת השיחה שנוצרה על ידי הסימולציה. הערך expectation יכול להיות רק אחד מהבאים:
toolExpectation	object (ToolExpectation) זה שינוי אופציונלי. הזוג של קריאה לכלי ותגובה שצריך להעריך.
agentResponse	object (Message) זה שינוי אופציונלי. התשובה של הסוכן שצריך להעריך.

ToolExpectation

ייצוג ב-JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

שדות
expectedToolCall	object (ToolCall) חובה. הקריאה הצפויה לכלי, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM.
mockToolResponse	object (ToolResponse) חובה. התגובה של הכלי ל-mock, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM.

AggregatedMetrics

ייצוג ב-JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

שדות
metricsByAppVersion[]	object (MetricsByAppVersion) פלט בלבד. מדדים מצטברים, שמקובצים לפי מזהה גרסת האפליקציה.

MetricsByAppVersion

ייצוג ב-JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

שדות
appVersionId	string פלט בלבד. מזהה גרסת האפליקציה.
toolMetrics[]	object (ToolMetrics) פלט בלבד. מדדים לכל כלי בגרסה הזו של האפליקציה.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) פלט בלבד. מדדים לדמיון סמנטי בגרסת האפליקציה הזו.
hallucinationMetrics[]	object (HallucinationMetrics) פלט בלבד. מדדים להזיות בגרסת האפליקציה הזו.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) פלט בלבד. מדדים של זמן האחזור של קריאות לכלי בגרסת האפליקציה הזו.
turnLatencyMetrics[]	object (TurnLatencyMetrics) פלט בלבד. מדדים של זמן התגובה בגרסת האפליקציה הזו.
passCount	integer פלט בלבד. מספר הפעמים שההערכה עברה.
failCount	integer פלט בלבד. מספר הפעמים שההערכה נכשלה.
metricsByTurn[]	object (MetricsByTurn) פלט בלבד. מדדים מצטברים לכל תור בגרסת האפליקציה הזו.

ToolMetrics

ייצוג ב-JSON
{ "tool": string, "passCount": integer, "failCount": integer }

שדות
tool	string פלט בלבד. שם הכלי.
passCount	integer פלט בלבד. מספר הפעמים שהכלי עבר.
failCount	integer פלט בלבד. מספר הפעמים שהכלי נכשל.

SemanticSimilarityMetrics

ייצוג ב-JSON
{ "score": number }

שדות
score	number פלט בלבד. הציון הממוצע של הדמיון הסמנטי (0-4).

HallucinationMetrics

ייצוג ב-JSON
{ "score": number }

שדות
score	number פלט בלבד. הציון הממוצע של הזיות (0 עד 1).

ToolCallLatencyMetrics

ייצוג ב-JSON
{ "tool": string, "averageLatency": string }

שדות
tool	string פלט בלבד. שם הכלי.
averageLatency	string (Duration format) פלט בלבד. החביון הממוצע של הפעלות הכלים. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

TurnLatencyMetrics

ייצוג ב-JSON
{ "averageLatency": string }

שדות
averageLatency	string (Duration format) פלט בלבד. זמן האחזור הממוצע של התורות. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

MetricsByTurn

ייצוג ב-JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

שדות
turnIndex	integer פלט בלבד. אינדקס הפנייה (מתחיל מ-0).
toolMetrics[]	object (ToolMetrics) פלט בלבד. מדדים לכל כלי בתור הזה.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) פלט בלבד. מדדים של דמיון סמנטי בתור הזה.
hallucinationMetrics[]	object (HallucinationMetrics) פלט בלבד. מדדים של הזיות בתור הזה.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) פלט בלבד. מדדים של זמן האחזור של קריאת הכלי בתור הזה.
turnLatencyMetrics[]	object (TurnLatencyMetrics) פלט בלבד. מדדים של זמן הטעינה של התור הזה.

EvaluationResult

ייצוג ב-JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

שדות
name	string מזהה. המזהה הייחודי של תוצאת הבדיקה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string חובה. השם המוצג של תוצאת ההערכה. ייחודי בתוך הערכה. כברירת מחדל, הפורמט הוא: result - ".
createTime	string (Timestamp format) פלט בלבד. חותמת הזמן שבה נוצרה תוצאת ההערכה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) פלט בלבד. התוצאה של הבדיקה. השדה הזה מאוכלס רק אם execution_state הוא COMPLETE.
evaluationRun	string פלט בלבד. הפעלת ההערכה שיצרה את התוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) פלט בלבד. הפרסונה ששימשה ליצירת השיחה לתוצאת ההערכה.
errorInfo	object (EvaluationErrorInfo) פלט בלבד. פרטי השגיאה של תוצאת ההערכה.
error (deprecated)	object (Status) הפריט הזה הוצא משימוש. פלט בלבד. הוצא משימוש: במקומו צריך להשתמש ב-error_info. שגיאות שאירעו במהלך הביצוע.
initiatedBy	string פלט בלבד. המשתמש שהפעיל את הרצת ההערכה שהניבה את התוצאה הזו.
appVersion	string פלט בלבד. גרסת האפליקציה ששימשה ליצירת השיחה שהובילה לתוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string פלט בלבד. השם המוצג של app_version שההערכה הופעלה לגביו.
changelog	string פלט בלבד. יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה.
changelogCreateTime	string (Timestamp format) פלט בלבד. זמן היצירה של יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) פלט בלבד. הסטטוס של הביצוע של תוצאת ההערכה.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) פלט בלבד. הסף להערכה של התוצאה.
config	object (EvaluationConfig) פלט בלבד. ההגדרה שבה נעשה שימוש בהרצת ההערכה שהניבה את התוצאה הזו.
goldenRunMethod	enum (GoldenRunMethod) פלט בלבד. השיטה שבה נעשה שימוש להפעלת הערכת הזהב.
rootSpan	object (Span) פלט בלבד. יחידה לוגית למעקב ברמת הבסיס של הרצת ההערכה, שכוללת מידע על כל שלב בהערכה.
outcomeMetadata	enum (OutcomeMetadata) פלט בלבד. מטא-נתונים של תוצאת הבדיקה. השדה הזה מאוכלס רק אם execution_state הוא COMPLETE.
שדה איחוד result. התוצאה של ההערכה. השדה הזה מאוכלס רק כשערך המשתנה execution_state הוא COMPLETED. הערך result יכול להיות רק אחד מהבאים:
goldenResult	object (GoldenResult) פלט בלבד. התוצאה של הערכת הזהב.
scenarioResult	object (ScenarioResult) פלט בלבד. התוצאה של הערכת תרחיש.

GoldenResult

ייצוג ב-JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

שדות
turnReplayResults[]	object (TurnReplayResult) פלט בלבד. התוצאה של הרצת כל תור בשיחה המוזהבת.
evaluationExpectationResults[]	object (EvaluationExpectationResult) פלט בלבד. התוצאות של ציפיות ההערכה.

TurnReplayResult

ייצוג ב-JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

שדות
conversation	string פלט בלבד. השיחה שנוצרה בתור הזה.
expectationOutcome[]	object (GoldenExpectationOutcome) פלט בלבד. התוצאה של כל ציפייה.
hallucinationResult	object (HallucinationResult) פלט בלבד. התוצאה של בדיקת ההזיות.
toolInvocationScore (deprecated)	number הפריט הזה הוצא משימוש. פלט בלבד. הוצאה משימוש, במקומו, צריך להשתמש ב-OverallToolInvocationResult.
turnLatency	string (Duration format) פלט בלבד. משך התור. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
toolCallLatencies[]	object (ToolCallLatency) פלט בלבד. זמן האחזור של כל קריאה לכלי בתור.
semanticSimilarityResult	object (SemanticSimilarityResult) פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
overallToolInvocationResult	object (OverallToolInvocationResult) פלט בלבד. התוצאה של הבדיקה הכוללת של הפעלת הכלי.
errorInfo	object (EvaluationErrorInfo) פלט בלבד. מידע על השגיאה שקרתה במהלך התור הזה.
spanLatencies[]	object (SpanLatency) פלט בלבד. זמן האחזור של הטווחים בפנייה.
שדה איחוד _tool_ordered_invocation_score. הערך _tool_ordered_invocation_score יכול להיות רק אחד מהבאים:
toolOrderedInvocationScore	number פלט בלבד. הציון הכולל של הפעלת הכלי בתור הזה. המדד הזה מציין את אחוז הכלים הכולל מהתור הצפוי שהופעלו בפועל בסדר הצפוי.

GoldenExpectationOutcome

ייצוג ב-JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

שדות
expectation	object (GoldenExpectation) פלט בלבד. הציפייה שנבדקה.
outcome	enum (Outcome) פלט בלבד. התוצאה של הציפייה.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) הפריט הזה הוצא משימוש. פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
toolInvocationResult	object (ToolInvocationResult) פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי.
שדה איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall	object (ToolCall) פלט בלבד. התוצאה של הציפייה לקריאה לכלי.
observedToolResponse	object (ToolResponse) פלט בלבד. התוצאה של הציפייה לתגובה מהכלי.
observedAgentResponse	object (Message) פלט בלבד. התוצאה של הציפייה לתשובה מהסוכן.
observedAgentTransfer	object (AgentTransfer) פלט בלבד. התוצאה של הציפייה להעברה לנציג.
observedPayload	object (Struct format) פלט בלבד. מטען ייעודי (payload) בהתאמה אישית שנצפה. אין ציפיות לגבי מטען ייעודי (payload) בהתאמה אישית. הערך הזה משמש רק לחישוב מדדים. התוצאה תמיד תהיה SKIPPED.

SemanticSimilarityResult

ייצוג ב-JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 4: עקביות מלאה ציון 3: עקביות ברוב המקרים ציון 2: עקביות חלקית (השמטות קלות) ציון 1: חוסר עקביות ברוב המקרים (השמטות משמעותיות) ציון 0: חוסר עקביות מוחלט / סתירה
explanation	string פלט בלבד. ההסבר לציון הדמיון הסמנטי.
outcome	enum (Outcome) פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי. ההחלטה מתקבלת על סמך השוואה בין הציון לבין semantic_similarity_success_threshold. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.
שדה איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. ציון הדמיון הסמנטי. יכול להיות 0, 1, 2, 3 או 4.

ToolInvocationResult

ייצוג ב-JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

שדות
outcome	enum (Outcome) פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. ההחלטה מתקבלת על סמך השוואה בין הציון parameter_correctness_score לבין ערך הסף. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.
explanation	string פלט בלבד. הסבר בטקסט חופשי על התוצאה של הפעלת הכלי.
שדה איחוד _parameter_correctness_score. הערך _parameter_correctness_score יכול להיות רק אחד מהבאים:
parameterCorrectnessScore	number פלט בלבד. ציון הנכונות של פרמטר ההפעלה של הכלי. הערך הזה מציין את אחוז הפרמטרים מהקריאה הצפויה לכלי שהיו גם בקריאה בפועל לכלי.

HallucinationResult

ייצוג ב-JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: מוצדק ציון 0: לא מוצדק ציון ‎-1: אין טענה להערכה
explanation	string פלט בלבד. ההסבר לציון ההזיה.
שדה איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. ציון ההזיות. יכול להיות -1,‏ 0 או 1.

ToolCallLatency

ייצוג ב-JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

שדות
tool	string פלט בלבד. שם הכלי שהופעל. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
displayName	string פלט בלבד. השם המוצג של הכלי.
startTime	string (Timestamp format) פלט בלבד. שעת ההתחלה של ההרצה של קריאת הכלי. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) פלט בלבד. שעת הסיום של ההרצה של קריאת הכלי. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) פלט בלבד. זמן האחזור של הפעלת הכלי. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

OverallToolInvocationResult

ייצוג ב-JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

שדות
outcome	enum (Outcome) פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. הערך הזה נקבע על ידי השוואה בין tool_invocation_score לבין overall_tool_invocation_correctness_threshold. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.
שדה איחוד _tool_invocation_score. הערך _tool_invocation_score יכול להיות רק אחד מהבאים:
toolInvocationScore	number הציון הכולל של הפעלת הכלי בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים מהתור הצפוי שהופעלו בפועל.

EvaluationErrorInfo

ייצוג ב-JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

שדות
errorType	enum (ErrorType) פלט בלבד. סוג השגיאה.
errorMessage	string פלט בלבד. הודעת השגיאה.
sessionId	string פלט בלבד. מזהה הסשן של השיחה שגרמה לשגיאה.
userFacingErrorMessage	string פלט בלבד. הודעת השגיאה שמוצגת למשתמש.

SpanLatency

ייצוג ב-JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

שדות
type	enum (Type) פלט בלבד. סוג הטווח.
displayName	string פלט בלבד. השם המוצג של הטווח. ההגדרה הזו רלוונטית לטווחים של כלים ואמצעי הגנה.
startTime	string (Timestamp format) פלט בלבד. שעת ההתחלה של הטווח. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) פלט בלבד. שעת הסיום של טווח הזמן. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) פלט בלבד. זמן האחזור של הטווח. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
שדה איחוד identifier. המזהה של הפריט הספציפי על סמך הסוג שלו. הערך identifier יכול להיות רק אחד מהבאים:
resource	string פלט בלבד. שם המשאב של אמצעי הבקרה או של הכלים.
toolset	object (ToolsetTool) פלט בלבד. מזהה הכלי בערכת הכלים.
model	string פלט בלבד. השם של טווח ה-LLM.
callback	string פלט בלבד. השם של טווח הקריאה החוזרת של המשתמש.

EvaluationExpectationResult

ייצוג ב-JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

שדות
evaluationExpectation	string פלט בלבד. הציפייה מההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string פלט בלבד. ההנחיה ששימשה להערכה.
outcome	enum (Outcome) פלט בלבד. התוצאה של ציפיית ההערכה.
explanation	string פלט בלבד. ההסבר לתוצאה.

ScenarioResult

ייצוג ב-JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

שדות
conversation	string פלט בלבד. השיחה שנוצרה בתרחיש.
task	string פלט בלבד. המשימה ששימשה להרצת התרחיש עבור התוצאה הזו.
userFacts[]	object (UserFact) פלט בלבד. העובדות על המשתמש ששימשו את התרחיש לחישוב התוצאה הזו.
expectationOutcomes[]	object (ScenarioExpectationOutcome) פלט בלבד. התוצאה של כל ציפייה.
rubricOutcomes[]	object (ScenarioRubricOutcome) פלט בלבד. התוצאה של הקריטריונים להערכה.
hallucinationResult[]	object (HallucinationResult) פלט בלבד. התוצאה של בדיקת ההזיות. תהיה תוצאת הזיה אחת לכל תור בשיחה.
taskCompletionResult (deprecated)	object (TaskCompletionResult) הפריט הזה הוצא משימוש. פלט בלבד. התוצאה של בדיקת השלמת המשימה.
toolCallLatencies[]	object (ToolCallLatency) פלט בלבד. ההשהיה של כל הפעלה של קריאה לכלי בשיחה.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) פלט בלבד. התוצאה של בדיקת שביעות הרצון של המשתמש מהיעד.
spanLatencies[]	object (SpanLatency) פלט בלבד. ההשהיה של טווחי הזמן בשיחה.
evaluationExpectationResults[]	object (EvaluationExpectationResult) פלט בלבד. התוצאות של ציפיות ההערכה.
שדה איחוד _all_expectations_satisfied. הערך _all_expectations_satisfied יכול להיות רק אחד מהבאים:
allExpectationsSatisfied	boolean פלט בלבד. אם כל הציפיות התממשו בתור הזה.
שדה איחוד _task_completed. הערך _task_completed יכול להיות רק אחד מהבאים:
taskCompleted	boolean פלט בלבד. האם המשימה הושלמה בתור הזה. התשובה הזו היא שילוב של כל הציפיות שהתממשו, ללא הזיות, ושל שביעות רצון המשתמש מהשגת היעד.

ScenarioExpectationOutcome

ייצוג ב-JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

שדות
expectation	object (ScenarioExpectation) פלט בלבד. הציפייה שנבדקה.
outcome	enum (Outcome) פלט בלבד. התוצאה של ScenarioExpectation.
שדה איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall	object (ObservedToolCall) פלט בלבד. הקריאה לכלי שנצפתה.
observedAgentResponse	object (Message) פלט בלבד. התשובה שנצפתה מהסוכן.

ObservedToolCall

ייצוג ב-JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

שדות
toolCall	object (ToolCall) פלט בלבד. הקריאה לכלי שנצפתה.
toolResponse	object (ToolResponse) פלט בלבד. התשובה שנצפתה מהכלי.

ScenarioRubricOutcome

ייצוג ב-JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

שדות
rubric	string פלט בלבד. קריטריון ההערכה ששימש להערכת השיחה.
scoreExplanation	string פלט בלבד. התשובה של המעריך לקריטריון ההערכה.
שדה איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	number פלט בלבד. הציון של השיחה בהשוואה לקריטריון ההערכה.

TaskCompletionResult

ייצוג ב-JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: המשימה הושלמה. ציון 0: המשימה לא הושלמה. ציון ‎-1: היעד של המשתמש לא הוגדר.
explanation	string פלט בלבד. ההסבר לציון שניתן על השלמת המשימה.
שדה איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. הציון על השלמת המשימה. יכול להיות -1,‏ 0 או 1

UserGoalSatisfactionResult

ייצוג ב-JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 2: ציון העברה חלקה ציון 1: ציון שביעות רצון של המשתמש מהמשימה ציון 0: ציון אי שביעות רצון של המשתמש מהמשימה ציון ‎-1: ציון לא מוגדר של שביעות רצון של המשתמש מהמשימה
explanation	string פלט בלבד. ההסבר לציון שביעות הרצון מהמשימה של המשתמש.
שדה איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. ציון שביעות הרצון של המשתמש מהמשימה. יכול להיות -1, 0, 1, 2.

EvaluationPersona

ייצוג ב-JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

שדות
name	string חובה. המזהה הייחודי של האישיות. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string זה שינוי אופציונלי. תיאור הפרסונה.
displayName	string חובה. השם המוצג של האישיות. ייחודי בתוך אפליקציה.
personality	string חובה. הוראה לסוכן לגבי אופן ההתנהגות בתהליך ההערכה.
speechConfig	object (SpeechConfig) זה שינוי אופציונלי. הגדרות של איך האישיות נשמעת (הגדרות TTS).

SpeechConfig

ייצוג ב-JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

שדות
speakingRate	number זה שינוי אופציונלי. קצב הדיבור. ‫1.0 הוא ערך רגיל. ערך נמוך יותר מייצג קצב איטי יותר (למשל, 0.8), וערך גבוה יותר מייצג קצב מהיר יותר (למשל, 1.5). שימושי לבדיקה של אופן הטיפול של הסוכן בשיחות עם אנשים שמדברים מהר.
environment	enum (BackgroundEnvironment) זה שינוי אופציונלי. סביבת האודיו המדומה.
voiceId	string זה שינוי אופציונלי. המזהה הספציפי של הקול או המבטא שרוצים להשתמש בהם. דוגמה: en-US-Wavenet-D או en-GB-Standard-A

סטטוס

ייצוג ב-JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

שדות
code	integer קוד הסטטוס, שצריך להיות ערך enum של google.rpc.Code.
message	string הודעת שגיאה שמוצגת למפתח, שצריכה להיות באנגלית. כל הודעת שגיאה שמוצגת למשתמש צריכה להיות מותאמת לשפה המקומית ולהישלח בשדה google.rpc.Status.details, או להיות מותאמת לשפה המקומית על ידי הלקוח.
details[]	object רשימה של הודעות שכוללות את פרטי השגיאה. יש קבוצה משותפת של סוגי הודעות לשימוש בממשקי API. אובייקט שמכיל שדות מסוג שרירותי. שדה נוסף "@type" מכיל URI שמזהה את הסוג. לדוגמה: { "id": 1234, "@type": "types.example.com/standard/id" }.

הכול

ייצוג ב-JSON
{ "typeUrl": string, "value": string }

שדות
typeUrl	string מזהה את הסוג של הודעת Protobuf שעברה סריאליזציה באמצעות הפניה ל-URI שכוללת קידומת שמסתיימת בקו נטוי ואת שם הסוג שמוגדר במלואו. דוגמה: type.googleapis.com/google.protobuf.StringValue המחרוזת הזו צריכה להכיל לפחות תו אחד של /, והתוכן אחרי ה-/ האחרון צריך להיות השם המלא של הסוג בפורמט קנוני, ללא נקודה מובילה. אל תכתבו סכימה בהפניות ל-URI האלה כדי שהלקוחות לא ינסו ליצור איתם קשר. הקידומת היא שרירותית, וההטמעות של Protobuf אמורות פשוט להסיר את כל מה שמופיע עד הסימן / האחרון, כולל הסימן עצמו, כדי לזהות את הסוג. ‫type.googleapis.com/ היא תחילית ברירת מחדל נפוצה שנדרשת בחלק מההטמעות מדור קודם. הקידומת הזו לא מציינת את המקור של הסוג, ולא צפוי שמזהי URI שמכילים אותה יגיבו לבקשות כלשהן. כל מחרוזות כתובות ה-URL של הסוג חייבות להיות הפניות URI חוקיות, עם הגבלה נוספת (בפורמט הטקסט) שלפיה התוכן של ההפניה חייב לכלול רק תווים אלפאנומריים, תווים מוברחים בקידוד אחוזים ותווים בערכה הבאה (לא כולל הגרשיים החיצוניים): /-.~_!$&()*+,;=. למרות שאנחנו מאפשרים קידודים באחוזים, בהטמעות לא צריך לבטל את הקידוד שלהם כדי למנוע בלבול עם מנתחים קיימים. לדוגמה, בקשה עם הערך type.googleapis.com%2FFoo צריכה להידחות. בתכנון המקורי של Any נשקלה האפשרות להפעיל שירות לפתרון סוגים בכתובות ה-URL האלה של הסוגים, אבל ב-Protobuf אף פעם לא בוצעה הטמעה של שירות כזה, והפנייה לכתובות ה-URL האלה נחשבת לבעייתית ועלולה לגרום לבעיות אבטחה. אל תנסו ליצור קשר עם כתובות URL מהסוג הזה.
value	string (bytes format) מכיל סריאליזציה של Protobuf של הסוג שמתואר על ידי type_url. מחרוזת בקידוד Base64.

EvaluationMetricsThresholds

ייצוג ב-JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

שדות
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) זה שינוי אופציונלי. ערכי הסף של מדדי ההערכה המושלמים.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) הפריט הזה הוצא משימוש. זה שינוי אופציונלי. הוצא משימוש: במקומו צריך להשתמש ב-golden_hallucination_metric_behavior. ההתנהגות של מדד ההזיות משמשת כרגע להערכות מוזהבות.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות מוזהבות.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות של תרחישים.

GoldenEvaluationMetricsThresholds

ייצוג ב-JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

שדות
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) זה שינוי אופציונלי. ערכי הסף של המדדים ברמת התור.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) זה שינוי אופציונלי. ערכי הסף של מדדי רמת הציפייה.
toolMatchingSettings	object (ToolMatchingSettings) זה שינוי אופציונלי. הגדרות ההתאמה של הכלי. קריאה נוספת לכלי היא קריאה לכלי שקיימת בהרצה אבל לא תואמת לאף קריאה לכלי בציפייה המוזהבת.

ToolMatchingSettings

ייצוג ב-JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

שדות
extraToolCallBehavior	enum (ExtraToolCallBehavior) זה שינוי אופציונלי. התנהגות של קריאות נוספות לכלים. ברירת המחדל היא FAIL.

EvaluationConfig

ייצוג ב-JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

שדות
inputAudioConfig	object (InputAudioConfig) זה שינוי אופציונלי. הגדרות לעיבוד האודיו שמתקבל.
outputAudioConfig	object (OutputAudioConfig) זה שינוי אופציונלי. הגדרות ליצירת פלט האודיו.
evaluationChannel	enum (EvaluationChannel) זה שינוי אופציונלי. הערוץ שרוצים לבדוק.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) זה שינוי אופציונלי. מציין אם ההערכה צריכה להשתמש בקריאות אמיתיות לכלים או בכלים מזויפים.

InputAudioConfig

ייצוג ב-JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

שדות
audioEncoding	enum (AudioEncoding) חובה. הקידוד של נתוני האודיו של הקלט.
sampleRateHertz	integer חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הקלט.
noiseSuppressionLevel	string זה שינוי אופציונלי. האם להפעיל סינון רעשים באודיו של הקלט. הערכים האפשריים הם low,‏ moderate,‏ high,‏ very_high.

OutputAudioConfig

ייצוג ב-JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

שדות
audioEncoding	enum (AudioEncoding) חובה. הקידוד של נתוני האודיו של הפלט.
sampleRateHertz	integer חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הפלט.

EvaluationMetricsConfig

ייצוג ב-JSON
{ "goldenMetricsConfig": { object (GoldenMetricsConfig) }, "scenarioMetricsConfig": { object (ScenarioMetricsConfig) } }

שדות
goldenMetricsConfig	object (GoldenMetricsConfig) זה שינוי אופציונלי. הגדרות של מדדי הזהב לצורך ההערכה.
scenarioMetricsConfig	object (ScenarioMetricsConfig) זה שינוי אופציונלי. הגדרות למדדים של התרחיש לצורך ההערכה.

GoldenMetricsConfig

ייצוג ב-JSON
{ "semanticSimilarityMetricsConfig": { object (SemanticSimilarityMetricsConfig) }, "toolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) }, "stepToolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) } }

שדות
semanticSimilarityMetricsConfig	object (SemanticSimilarityMetricsConfig) זה שינוי אופציונלי. הגדרה גלובלית של מדדים של דמיון סמנטי.
toolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) זה שינוי אופציונלי. הגדרות למדדי דיוק של כלי ברמת התור.
stepToolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) זה שינוי אופציונלי. הגדרות למדדי דיוק של כלי ברמת השלב.

ToolCorrectnessMetricsConfig

ייצוג ב-JSON
{ "enableToolCorrectnessMetrics": boolean }

שדות
enableToolCorrectnessMetrics	boolean זה שינוי אופציונלי. האם לחשב מדדי נכונות של הכלי לצורך ההערכה.

ScenarioMetricsConfig

ייצוג ב-JSON
{ "userGoalMetMetricsConfig": { object (UserGoalMetMetricsConfig) }, "expectationsMetMetricsConfig": { object (ExpectationsMetMetricsConfig) } }

שדות
userGoalMetMetricsConfig	object (UserGoalMetMetricsConfig) זה שינוי אופציונלי. הגדרות למדדים של השלמת יעדים עסקיים של משתמשים.
expectationsMetMetricsConfig	object (ExpectationsMetMetricsConfig) זה שינוי אופציונלי. הגדרות למדדים של רמת הציפיות.

UserGoalMetMetricsConfig

ייצוג ב-JSON
{ "enableUserGoalMetMetrics": boolean }

שדות
enableUserGoalMetMetrics	boolean זה שינוי אופציונלי. האם לחשב את מדדי השגת היעד של המשתמש לצורך ההערכה.

ExpectationsMetMetricsConfig

ייצוג ב-JSON
{ "enableExpectationsMetMetrics": boolean }

שדות
enableExpectationsMetMetrics	boolean זה שינוי אופציונלי. האם לחשב את מדדי רמת הציפיות להערכה.

NullValue

מייצג JSON null.

‫NullValue הוא ערך שמירה, שמשתמש בסוג enum עם ערך אחד בלבד כדי לייצג את ערך ה-null עבור איחוד הסוגים Value.

שדה מסוג NullValue עם ערך כלשהו שאינו 0 נחשב לא תקין. רוב הסריאליזטורים של ProtoJSON יפלטו Value עם null_value שמוגדר כ-JSON null בלי קשר לערך המספרי, ולכן יבצעו המרה הלוך ושוב לערך 0.

טיפוסים בני מנייה (enum)
NULL_VALUE	ערך null.

ComparisonType

סוגי השוואות נתמכים לבדיקת התשובה של הסוכן.

טיפוסים בני מנייה (enum)
COMPARISON_TYPE_UNSPECIFIED	סוג ההשוואה לא צוין. ההתנהגות מוגדרת כברירת מחדל ל-SEMANTIC_SIMILARITY לתגובות של סוכנים ולקריאות כלים.
EQUALS	התאמה מדויקת של מחרוזת.
CONTAINS	התאמה של מחרוזת משנה (בדיקה אם המחרוזת הצפויה כלולה בתשובה בפועל).
SEMANTIC_SIMILARITY	התאמה של דמיון סמנטי (הערכת דמיון המשמעות באמצעות LLM).

SemanticSimilarityChannel

הערוץ שבו רוצים להשתמש כדי למצוא דמיון סמנטי.

טיפוסים בני מנייה (enum)
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	לא צוין מדד. ברירת המחדל היא TEXT.
TEXT	שימוש בדמיון סמנטי בין טקסטים.
AUDIO	שימוש בדמיון סמנטי של אודיו.

HallucinationMetricBehavior

ההתנהגות של מדד ההזיות. ללא קשר להתנהגות, המדד תמיד יחושב. ההבדל הוא שכשהמדד מושבת, הוא לא משמש לחישוב ציון ההערכה הכולל.

טיפוסים בני מנייה (enum)
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	התנהגות לא מוגדרת של מדד הזיות.
DISABLED	השבתת מדד ההזיות.
ENABLED	הפעלת מדד ההזיות.

TaskCompletionBehavior

ההתנהגות הצפויה של משימת המשתמש. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED	התנהגות לא מוגדרת. ברירת המחדל היא TASK_SATISFIED.
TASK_SATISFIED	משימת המשתמש צריכה להסתיים בהצלחה.
TASK_REJECTED	צריך לדחות את משימת המשתמש.

UserGoalBehavior

ההתנהגות הצפויה של המשתמש ביחס ליעד. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
USER_GOAL_BEHAVIOR_UNSPECIFIED	התנהגות לא מוגדרת. ערך ברירת המחדל הוא USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED	היעד של המשתמש צריך להיות השלמה מוצלחת.
USER_GOAL_REJECTED	צריך לדחות את היעד של המשתמש.
USER_GOAL_IGNORED	התעלמות מהסטטוס של יעד המשתמש.

ScenarioExecutionMode

מצב ההפעלה של הערכות התרחישים.

טיפוסים בני מנייה (enum)
SCENARIO_EXECUTION_MODE_UNSPECIFIED	מצב ההרצה לא צוין. ברירת המחדל היא QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED	מצב אופטימיזציה של האיכות.
SPEED_OPTIMIZED	מצב אופטימיזציה למהירות.

תוצאת הסריקה

התוצאה של ההערכה או הציפייה.

טיפוסים בני מנייה (enum)
OUTCOME_UNSPECIFIED	לא צוינה תוצאת ההערכה.
PASS	ההערכה או הציפייה עברו. במקרה של הערכה, המשמעות היא שכל הציפיות התממשו.
FAIL	ההערכה או הציפייה נכשלו. במקרה של הערכה, המשמעות היא שלפחות אחת מהציפיות לא התקיימה.
SKIPPED	ההערכה או הציפייה דולגו.

ErrorType

סוג השגיאה

טיפוסים בני מנייה (enum)
ERROR_TYPE_UNSPECIFIED	סוג שגיאה לא מזוהה.
RUNTIME_FAILURE	ההרצה נכשלה במהלך זמן הריצה.
CONVERSATION_RETRIEVAL_FAILURE	הייתה בעיה והשיחה לא אוחזרה מ-CES Runtime.
METRIC_CALCULATION_FAILURE	לא הצליח לחשב מדד או תוצאה.
EVALUATION_UPDATE_FAILURE	העדכון של ההערכה נכשל.
QUOTA_EXHAUSTED	הגעתם למכסה.
USER_SIMULATION_FAILURE	כשל במהלך סימולציית משתמש.

סוג

סוג הטווח. יכול להיות שבעתיד נוסיף עוד ערכים.

טיפוסים בני מנייה (enum)
TYPE_UNSPECIFIED	ערך ברירת המחדל. הערך הזה לא בשימוש.
TOOL	טווח של קריאה לכלי.
USER_CALLBACK	טווח הזמן של בקשת השיחה מהמשתמש.
GUARDRAIL	טווח שכבת ההגנה.
LLM	טווח LLM.

BackgroundEnvironment

סביבת אודיו מדומה.

טיפוסים בני מנייה (enum)
BACKGROUND_ENVIRONMENT_UNSPECIFIED	לא צוינה סביבת רקע.
CALL_CENTER	סביבת מוקד טלפוני.
TRAFFIC	סביבה עם רעשי תנועה.
KIDS_NOISE	סביבה רועשת של ילדים.
CAFE	סביבת בית קפה.

ExecutionState

הסטטוס של הביצוע של תוצאת ההערכה.

טיפוסים בני מנייה (enum)
EXECUTION_STATE_UNSPECIFIED	לא צוין מצב הביצוע של תוצאת ההערכה.
QUEUED	ההפעלה של תוצאת ההערכה ממתינה בתור.
RUNNING	ההרצה של תוצאת ההערכה מתבצעת.
COMPLETED	ההרצה של תוצאת ההערכה הסתיימה.
ERROR	הביצוע של תוצאת ההערכה נכשל בגלל שגיאה פנימית.
CANCELLED	ההרצה של תוצאת ההערכה בוטלה.

ExtraToolCallBehavior

הגדרת ההתנהגות כשנתקלים בקריאה נוספת לכלי. קריאה נוספת לכלי היא קריאה לכלי שקיימת בהרצה אבל לא תואמת לאף קריאה לכלי בציפייה המוזהבת.

טיפוסים בני מנייה (enum)
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	התנהגות לא מוגדרת. ברירת המחדל היא FAIL.
FAIL	הבדיקה תיכשל אם תזוהה קריאה נוספת לכלי.
ALLOW	מאשרים את השימוש בכלי הנוסף.

AudioEncoding

התג AudioEncoding מציין את פורמט הקידוד של נתוני האודיו.

טיפוסים בני מנייה (enum)
AUDIO_ENCODING_UNSPECIFIED	קידוד אודיו שלא צוין.
LINEAR16	קידוד אודיו PCM ליניארי של 16 ביט.
MULAW	דגימות של 8 ביט שמרחיבות דגימות של אודיו של 14 ביט באמצעות G.711 PCMU/mu-law.
ALAW	דגימות של 8 ביט שמרחיבות דגימות אודיו של 14 ביט באמצעות G.711 PCMU/A-law.

EvaluationChannel

הערוץ שרוצים לבדוק.

טיפוסים בני מנייה (enum)
EVALUATION_CHANNEL_UNSPECIFIED	ערוץ הערכה לא צוין.
TEXT	ערוץ הערכה עם טקסט בלבד.
AUDIO	ערוץ להערכת אודיו.

EvaluationToolCallBehaviour

הגדרת אופן הפעולה של קריאות לכלי בהרצות של הערכה.

טיפוסים בני מנייה (enum)
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	התנהגות לא מוגדרת של קריאה לכלי. ברירת המחדל תהיה הפעלת כלים אמיתיים.
REAL	להשתמש בקריאות אמיתיות לכלים.
FAKE	שימוש בקריאות מזויפות לכלים.

GoldenRunMethod

השיטה שבה נעשה שימוש להרצת ההערכה.

טיפוסים בני מנייה (enum)
GOLDEN_RUN_METHOD_UNSPECIFIED	לא צוינה שיטת הפעלה.
STABLE	מריצים את ההערכה כהפעלה חוזרת יציבה, שבה כל תור הוא סשן ייחודי עם התורים הקודמים הצפויים שמוזרקים כהקשר.
NAIVE	מריצים את ההערכה כהפעלה חוזרת פשוטה, שבה ההפעלה היא סשן יחיד ללא הקשר מוזרק.

OutcomeMetadata

נתוני מטא-נתונים על תוצאות ההערכה.

טיפוסים בני מנייה (enum)
OUTCOME_METADATA_UNSPECIFIED	מטא-נתונים לא מוגדרים של תוצאה.
GRACEFUL_HANDOFF	ההערכה הובילה להעברה חלקה לנציג אנושי.

סכימת הפלט

הערכה מייצגת את כל המידע שנדרש כדי לדמות סוכן ולהעריך אותו.

הערכה

ייצוג ב-JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], "evaluationMetricsThresholdOverride": { object (EvaluationMetricsThresholds) }, "evaluationMetricsConfigOverride": { object (EvaluationMetricsConfig) }, // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

שדות
name	string מזהה. המזהה הייחודי של ההערכה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string חובה. השם המוצג של ההערכה שהוגדר על ידי המשתמש. ייחודי באפליקציה.
description	string זה שינוי אופציונלי. תיאור של ההערכה שהמשתמשים מגדירים.
tags[]	string זה שינוי אופציונלי. תגים שהוגדרו על ידי המשתמש לסיווג הבדיקה.
evaluationDatasets[]	string פלט בלבד. רשימה של מערכי נתונים להערכה שההערכה שייכת להם. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) פלט בלבד. חותמת הזמן שבה נוצרה ההערכה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
createdBy	string פלט בלבד. המשתמש שיצר את ההערכה.
updateTime	string (Timestamp format) פלט בלבד. חותמת זמן של מועד העדכון האחרון של ההערכה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string פלט בלבד. המשתמש שעדכן לאחרונה את ההערכה.
evaluationRuns[]	string פלט בלבד. הערכים של EvaluationRuns שההערכה הזו משויכת אליהם.
etag	string פלט בלבד. תג Etag שמשמש כדי לוודא שהאובייקט לא השתנה במהלך פעולת קריאה-שינוי-כתיבה. אם ה-etag ריק, העדכון יחליף את כל השינויים המקבילים.
aggregatedMetrics	object (AggregatedMetrics) פלט בלבד. המדדים המצטברים של ההערכה הזו בכל ההרצות.
lastCompletedResult	object (EvaluationResult) פלט בלבד. תוצאת ההערכה האחרונה של ההערכה הזו.
invalid	boolean פלט בלבד. האם ההערכה לא תקינה. מצב כזה יכול לקרות אם ההערכה מתייחסת לכלי, לערכת כלים או לסוכן שנמחקו מאז.
lastTenResults[]	object (EvaluationResult) פלט בלבד. 10 התוצאות האחרונות של ההערכה הזו. השדה הזה מאוכלס רק אם הערך של include_last_ten_results מוגדר כ-True ב-ListEvaluationsRequest או ב-GetEvaluationRequest.
evaluationMetricsThresholdOverride	object (EvaluationMetricsThresholds) זה שינוי אופציונלי. ביטול של ספי מדדים להערכה הספציפית הזו.
evaluationMetricsConfigOverride	object (EvaluationMetricsConfig) זה שינוי אופציונלי. ההגדרה הזו מבטלת את הגדרות המדדים להערכה הספציפית הזו.
שדה איחוד inputs. הקלט להערכה inputs יכול להיות רק אחד מהבאים:
golden	object (Golden) זה שינוי אופציונלי. השלבים העיקריים שצריך לבדוק.
scenario	object (Scenario) זה שינוי אופציונלי. ההגדרה של תרחיש.

Golden

ייצוג ב-JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

שדות
turns[]	object (GoldenTurn) חובה. מספר התורות הנדרש כדי להפעיל מחדש שיחה מושלמת. המספר המקסימלי של תורות שמותרות הוא 100.
evaluationExpectations[]	string זה שינוי אופציונלי. הציפיות להערכה של השיחה שהופעלה מחדש. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

ייצוג ב-JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) }, "turnLevelMetricsThresholdsOverride": { object (TurnLevelMetricsThresholds) }, "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior) }

שדות
steps[]	object (Step) חובה. השלבים שנדרשים כדי להפעיל מחדש שיחה לדוגמה.
rootSpan	object (Span) זה שינוי אופציונלי. הטווח הבסיסי של התור הזה לעיבוד ולתחזוקה של נתוני אודיו. ה-URI של האודיו חייב להכיל אודיו שנשמר בתדירות דגימה של 16KHz.
turnLevelMetricsThresholdsOverride	object (TurnLevelMetricsThresholds) זה שינוי אופציונלי. הגדרות שמשנות את ערכי הסף של המדדים ברמת התור.
hallucinationMetricBehaviorOverride	enum (HallucinationMetricBehavior) זה שינוי אופציונלי. שינוי ברירת המחדל של התנהגות מדד ההזיות ברמת התור.

שלב

ייצוג ב-JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

שדות
שדה איחוד step. השלב לביצוע. הערך step יכול להיות רק אחד מהבאים:
userInput	object (SessionInput) זה שינוי אופציונלי. קלט של משתמשים לגבי השיחה.
agentTransfer	object (AgentTransfer) זה שינוי אופציונלי. להעביר את השיחה לנציג אחר.
expectation	object (GoldenExpectation) זה שינוי אופציונלי. מריץ ציפייה בתור הנוכחי.

SessionInput

ייצוג ב-JSON
{ "willContinue": boolean, // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

שדות
willContinue	boolean זה שינוי אופציונלי. סימון שמציין אם ההודעה הנוכחית היא קטע מקלט גדול יותר בסשן של סטרימינג דו-כיווני. אם הערך הוא true, הסוכן ידחה את העיבוד עד שהוא יקבל הודעה נוספת עם הערך will_continue שהוא false, או עד שהמערכת תזהה נקודת קצה בקלט האודיו. הערה: השדה הזה לא רלוונטי לקלט של אודיו ו-DTMF, כי הם תמיד מעובדים באופן אוטומטי על סמך אות סיום השיחה.
שדה איחוד input_type. סוג הקלט. הערך input_type יכול להיות רק אחד מהבאים:
text	string זה שינוי אופציונלי. נתוני טקסט ממשתמש הקצה.
dtmf	string זה שינוי אופציונלי. ספרות DTMF ממשתמש הקצה.
audio	string (bytes format) זה שינוי אופציונלי. נתוני אודיו ממשתמש הקצה. מחרוזת בקידוד Base64.
toolResponses	object (ToolResponses) זה שינוי אופציונלי. תוצאות ההרצה של קריאות הכלים מהלקוח.
image	object (Image) זה שינוי אופציונלי. נתוני תמונות ממשתמש הקצה.
blob	object (Blob) זה שינוי אופציונלי. נתוני Blob ממשתמש הקצה.
variables	object (Struct format) זה שינוי אופציונלי. משתנים לפי הקשר של הסשן, עם שם כמפתח. הסוכן CES ישתמש רק במשתנים שהוגדרו באפליקציה. משתנים לא מזוהים עדיין יישלחו אל [סוכן Dialogflow][Agent.RemoteDialogflowAgent] כפרמטרים נוספים של הסשן.
event	object (Event) זה שינוי אופציונלי. קלט האירוע.

ToolResponses

ייצוג ב-JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

שדות
toolResponses[]	object (ToolResponse) זה שינוי אופציונלי. רשימת תוצאות ההרצה של הכלי.

ToolResponse

ייצוג ב-JSON
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

שדות
id	string זה שינוי אופציונלי. מזהה התשובה התואם של tool call.
displayName	string פלט בלבד. השם המוצג של הכלי.
response	object (Struct format) חובה. תוצאת ההפעלה של הכלי בפורמט אובייקט JSON. משתמשים במפתח 'output' כדי לציין את התגובה של הכלי ובמפתח 'error' כדי לציין את פרטי השגיאה (אם יש). אם לא מציינים את המפתחות output ו-error, כל התגובה נחשבת לתוצאת ההפעלה של הכלי.
parentToolCallId	string פלט בלבד. המזהה של קריאת הכלי שגרמה לקריאה הזו, אם היא הופקה על ידי סוכן משנה שפועל בשם קריאת הורה. השדה ריק עבור שיחות ברמה העליונה. מאפשר ללקוח לקבץ את העבודה של סוכן משנה תחת השיחה שהתחילה אותה, במקום להציג כל שלב כפריט באותה רמה.
agentName	string פלט בלבד. השם של הסוכן שהנפיק את השיחה הזו, בפורמט שקריא לבני אדם, למשל Contract Architect. ריק אם הסוכן הראשי הנפיק אותו.
שדה איחוד tool_identifier. המזהה של הכלי שהופעל. יכול להיות שמדובר בכלי קבוע או בכלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool	string זה שינוי אופציונלי. שם הכלי להפעלה. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) זה שינוי אופציונלי. הכלי בערכת הכלים שהופעל.

ToolsetTool

ייצוג ב-JSON
{ "toolset": string, "toolId": string }

שדות
toolset	string חובה. שם המשאב של ערכת הכלים שממנה נגזר הכלי הזה. פורמט: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string זה שינוי אופציונלי. מזהה הכלי לסינון הכלים כדי לאחזר את הסכימה שלהם.

Struct

ייצוג ב-JSON
{ "fields": { string: value, ... } }

שדות
fields	map (key: string, value: value (Value format)) מפה לא מסודרת של ערכים עם הקלדה דינמית. אובייקט שמכיל רשימה של "key": value זוגות. לדוגמה: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

ייצוג ב-JSON
{ "key": string, "value": value }

שדות
key	string
value	value (Value format)

ערך

ייצוג ב-JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

שדות
שדה איחוד kind. סוג הערך. הערך kind יכול להיות רק אחד מהבאים:
nullValue	null מייצג JSON null.
numberValue	number מייצג מספר ב-JSON. הערך לא יכול להיות NaN, Infinity או -Infinity, כי אין תמיכה בערכים האלה ב-JSON. בנוסף, אי אפשר לייצג ערכי Int64 גדולים, כי פורמט JSON בדרך כלל לא תומך בהם בסוג המספר שלו.
stringValue	string מייצג מחרוזת JSON.
boolValue	boolean מייצג ערך בוליאני ב-JSON (הערכים true או false ב-JSON).
structValue	object (Struct format) מייצג אובייקט JSON.
listValue	array (ListValue format) מייצג מערך JSON.

ListValue

ייצוג ב-JSON
{ "values": [ value ] }

שדות
values[]	value (Value format) שדה חוזר של ערכים עם הקלדה דינמית.

תמונה

ייצוג ב-JSON
{ "mimeType": string, "data": string, "altText": string }

שדות
mimeType	string חובה. סוג ה-MIME התקני של IANA של נתוני המקור. סוגי התמונות הנתמכים כוללים: * image/png * image/jpeg * image/webp
data	string (bytes format) חובה. בייטים גולמיים של התמונה. מחרוזת בקידוד Base64.
altText	string זה שינוי אופציונלי. הטקסט החלופי של התמונה.

Blob

ייצוג ב-JSON
{ "mimeType": string, "data": string }

שדות
mimeType	string חובה. סוג ה-MIME התקני של IANA של נתוני המקור.
data	string (bytes format) חובה. בייטים גולמיים של ה-blob. מחרוזת בקידוד Base64.

אירוע

ייצוג ב-JSON
{ "event": string, "variables": { object } }

שדות
event	string חובה. שם האירוע.
variables	object (Struct format) זה שינוי אופציונלי. משתנים נוספים שמשויכים לאירוע.

AgentTransfer

ייצוג ב-JSON
{ "targetAgent": string, "displayName": string }

שדות
targetAgent	string חובה. הסוכן שאליו מועברת השיחה. הנציג יטפל בשיחה מכאן ואילך. פורמט: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string פלט בלבד. השם המוצג של הנציג.

GoldenExpectation

ייצוג ב-JSON

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

שדות
note	string זה שינוי אופציונלי. הערה לגבי הדרישה הזו, שימושית לדיווח כשבדיקות ספציפיות נכשלות. למשל, "Check_Payment_Tool_Called".
skipEvaluation	boolean זה שינוי אופציונלי. אם המאפיין מוגדר כ-true, הציפייה הספציפית הזו לא תוערך.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) זה שינוי אופציונלי. עוקף את המדדים ברמת השלב.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) זה שינוי אופציונלי. הגדרות ברירת מחדל שמשנות את מדדי הדמיון הסמנטי של agent_response.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) זה שינוי אופציונלי. שינויים במדדים של הזיות בתשובות של סוכנים.
comparisonType	enum (ComparisonType) זה שינוי אופציונלי. סוג ההשוואה שמשמש לבדיקת הציפייה.
שדה איחוד condition. הבדיקה בפועל שצריך לבצע. הערך condition יכול להיות רק אחד מהבאים:
toolCall	object (ToolCall) זה שינוי אופציונלי. בודקים אם בוצעה קריאה לכלי ספציפי עם הפרמטרים.
toolResponse	object (ToolResponse) זה שינוי אופציונלי. בודקים אם הכלי הספציפי הגיב בצורה הצפויה.
agentResponse	object (Message) זה שינוי אופציונלי. בודקים שהנציג הווירטואלי הגיב בתשובה הנכונה. התפקיד 'סוכן' מרומז.
agentTransfer	object (AgentTransfer) זה שינוי אופציונלי. בודקים שהנציג העביר את השיחה לנציג אחר.
updatedVariables	object (Struct format) זה שינוי אופציונלי. בודקים שהסוכן עדכן את משתני הסשן לערכים הצפויים. המשתנה הזה משמש גם לתיעוד של עדכוני משתנים של סוכנים לצורך הערכות מוזהבות.
mockToolResponse	object (ToolResponse) זה שינוי אופציונלי. התגובה של הכלי ל-mock, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM.
noToolCalls	boolean זה שינוי אופציונלי. בודקים שלא נעשה שימוש בכלים במהלך התור הזה.

ToolCall

ייצוג ב-JSON
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

שדות
id	string זה שינוי אופציונלי. המזהה הייחודי של קריאת הכלי. אם השדה מאוכלס, הלקוח צריך להחזיר את תוצאת ההפעלה עם המזהה התואם בשדה ToolResponse.
displayName	string פלט בלבד. השם המוצג של הכלי.
args	object (Struct format) זה שינוי אופציונלי. פרמטרי הקלט והערכים של הכלי בפורמט אובייקט JSON.
parentToolCallId	string פלט בלבד. המזהה של קריאת הכלי שגרמה לקריאה הזו, אם היא הופקה על ידי סוכן משנה שפועל בשם קריאת הורה. השדה ריק עבור שיחות ברמה העליונה. מאפשר ללקוח לקבץ את העבודה של סוכן משנה תחת השיחה שהתחילה אותה, במקום להציג כל שלב כפריט באותה רמה.
agentName	string פלט בלבד. השם של הסוכן שהנפיק את השיחה הזו, בפורמט שקריא לבני אדם, למשל Contract Architect. ריק אם הסוכן הראשי הנפיק אותו.
שדה איחוד tool_identifier. המזהה של הכלי שיש להפעיל. יכול להיות שמדובר בכלי קבוע או בכלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool	string זה שינוי אופציונלי. שם הכלי להפעלה. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) זה שינוי אופציונלי. הכלי להרצה מתוך ערכת הכלים.

הודעה

ייצוג ב-JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

שדות
role	string זה שינוי אופציונלי. התפקיד בשיחה, למשל: משתמש, נציג.
chunks[]	object (Chunk) זה שינוי אופציונלי. תוכן ההודעה כסדרה של נתחים.
eventTime	string (Timestamp format) זה שינוי אופציונלי. חותמת הזמן שבה ההודעה נשלחה או התקבלה. אסור להשתמש בתג הזה אם ההודעה היא חלק מexample. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

מקטע

ייצוג ב-JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

שדות
שדה איחוד data. מקטעים של נתונים. הערך data יכול להיות רק אחד מהבאים:
text	string זה שינוי אופציונלי. נתוני טקסט.
transcript	string זה שינוי אופציונלי. תמליל שמשויך לאודיו.
blob	object (Blob) זה שינוי אופציונלי. נתוני Blob.
payload	object (Struct format) זה שינוי אופציונלי. נתונים של מטען ייעודי בהתאמה אישית.
image	object (Image) זה שינוי אופציונלי. נתוני תמונה.
toolCall	object (ToolCall) זה שינוי אופציונלי. בקשה להרצת כלי.
toolResponse	object (ToolResponse) זה שינוי אופציונלי. תשובה להרצת הכלי.
agentTransfer	object (AgentTransfer) זה שינוי אופציונלי. אירוע של העברה לסוכן.
updatedVariables	object (Struct format) מבנה הנתונים מייצג משתנים שעודכנו בשיחה, עם שמות המשתנים כמפתחות.
defaultVariables	object (Struct format) מבנה נתונים מייצג משתני ברירת מחדל בתחילת השיחה, עם מפתחות לפי שמות המשתנים.

חותמת הזמן

ייצוג ב-JSON
{ "seconds": string, "nanos": integer }

שדות
seconds	string (int64 format) מייצג את השניות של זמן UTC מאז ראשית זמן יוניקס (Unix epoch) ‏1970-01-01T00:00:00Z. הערך צריך להיות בין ‎-62135596800 ל-253402300799 כולל (שמתאים לטווח 0001-01-01T00:00:00Z עד 9999-12-31T23:59:59Z).
nanos	integer שבריר לא שלילי של שנייה ברזולוציית ננו-שנייה. השדה הזה מייצג את החלק של הננו-שנייה במשך הזמן, ולא מהווה חלופה לשניות. ערכים שליליים של שניות עם שברים עדיין צריכים לכלול ערכים חיוביים של ננו-שניות שסופרים קדימה בזמן. הערך חייב להיות בין 0 ל-999,999,999, כולל.

ExpectationLevelMetricsThresholds

ייצוג ב-JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

שדות
שדה איחוד _tool_invocation_parameter_correctness_threshold. הערך _tool_invocation_parameter_correctness_threshold יכול להיות רק אחד מהבאים:
toolInvocationParameterCorrectnessThreshold	number זה שינוי אופציונלי. סף ההצלחה לפרמטרים של הפעלת כלי ספציפיים. הערך חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

SemanticSimilarityMetricsConfig

ייצוג ב-JSON
{ "enableSemanticSimilarityMetrics": boolean }

שדות
enableSemanticSimilarityMetrics	boolean זה שינוי אופציונלי. האם לחשב מדדים של דמיון סמנטי לצורך ההערכה.

HallucinationMetricsConfig

ייצוג ב-JSON
{ "enableHallucinationMetrics": boolean }

שדות
enableHallucinationMetrics	boolean זה שינוי אופציונלי. האם לחשב מדדים של הזיות לצורך ההערכה.

Span

ייצוג ב-JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

שדות
name	string פלט בלבד. שם הטווח.
startTime	string (Timestamp format) פלט בלבד. שעת ההתחלה של טווח הזמן. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) פלט בלבד. שעת הסיום של טווח הזמן. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
duration	string (Duration format) פלט בלבד. משך הזמן של הטווח. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
attributes	object (Struct format) פלט בלבד. מאפייני מפתח/ערך שמשויכים לטווח.
childSpans[]	object (Span) פלט בלבד. טווחים משניים שמוטמעים בטווח הזה.

משך

ייצוג ב-JSON
{ "seconds": string, "nanos": integer }

שדות
seconds	string (int64 format) מספר השניות עם סימן של טווח הזמן. הערך חייב להיות בין ‎-315,576,000,000 לבין ‎+315,576,000,000, כולל. הערה: הגבולות האלה מחושבים לפי: 60 שניות בדקה * 60 דקות בשעה * 24 שעות ביממה * 365.25 ימים בשנה * 10,000 שנים
nanos	integer שברים חתומים של שנייה ברזולוציית ננו-שנייה של טווח הזמן. משכי זמן של פחות משנייה אחת מיוצגים באמצעות שדה seconds עם הערך 0 ושדה nanos עם ערך חיובי או שלילי. למשכי זמן של שנייה אחת או יותר, הערך בשדה nanos צריך להיות שונה מאפס ובעל אותו סימן כמו הערך בשדה seconds. הערך צריך להיות בין ‎-999,999,999 לבין ‎+999,999,999, כולל.

TurnLevelMetricsThresholds

ייצוג ב-JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

שדות
semanticSimilarityChannel	enum (SemanticSimilarityChannel) זה שינוי אופציונלי. הערוץ של הדמיון הסמנטי שבו רוצים להשתמש לצורך הערכה.
שדה איחוד _semantic_similarity_success_threshold. הערך _semantic_similarity_success_threshold יכול להיות רק אחד מהבאים:
semanticSimilaritySuccessThreshold	integer זה שינוי אופציונלי. סף ההצלחה לדמיון סמנטי. הערך צריך להיות מספר שלם בין 0 ל-4. ברירת המחדל היא >= 3.
שדה איחוד _overall_tool_invocation_correctness_threshold. הערך _overall_tool_invocation_correctness_threshold יכול להיות רק אחד מהבאים:
overallToolInvocationCorrectnessThreshold	number זה שינוי אופציונלי. סף ההצלחה לדיוק הכולל של הפעלת הכלי. הערך חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

תרחיש

ייצוג ב-JSON
{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ], "scenarioExecutionMode": enum (ScenarioExecutionMode) }

שדות
task	string חובה. המשימה שמטרגטים בתרחיש.
userFacts[]	object (UserFact) זה שינוי אופציונלי. העובדות על המשתמש שישמשו בתרחיש.
maxTurns	integer זה שינוי אופציונלי. המספר המקסימלי של תורות לסימולציה. הערך המקסימלי המותר הוא 100. ערך ברירת המחדל הוא 100.
rubrics[]	string חובה. קריטריוני ההערכה שלפיהם יקבל התרחיש ציון.
scenarioExpectations[]	object (ScenarioExpectation) חובה. ה-ScenarioExpectations להערכת השיחה שנוצרה על ידי סימולציית המשתמש.
variableOverrides	object (Struct format) זה שינוי אופציונלי. משתנים / פרמטרים של סשן כהקשר לסשן, עם מפתח לפי שמות המשתנים. הערכים של המשתנים האלה יחליפו את ערכי ברירת המחדל שהוגדרו על ידי המערכת. הערה: אלה עובדות שונות מעובדות על המשתמש, שהן עובדות שהמשתמש מכיר. משתנים הם פרמטרים שהסוכן מכיר: כלומר, MDN (מספר טלפון) שמועבר על ידי מערכת הטלפוניה.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) הפריט הזה הוצא משימוש. זה שינוי אופציונלי. הוצאה משימוש, במקום זאת, צריך להשתמש במאפיין user_goal_behavior.
userGoalBehavior	enum (UserGoalBehavior) זה שינוי אופציונלי. ההתנהגות הצפויה של המשתמש ביחס ליעד.
evaluationExpectations[]	string זה שינוי אופציונלי. הציפיות להערכה שמשמשות להערכת השיחה שנוצרה על ידי הסימולציה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode	enum (ScenarioExecutionMode) זה שינוי אופציונלי. מצב ההפעלה של הערכות התרחישים.

UserFact

ייצוג ב-JSON
{ "name": string, "value": string }

שדות
name	string חובה. השם של עובדת המשתמש.
value	string חובה. הערך של נתון המשתמש.

ScenarioExpectation

ייצוג ב-JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

שדות
שדה איחוד expectation. הציפייה להערכת השיחה שנוצרה על ידי הסימולציה. הערך expectation יכול להיות רק אחד מהבאים:
toolExpectation	object (ToolExpectation) זה שינוי אופציונלי. הזוג של קריאה לכלי ותגובה שצריך להעריך.
agentResponse	object (Message) זה שינוי אופציונלי. התשובה של הסוכן שצריך להעריך.

ToolExpectation

ייצוג ב-JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

שדות
expectedToolCall	object (ToolCall) חובה. הקריאה הצפויה לכלי, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM.
mockToolResponse	object (ToolResponse) חובה. התגובה של הכלי ל-mock, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי מודל ה-LLM.

AggregatedMetrics

ייצוג ב-JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

שדות
metricsByAppVersion[]	object (MetricsByAppVersion) פלט בלבד. מדדים מצטברים, שמקובצים לפי מזהה גרסת האפליקציה.

MetricsByAppVersion

ייצוג ב-JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

שדות
appVersionId	string פלט בלבד. מזהה גרסת האפליקציה.
toolMetrics[]	object (ToolMetrics) פלט בלבד. מדדים לכל כלי בגרסה הזו של האפליקציה.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) פלט בלבד. מדדים לדמיון סמנטי בגרסת האפליקציה הזו.
hallucinationMetrics[]	object (HallucinationMetrics) פלט בלבד. מדדים להזיות בגרסת האפליקציה הזו.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) פלט בלבד. מדדים של זמן האחזור של קריאות לכלי בגרסת האפליקציה הזו.
turnLatencyMetrics[]	object (TurnLatencyMetrics) פלט בלבד. מדדים של זמן התגובה בגרסת האפליקציה הזו.
passCount	integer פלט בלבד. מספר הפעמים שההערכה עברה.
failCount	integer פלט בלבד. מספר הפעמים שההערכה נכשלה.
metricsByTurn[]	object (MetricsByTurn) פלט בלבד. מדדים מצטברים לכל תור בגרסת האפליקציה הזו.

ToolMetrics

ייצוג ב-JSON
{ "tool": string, "passCount": integer, "failCount": integer }

שדות
tool	string פלט בלבד. שם הכלי.
passCount	integer פלט בלבד. מספר הפעמים שהכלי עבר.
failCount	integer פלט בלבד. מספר הפעמים שהכלי נכשל.

SemanticSimilarityMetrics

ייצוג ב-JSON
{ "score": number }

שדות
score	number פלט בלבד. הציון הממוצע של הדמיון הסמנטי (0-4).

HallucinationMetrics

ייצוג ב-JSON
{ "score": number }

שדות
score	number פלט בלבד. הציון הממוצע של הזיות (0 עד 1).

ToolCallLatencyMetrics

ייצוג ב-JSON
{ "tool": string, "averageLatency": string }

שדות
tool	string פלט בלבד. שם הכלי.
averageLatency	string (Duration format) פלט בלבד. החביון הממוצע של הפעלות הכלים. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

TurnLatencyMetrics

ייצוג ב-JSON
{ "averageLatency": string }

שדות
averageLatency	string (Duration format) פלט בלבד. זמן האחזור הממוצע של התורות. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

MetricsByTurn

ייצוג ב-JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

שדות
turnIndex	integer פלט בלבד. אינדקס הפנייה (מתחיל מ-0).
toolMetrics[]	object (ToolMetrics) פלט בלבד. מדדים לכל כלי בתור הזה.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) פלט בלבד. מדדים של דמיון סמנטי בתור הזה.
hallucinationMetrics[]	object (HallucinationMetrics) פלט בלבד. מדדים של הזיות בתור הזה.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) פלט בלבד. מדדים של זמן האחזור של קריאת הכלי בתור הזה.
turnLatencyMetrics[]	object (TurnLatencyMetrics) פלט בלבד. מדדים של זמן הטעינה של התור הזה.

EvaluationResult

ייצוג ב-JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

שדות
name	string מזהה. המזהה הייחודי של תוצאת הבדיקה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string חובה. השם המוצג של תוצאת ההערכה. ייחודי בתוך הערכה. כברירת מחדל, הפורמט הוא: result - ".
createTime	string (Timestamp format) פלט בלבד. חותמת הזמן שבה נוצרה תוצאת ההערכה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) פלט בלבד. התוצאה של הבדיקה. השדה הזה מאוכלס רק אם execution_state הוא COMPLETE.
evaluationRun	string פלט בלבד. הפעלת ההערכה שיצרה את התוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) פלט בלבד. הפרסונה ששימשה ליצירת השיחה לתוצאת ההערכה.
errorInfo	object (EvaluationErrorInfo) פלט בלבד. פרטי השגיאה של תוצאת ההערכה.
error (deprecated)	object (Status) הפריט הזה הוצא משימוש. פלט בלבד. הוצא משימוש: במקומו צריך להשתמש ב-error_info. שגיאות שאירעו במהלך הביצוע.
initiatedBy	string פלט בלבד. המשתמש שהפעיל את הרצת ההערכה שהניבה את התוצאה הזו.
appVersion	string פלט בלבד. גרסת האפליקציה ששימשה ליצירת השיחה שהובילה לתוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string פלט בלבד. השם המוצג של app_version שההערכה הופעלה לגביו.
changelog	string פלט בלבד. יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה.
changelogCreateTime	string (Timestamp format) פלט בלבד. זמן היצירה של יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) פלט בלבד. הסטטוס של הביצוע של תוצאת ההערכה.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) פלט בלבד. הסף להערכה של התוצאה.
config	object (EvaluationConfig) פלט בלבד. ההגדרה שבה נעשה שימוש בהרצת ההערכה שהניבה את התוצאה הזו.
goldenRunMethod	enum (GoldenRunMethod) פלט בלבד. השיטה שבה נעשה שימוש להפעלת הערכת הזהב.
rootSpan	object (Span) פלט בלבד. יחידה לוגית למעקב ברמת הבסיס של הרצת ההערכה, שכוללת מידע על כל שלב בהערכה.
outcomeMetadata	enum (OutcomeMetadata) פלט בלבד. מטא-נתונים של תוצאת הבדיקה. השדה הזה מאוכלס רק אם execution_state הוא COMPLETE.
שדה איחוד result. התוצאה של ההערכה. השדה הזה מאוכלס רק כשערך המשתנה execution_state הוא COMPLETED. הערך result יכול להיות רק אחד מהבאים:
goldenResult	object (GoldenResult) פלט בלבד. התוצאה של הערכת הזהב.
scenarioResult	object (ScenarioResult) פלט בלבד. התוצאה של הערכת תרחיש.

GoldenResult

ייצוג ב-JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

שדות
turnReplayResults[]	object (TurnReplayResult) פלט בלבד. התוצאה של הרצת כל תור בשיחה המוזהבת.
evaluationExpectationResults[]	object (EvaluationExpectationResult) פלט בלבד. התוצאות של ציפיות ההערכה.

TurnReplayResult

ייצוג ב-JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

שדות
conversation	string פלט בלבד. השיחה שנוצרה בתור הזה.
expectationOutcome[]	object (GoldenExpectationOutcome) פלט בלבד. התוצאה של כל ציפייה.
hallucinationResult	object (HallucinationResult) פלט בלבד. התוצאה של בדיקת ההזיות.
toolInvocationScore (deprecated)	number הפריט הזה הוצא משימוש. פלט בלבד. הוצאה משימוש, במקומו, צריך להשתמש ב-OverallToolInvocationResult.
turnLatency	string (Duration format) פלט בלבד. משך התור. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
toolCallLatencies[]	object (ToolCallLatency) פלט בלבד. זמן האחזור של כל קריאה לכלי בתור.
semanticSimilarityResult	object (SemanticSimilarityResult) פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
overallToolInvocationResult	object (OverallToolInvocationResult) פלט בלבד. התוצאה של הבדיקה הכוללת של הפעלת הכלי.
errorInfo	object (EvaluationErrorInfo) פלט בלבד. מידע על השגיאה שקרתה במהלך התור הזה.
spanLatencies[]	object (SpanLatency) פלט בלבד. זמן האחזור של הטווחים בפנייה.
שדה איחוד _tool_ordered_invocation_score. הערך _tool_ordered_invocation_score יכול להיות רק אחד מהבאים:
toolOrderedInvocationScore	number פלט בלבד. הציון הכולל של הפעלת הכלי בתור הזה. המדד הזה מציין את אחוז הכלים הכולל מהתור הצפוי שהופעלו בפועל בסדר הצפוי.

GoldenExpectationOutcome

ייצוג ב-JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

שדות
expectation	object (GoldenExpectation) פלט בלבד. הציפייה שנבדקה.
outcome	enum (Outcome) פלט בלבד. התוצאה של הציפייה.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) הפריט הזה הוצא משימוש. פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
toolInvocationResult	object (ToolInvocationResult) פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי.
שדה איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall	object (ToolCall) פלט בלבד. התוצאה של הציפייה לקריאה לכלי.
observedToolResponse	object (ToolResponse) פלט בלבד. התוצאה של הציפייה לתגובה מהכלי.
observedAgentResponse	object (Message) פלט בלבד. התוצאה של הציפייה לתשובה מהסוכן.
observedAgentTransfer	object (AgentTransfer) פלט בלבד. התוצאה של הציפייה להעברה לנציג.
observedPayload	object (Struct format) פלט בלבד. מטען ייעודי (payload) בהתאמה אישית שנצפה. אין ציפיות לגבי מטען ייעודי (payload) בהתאמה אישית. הערך הזה משמש רק לחישוב מדדים. התוצאה תמיד תהיה SKIPPED.

SemanticSimilarityResult

ייצוג ב-JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 4: עקביות מלאה ציון 3: עקביות ברוב המקרים ציון 2: עקביות חלקית (השמטות קלות) ציון 1: חוסר עקביות ברוב המקרים (השמטות משמעותיות) ציון 0: חוסר עקביות מוחלט / סתירה
explanation	string פלט בלבד. ההסבר לציון הדמיון הסמנטי.
outcome	enum (Outcome) פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי. ההחלטה מתקבלת על סמך השוואה בין הציון לבין semantic_similarity_success_threshold. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.
שדה איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. ציון הדמיון הסמנטי. יכול להיות 0, 1, 2, 3 או 4.

ToolInvocationResult

ייצוג ב-JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

שדות
outcome	enum (Outcome) פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. ההחלטה מתקבלת על סמך השוואה בין הציון parameter_correctness_score לבין ערך הסף. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.
explanation	string פלט בלבד. הסבר בטקסט חופשי על התוצאה של הפעלת הכלי.
שדה איחוד _parameter_correctness_score. הערך _parameter_correctness_score יכול להיות רק אחד מהבאים:
parameterCorrectnessScore	number פלט בלבד. ציון הנכונות של פרמטר ההפעלה של הכלי. הערך הזה מציין את אחוז הפרמטרים מהקריאה הצפויה לכלי שהיו גם בקריאה בפועל לכלי.

HallucinationResult

ייצוג ב-JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: מוצדק ציון 0: לא מוצדק ציון ‎-1: אין טענה להערכה
explanation	string פלט בלבד. ההסבר לציון ההזיה.
שדה איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. ציון ההזיות. יכול להיות -1,‏ 0 או 1.

ToolCallLatency

ייצוג ב-JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

שדות
tool	string פלט בלבד. שם הכלי שהופעל. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
displayName	string פלט בלבד. השם המוצג של הכלי.
startTime	string (Timestamp format) פלט בלבד. שעת ההתחלה של ההרצה של קריאת הכלי. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) פלט בלבד. שעת הסיום של ההרצה של קריאת הכלי. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) פלט בלבד. זמן האחזור של הפעלת הכלי. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

OverallToolInvocationResult

ייצוג ב-JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

שדות
outcome	enum (Outcome) פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. הערך הזה נקבע על ידי השוואה בין tool_invocation_score לבין overall_tool_invocation_correctness_threshold. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.
שדה איחוד _tool_invocation_score. הערך _tool_invocation_score יכול להיות רק אחד מהבאים:
toolInvocationScore	number הציון הכולל של הפעלת הכלי בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים מהתור הצפוי שהופעלו בפועל.

EvaluationErrorInfo

ייצוג ב-JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

שדות
errorType	enum (ErrorType) פלט בלבד. סוג השגיאה.
errorMessage	string פלט בלבד. הודעת השגיאה.
sessionId	string פלט בלבד. מזהה הסשן של השיחה שגרמה לשגיאה.
userFacingErrorMessage	string פלט בלבד. הודעת השגיאה שמוצגת למשתמש.

SpanLatency

ייצוג ב-JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

שדות
type	enum (Type) פלט בלבד. סוג הטווח.
displayName	string פלט בלבד. השם המוצג של הטווח. ההגדרה הזו רלוונטית לטווחים של כלים ואמצעי הגנה.
startTime	string (Timestamp format) פלט בלבד. שעת ההתחלה של הטווח. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) פלט בלבד. שעת הסיום של טווח הזמן. הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) פלט בלבד. זמן האחזור של הטווח. משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
שדה איחוד identifier. המזהה של הפריט הספציפי על סמך הסוג שלו. הערך identifier יכול להיות רק אחד מהבאים:
resource	string פלט בלבד. שם המשאב של אמצעי הבקרה או של הכלים.
toolset	object (ToolsetTool) פלט בלבד. מזהה הכלי בערכת הכלים.
model	string פלט בלבד. השם של טווח ה-LLM.
callback	string פלט בלבד. השם של טווח הקריאה החוזרת של המשתמש.

EvaluationExpectationResult

ייצוג ב-JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

שדות
evaluationExpectation	string פלט בלבד. הציפייה מההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string פלט בלבד. ההנחיה ששימשה להערכה.
outcome	enum (Outcome) פלט בלבד. התוצאה של ציפיית ההערכה.
explanation	string פלט בלבד. ההסבר לתוצאה.

ScenarioResult

ייצוג ב-JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

שדות
conversation	string פלט בלבד. השיחה שנוצרה בתרחיש.
task	string פלט בלבד. המשימה ששימשה להרצת התרחיש עבור התוצאה הזו.
userFacts[]	object (UserFact) פלט בלבד. העובדות על המשתמש ששימשו את התרחיש לחישוב התוצאה הזו.
expectationOutcomes[]	object (ScenarioExpectationOutcome) פלט בלבד. התוצאה של כל ציפייה.
rubricOutcomes[]	object (ScenarioRubricOutcome) פלט בלבד. התוצאה של הקריטריונים להערכה.
hallucinationResult[]	object (HallucinationResult) פלט בלבד. התוצאה של בדיקת ההזיות. תהיה תוצאת הזיה אחת לכל תור בשיחה.
taskCompletionResult (deprecated)	object (TaskCompletionResult) הפריט הזה הוצא משימוש. פלט בלבד. התוצאה של בדיקת השלמת המשימה.
toolCallLatencies[]	object (ToolCallLatency) פלט בלבד. ההשהיה של כל הפעלה של קריאה לכלי בשיחה.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) פלט בלבד. התוצאה של בדיקת שביעות הרצון של המשתמש מהיעד.
spanLatencies[]	object (SpanLatency) פלט בלבד. ההשהיה של טווחי הזמן בשיחה.
evaluationExpectationResults[]	object (EvaluationExpectationResult) פלט בלבד. התוצאות של ציפיות ההערכה.
שדה איחוד _all_expectations_satisfied. הערך _all_expectations_satisfied יכול להיות רק אחד מהבאים:
allExpectationsSatisfied	boolean פלט בלבד. אם כל הציפיות התממשו בתור הזה.
שדה איחוד _task_completed. הערך _task_completed יכול להיות רק אחד מהבאים:
taskCompleted	boolean פלט בלבד. האם המשימה הושלמה בתור הזה. התשובה הזו היא שילוב של כל הציפיות שהתממשו, ללא הזיות, ושל שביעות רצון המשתמש מהשגת היעד.

ScenarioExpectationOutcome

ייצוג ב-JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

שדות
expectation	object (ScenarioExpectation) פלט בלבד. הציפייה שנבדקה.
outcome	enum (Outcome) פלט בלבד. התוצאה של ScenarioExpectation.
שדה איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall	object (ObservedToolCall) פלט בלבד. הקריאה לכלי שנצפתה.
observedAgentResponse	object (Message) פלט בלבד. התשובה שנצפתה מהסוכן.

ObservedToolCall

ייצוג ב-JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

שדות
toolCall	object (ToolCall) פלט בלבד. הקריאה לכלי שנצפתה.
toolResponse	object (ToolResponse) פלט בלבד. התשובה שנצפתה מהכלי.

ScenarioRubricOutcome

ייצוג ב-JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

שדות
rubric	string פלט בלבד. קריטריון ההערכה ששימש להערכת השיחה.
scoreExplanation	string פלט בלבד. התשובה של המעריך לקריטריון ההערכה.
שדה איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	number פלט בלבד. הציון של השיחה בהשוואה לקריטריון ההערכה.

TaskCompletionResult

ייצוג ב-JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: המשימה הושלמה. ציון 0: המשימה לא הושלמה. ציון ‎-1: היעד של המשתמש לא הוגדר.
explanation	string פלט בלבד. ההסבר לציון שניתן על השלמת המשימה.
שדה איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. הציון על השלמת המשימה. יכול להיות -1,‏ 0 או 1

UserGoalSatisfactionResult

ייצוג ב-JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

שדות
label	string פלט בלבד. התווית שמשויכת לכל ציון. ציון 2: ציון העברה חלקה ציון 1: ציון שביעות רצון של המשתמש מהמשימה ציון 0: ציון אי שביעות רצון של המשתמש מהמשימה ציון ‎-1: ציון לא מוגדר של שביעות רצון של המשתמש מהמשימה
explanation	string פלט בלבד. ההסבר לציון שביעות הרצון מהמשימה של המשתמש.
שדה איחוד _score. הערך _score יכול להיות רק אחד מהבאים:
score	integer פלט בלבד. ציון שביעות הרצון של המשתמש מהמשימה. יכול להיות -1, 0, 1, 2.

EvaluationPersona

ייצוג ב-JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

שדות
name	string חובה. המזהה הייחודי של האישיות. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string זה שינוי אופציונלי. תיאור הפרסונה.
displayName	string חובה. השם המוצג של האישיות. ייחודי בתוך אפליקציה.
personality	string חובה. הוראה לסוכן לגבי אופן ההתנהגות בתהליך ההערכה.
speechConfig	object (SpeechConfig) זה שינוי אופציונלי. הגדרות של איך האישיות נשמעת (הגדרות TTS).

SpeechConfig

ייצוג ב-JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

שדות
speakingRate	number זה שינוי אופציונלי. קצב הדיבור. ‫1.0 הוא ערך רגיל. ערך נמוך יותר מייצג קצב איטי יותר (למשל, 0.8), וערך גבוה יותר מייצג קצב מהיר יותר (למשל, 1.5). שימושי לבדיקה של אופן הטיפול של הסוכן בשיחות עם אנשים שמדברים מהר.
environment	enum (BackgroundEnvironment) זה שינוי אופציונלי. סביבת האודיו המדומה.
voiceId	string זה שינוי אופציונלי. המזהה הספציפי של הקול או המבטא שרוצים להשתמש בהם. דוגמה: en-US-Wavenet-D או en-GB-Standard-A

סטטוס

ייצוג ב-JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

שדות
code	integer קוד הסטטוס, שצריך להיות ערך enum של google.rpc.Code.
message	string הודעת שגיאה שמוצגת למפתח, שצריכה להיות באנגלית. כל הודעת שגיאה שמוצגת למשתמש צריכה להיות מותאמת לשפה המקומית ולהישלח בשדה google.rpc.Status.details, או להיות מותאמת לשפה המקומית על ידי הלקוח.
details[]	object רשימה של הודעות שכוללות את פרטי השגיאה. יש קבוצה משותפת של סוגי הודעות לשימוש בממשקי API. אובייקט שמכיל שדות מסוג שרירותי. שדה נוסף "@type" מכיל URI שמזהה את הסוג. לדוגמה: { "id": 1234, "@type": "types.example.com/standard/id" }.

הכול

ייצוג ב-JSON
{ "typeUrl": string, "value": string }

שדות
typeUrl	string מזהה את הסוג של הודעת Protobuf שעברה סריאליזציה באמצעות הפניה ל-URI שכוללת קידומת שמסתיימת בקו נטוי ואת שם הסוג שמוגדר במלואו. דוגמה: type.googleapis.com/google.protobuf.StringValue המחרוזת הזו צריכה להכיל לפחות תו אחד של /, והתוכן אחרי ה-/ האחרון צריך להיות השם המלא של הסוג בפורמט קנוני, ללא נקודה מובילה. אל תכתבו סכימה בהפניות ל-URI האלה כדי שהלקוחות לא ינסו ליצור איתם קשר. הקידומת היא שרירותית, וההטמעות של Protobuf אמורות פשוט להסיר את כל מה שמופיע עד הסימן / האחרון, כולל הסימן עצמו, כדי לזהות את הסוג. ‫type.googleapis.com/ היא תחילית ברירת מחדל נפוצה שנדרשת בחלק מההטמעות מדור קודם. הקידומת הזו לא מציינת את המקור של הסוג, ולא צפוי שמזהי URI שמכילים אותה יגיבו לבקשות כלשהן. כל מחרוזות כתובות ה-URL של הסוג חייבות להיות הפניות URI חוקיות, עם הגבלה נוספת (בפורמט הטקסט) שלפיה התוכן של ההפניה חייב לכלול רק תווים אלפאנומריים, תווים מוברחים בקידוד אחוזים ותווים בערכה הבאה (לא כולל הגרשיים החיצוניים): /-.~_!$&()*+,;=. למרות שאנחנו מאפשרים קידודים באחוזים, בהטמעות לא צריך לבטל את הקידוד שלהם כדי למנוע בלבול עם מנתחים קיימים. לדוגמה, בקשה עם הערך type.googleapis.com%2FFoo צריכה להידחות. בתכנון המקורי של Any נשקלה האפשרות להפעיל שירות לפתרון סוגים בכתובות ה-URL האלה של הסוגים, אבל ב-Protobuf אף פעם לא בוצעה הטמעה של שירות כזה, והפנייה לכתובות ה-URL האלה נחשבת לבעייתית ועלולה לגרום לבעיות אבטחה. אל תנסו ליצור קשר עם כתובות URL מהסוג הזה.
value	string (bytes format) מכיל סריאליזציה של Protobuf של הסוג שמתואר על ידי type_url. מחרוזת בקידוד Base64.

EvaluationMetricsThresholds

ייצוג ב-JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

שדות
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) זה שינוי אופציונלי. ערכי הסף של מדדי ההערכה המושלמים.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) הפריט הזה הוצא משימוש. זה שינוי אופציונלי. הוצא משימוש: במקומו צריך להשתמש ב-golden_hallucination_metric_behavior. ההתנהגות של מדד ההזיות משמשת כרגע להערכות מוזהבות.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות מוזהבות.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות של תרחישים.

GoldenEvaluationMetricsThresholds

ייצוג ב-JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

שדות
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) זה שינוי אופציונלי. ערכי הסף של המדדים ברמת התור.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) זה שינוי אופציונלי. ערכי הסף של מדדי רמת הציפייה.
toolMatchingSettings	object (ToolMatchingSettings) זה שינוי אופציונלי. הגדרות ההתאמה של הכלי. קריאה נוספת לכלי היא קריאה לכלי שקיימת בהרצה אבל לא תואמת לאף קריאה לכלי בציפייה המוזהבת.

ToolMatchingSettings

ייצוג ב-JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

שדות
extraToolCallBehavior	enum (ExtraToolCallBehavior) זה שינוי אופציונלי. התנהגות של קריאות נוספות לכלים. ברירת המחדל היא FAIL.

EvaluationConfig

ייצוג ב-JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

שדות
inputAudioConfig	object (InputAudioConfig) זה שינוי אופציונלי. הגדרות לעיבוד האודיו שמתקבל.
outputAudioConfig	object (OutputAudioConfig) זה שינוי אופציונלי. הגדרות ליצירת פלט האודיו.
evaluationChannel	enum (EvaluationChannel) זה שינוי אופציונלי. הערוץ שרוצים לבדוק.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) זה שינוי אופציונלי. מציין אם ההערכה צריכה להשתמש בקריאות אמיתיות לכלים או בכלים מזויפים.

InputAudioConfig

ייצוג ב-JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

שדות
audioEncoding	enum (AudioEncoding) חובה. הקידוד של נתוני האודיו של הקלט.
sampleRateHertz	integer חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הקלט.
noiseSuppressionLevel	string זה שינוי אופציונלי. האם להפעיל סינון רעשים באודיו של הקלט. הערכים האפשריים הם low,‏ moderate,‏ high,‏ very_high.

OutputAudioConfig

ייצוג ב-JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

שדות
audioEncoding	enum (AudioEncoding) חובה. הקידוד של נתוני האודיו של הפלט.
sampleRateHertz	integer חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הפלט.

EvaluationMetricsConfig

ייצוג ב-JSON
{ "goldenMetricsConfig": { object (GoldenMetricsConfig) }, "scenarioMetricsConfig": { object (ScenarioMetricsConfig) } }

שדות
goldenMetricsConfig	object (GoldenMetricsConfig) זה שינוי אופציונלי. הגדרות של מדדי הזהב לצורך ההערכה.
scenarioMetricsConfig	object (ScenarioMetricsConfig) זה שינוי אופציונלי. הגדרות למדדים של התרחיש לצורך ההערכה.

GoldenMetricsConfig

ייצוג ב-JSON
{ "semanticSimilarityMetricsConfig": { object (SemanticSimilarityMetricsConfig) }, "toolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) }, "stepToolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) } }

שדות
semanticSimilarityMetricsConfig	object (SemanticSimilarityMetricsConfig) זה שינוי אופציונלי. הגדרה גלובלית של מדדים של דמיון סמנטי.
toolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) זה שינוי אופציונלי. הגדרות למדדי דיוק של כלי ברמת התור.
stepToolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) זה שינוי אופציונלי. הגדרות למדדי דיוק של כלי ברמת השלב.

ToolCorrectnessMetricsConfig

ייצוג ב-JSON
{ "enableToolCorrectnessMetrics": boolean }

שדות
enableToolCorrectnessMetrics	boolean זה שינוי אופציונלי. האם לחשב מדדי נכונות של הכלי לצורך ההערכה.

ScenarioMetricsConfig

ייצוג ב-JSON
{ "userGoalMetMetricsConfig": { object (UserGoalMetMetricsConfig) }, "expectationsMetMetricsConfig": { object (ExpectationsMetMetricsConfig) } }

שדות
userGoalMetMetricsConfig	object (UserGoalMetMetricsConfig) זה שינוי אופציונלי. הגדרות למדדים של השלמת יעדים עסקיים של משתמשים.
expectationsMetMetricsConfig	object (ExpectationsMetMetricsConfig) זה שינוי אופציונלי. הגדרות למדדים של רמת הציפיות.

UserGoalMetMetricsConfig

ייצוג ב-JSON
{ "enableUserGoalMetMetrics": boolean }

שדות
enableUserGoalMetMetrics	boolean זה שינוי אופציונלי. האם לחשב את מדדי השגת היעד של המשתמש לצורך ההערכה.

ExpectationsMetMetricsConfig

ייצוג ב-JSON
{ "enableExpectationsMetMetrics": boolean }

שדות
enableExpectationsMetMetrics	boolean זה שינוי אופציונלי. האם לחשב את מדדי רמת הציפיות להערכה.

NullValue

מייצג JSON null.

‫NullValue הוא ערך שמירה, שמשתמש בסוג enum עם ערך אחד בלבד כדי לייצג את ערך ה-null עבור איחוד הסוגים Value.

שדה מסוג NullValue עם ערך כלשהו שאינו 0 נחשב לא תקין. רוב הסריאליזטורים של ProtoJSON יפלטו Value עם null_value שמוגדר כ-JSON null בלי קשר לערך המספרי, ולכן יבצעו המרה הלוך ושוב לערך 0.

טיפוסים בני מנייה (enum)
NULL_VALUE	ערך null.

ComparisonType

סוגי השוואות נתמכים לבדיקת התשובה של הסוכן.

טיפוסים בני מנייה (enum)
COMPARISON_TYPE_UNSPECIFIED	סוג ההשוואה לא צוין. ההתנהגות מוגדרת כברירת מחדל ל-SEMANTIC_SIMILARITY לתגובות של סוכנים ולקריאות כלים.
EQUALS	התאמה מדויקת של מחרוזת.
CONTAINS	התאמה של מחרוזת משנה (בדיקה אם המחרוזת הצפויה כלולה בתשובה בפועל).
SEMANTIC_SIMILARITY	התאמה של דמיון סמנטי (הערכת דמיון המשמעות באמצעות LLM).

SemanticSimilarityChannel

הערוץ שבו רוצים להשתמש כדי למצוא דמיון סמנטי.

טיפוסים בני מנייה (enum)
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	לא צוין מדד. ברירת המחדל היא TEXT.
TEXT	שימוש בדמיון סמנטי בין טקסטים.
AUDIO	שימוש בדמיון סמנטי של אודיו.

HallucinationMetricBehavior

ההתנהגות של מדד ההזיות. ללא קשר להתנהגות, המדד תמיד יחושב. ההבדל הוא שכשהמדד מושבת, הוא לא משמש לחישוב ציון ההערכה הכולל.

טיפוסים בני מנייה (enum)
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	התנהגות לא מוגדרת של מדד הזיות.
DISABLED	השבתת מדד ההזיות.
ENABLED	הפעלת מדד ההזיות.

TaskCompletionBehavior

ההתנהגות הצפויה של משימת המשתמש. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED	התנהגות לא מוגדרת. ברירת המחדל היא TASK_SATISFIED.
TASK_SATISFIED	משימת המשתמש צריכה להסתיים בהצלחה.
TASK_REJECTED	צריך לדחות את משימת המשתמש.

UserGoalBehavior

ההתנהגות הצפויה של המשתמש ביחס ליעד. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
USER_GOAL_BEHAVIOR_UNSPECIFIED	התנהגות לא מוגדרת. ערך ברירת המחדל הוא USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED	היעד של המשתמש צריך להיות השלמה מוצלחת.
USER_GOAL_REJECTED	צריך לדחות את היעד של המשתמש.
USER_GOAL_IGNORED	התעלמות מהסטטוס של יעד המשתמש.

ScenarioExecutionMode

מצב ההפעלה של הערכות התרחישים.

טיפוסים בני מנייה (enum)
SCENARIO_EXECUTION_MODE_UNSPECIFIED	מצב ההרצה לא צוין. ברירת המחדל היא QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED	מצב אופטימיזציה של האיכות.
SPEED_OPTIMIZED	מצב אופטימיזציה למהירות.

תוצאת הסריקה

התוצאה של ההערכה או הציפייה.

טיפוסים בני מנייה (enum)
OUTCOME_UNSPECIFIED	לא צוינה תוצאת ההערכה.
PASS	ההערכה או הציפייה עברו. במקרה של הערכה, המשמעות היא שכל הציפיות התממשו.
FAIL	ההערכה או הציפייה נכשלו. במקרה של הערכה, המשמעות היא שלפחות אחת מהציפיות לא התקיימה.
SKIPPED	ההערכה או הציפייה דולגו.

ErrorType

סוג השגיאה

טיפוסים בני מנייה (enum)
ERROR_TYPE_UNSPECIFIED	סוג שגיאה לא מזוהה.
RUNTIME_FAILURE	ההרצה נכשלה במהלך זמן הריצה.
CONVERSATION_RETRIEVAL_FAILURE	הייתה בעיה והשיחה לא אוחזרה מ-CES Runtime.
METRIC_CALCULATION_FAILURE	לא הצליח לחשב מדד או תוצאה.
EVALUATION_UPDATE_FAILURE	העדכון של ההערכה נכשל.
QUOTA_EXHAUSTED	הגעתם למכסה.
USER_SIMULATION_FAILURE	כשל במהלך סימולציית משתמש.

סוג

סוג הטווח. יכול להיות שבעתיד נוסיף עוד ערכים.

טיפוסים בני מנייה (enum)
TYPE_UNSPECIFIED	ערך ברירת המחדל. הערך הזה לא בשימוש.
TOOL	טווח של קריאה לכלי.
USER_CALLBACK	טווח הזמן של בקשת השיחה מהמשתמש.
GUARDRAIL	טווח שכבת ההגנה.
LLM	טווח LLM.

BackgroundEnvironment

סביבת אודיו מדומה.

טיפוסים בני מנייה (enum)
BACKGROUND_ENVIRONMENT_UNSPECIFIED	לא צוינה סביבת רקע.
CALL_CENTER	סביבת מוקד טלפוני.
TRAFFIC	סביבה עם רעשי תנועה.
KIDS_NOISE	סביבה רועשת של ילדים.
CAFE	סביבת בית קפה.

ExecutionState

הסטטוס של הביצוע של תוצאת ההערכה.

טיפוסים בני מנייה (enum)
EXECUTION_STATE_UNSPECIFIED	לא צוין מצב הביצוע של תוצאת ההערכה.
QUEUED	ההפעלה של תוצאת ההערכה ממתינה בתור.
RUNNING	ההרצה של תוצאת ההערכה מתבצעת.
COMPLETED	ההרצה של תוצאת ההערכה הסתיימה.
ERROR	הביצוע של תוצאת ההערכה נכשל בגלל שגיאה פנימית.
CANCELLED	ההרצה של תוצאת ההערכה בוטלה.

ExtraToolCallBehavior

הגדרת ההתנהגות כשנתקלים בקריאה נוספת לכלי. קריאה נוספת לכלי היא קריאה לכלי שקיימת בהרצה אבל לא תואמת לאף קריאה לכלי בציפייה המוזהבת.

טיפוסים בני מנייה (enum)
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	התנהגות לא מוגדרת. ברירת המחדל היא FAIL.
FAIL	הבדיקה תיכשל אם תזוהה קריאה נוספת לכלי.
ALLOW	מאשרים את השימוש בכלי הנוסף.

AudioEncoding

התג AudioEncoding מציין את פורמט הקידוד של נתוני האודיו.

טיפוסים בני מנייה (enum)
AUDIO_ENCODING_UNSPECIFIED	קידוד אודיו שלא צוין.
LINEAR16	קידוד אודיו PCM ליניארי של 16 ביט.
MULAW	דגימות של 8 ביט שמרחיבות דגימות של אודיו של 14 ביט באמצעות G.711 PCMU/mu-law.
ALAW	דגימות של 8 ביט שמרחיבות דגימות אודיו של 14 ביט באמצעות G.711 PCMU/A-law.

EvaluationChannel

הערוץ שרוצים לבדוק.

טיפוסים בני מנייה (enum)
EVALUATION_CHANNEL_UNSPECIFIED	ערוץ הערכה לא צוין.
TEXT	ערוץ הערכה עם טקסט בלבד.
AUDIO	ערוץ להערכת אודיו.

EvaluationToolCallBehaviour

הגדרת אופן הפעולה של קריאות לכלי בהרצות של הערכה.

טיפוסים בני מנייה (enum)
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	התנהגות לא מוגדרת של קריאה לכלי. ברירת המחדל תהיה הפעלת כלים אמיתיים.
REAL	להשתמש בקריאות אמיתיות לכלים.
FAKE	שימוש בקריאות מזויפות לכלים.

GoldenRunMethod

השיטה שבה נעשה שימוש להרצת ההערכה.

טיפוסים בני מנייה (enum)
GOLDEN_RUN_METHOD_UNSPECIFIED	לא צוינה שיטת הפעלה.
STABLE	מריצים את ההערכה כהפעלה חוזרת יציבה, שבה כל תור הוא סשן ייחודי עם התורים הקודמים הצפויים שמוזרקים כהקשר.
NAIVE	מריצים את ההערכה כהפעלה חוזרת פשוטה, שבה ההפעלה היא סשן יחיד ללא הקשר מוזרק.

OutcomeMetadata

נתוני מטא-נתונים על תוצאות ההערכה.

טיפוסים בני מנייה (enum)
OUTCOME_METADATA_UNSPECIFIED	מטא-נתונים לא מוגדרים של תוצאה.
GRACEFUL_HANDOFF	ההערכה הובילה להעברה חלקה לנציג אנושי.

הערות בכלי

הערות על כלי נשלחות ללקוחות MCP כדי לתאר את הסיכון הבסיסי של כלי מסוים. רוב הלקוחות מתייחסים לרמזים האלה כאל רמזים לא מהימנים, אבל אפשר להשתמש בהם כדי להחליט מתי לשלוח למשתמש הנחיה לאישור.

בנוסף למחרוזת הכותרת, מוגדרים הרמזים הבוליאניים הבאים:

• ‫readOnlyHint: אם הערך הוא true, הכלי לא משנה את הסביבה שלו. ברירת מחדל: false.
• ‫destructiveHint: אם הערך הוא True, הכלי יכול לבצע פעולות הרסניות. אם הערך הוא false, הכלי יכול לבצע רק פעולות של הוספה. ברירת מחדל: true.
• ‫idempotentHint: אם הערך הוא True, קריאה חוזרת לכלי עם אותם ארגומנטים לא תשפיע על הסביבה שלו. ברירת מחדל: false.
• ‫openWorldHint: אם הערך הוא true, הכלי יכול ליצור אינטראקציה עם 'עולם פתוח' של ישויות חיצוניות. אם הערך הוא false, הכלי יכול ליצור אינטראקציה רק עם ישויות פנימיות. לדוגמה, כלי לחיפוש באינטרנט יהיה עולם פתוח, אבל כלי לזיכרון לא יהיה עולם פתוח.

רמז הרסני: ❌ | רמז אידמפוטנטי: ❌ | רמז לקריאה בלבד: ❌ | רמז לעולם פתוח: ❌