MCP Tools Reference: ces.googleapis.com

כלי: update_evaluation

עדכון של ההערכה שצוינה. חשוב להקפיד להעביר תמיד מסכת עדכון בקלט.

בדוגמת הקוד הבאה מוצג שימוש בפקודה curl כדי להפעיל את הכלי update_evaluation MCP.

בקשת Curl 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "update_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

סכימת הקלט

בקשת הודעה עבור EvaluationService.UpdateEvaluation.

UpdateEvaluationRequest

ייצוג JSON 
{
  "evaluation": {
    object (Evaluation)
  },
  "updateMask": string
}
שדות
evaluation

object (Evaluation)

חובה. הערכה לעדכון.
updateMask

string (FieldMask format)

זה שינוי אופציונלי. מסכת השדות משמשת לקביעה אילו שדות יעודכנו. אם המסכה לא קיימת, כל השדות יעודכנו.

זוהי רשימה מופרדת בפסיקים של שמות שדות שמוגדרים במלואם. דוגמה: "user.displayName,photo"

הערכה

ייצוג JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
שדות
name

string

מזהה. המזהה הייחודי של ההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

חובה. שם התצוגה שהמשתמש נתן להערכה. ייחודי באפליקציה.
description

string

זה שינוי אופציונלי. תיאור שהמשתמש מגדיר לגבי ההערכה.
tags[]

string

זה שינוי אופציונלי. תגים שהוגדרו על ידי המשתמש לסיווג הבדיקה.
evaluationDatasets[]

string

פלט בלבד. רשימה של מערכי נתונים להערכה שההערכה שייכת להם. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן שבה נוצרה ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
createdBy

string

פלט בלבד. המשתמש שיצר את ההערכה.
updateTime

string (Timestamp format)

פלט בלבד. חותמת זמן של מועד העדכון האחרון של ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

פלט בלבד. המשתמש שעדכן לאחרונה את ההערכה.
evaluationRuns[]

string

פלט בלבד. ה-EvaluationRuns שההערכה הזו משויכת אליהם.
etag

string

פלט בלבד. תג Etag שמשמש כדי לוודא שהאובייקט לא השתנה במהלך פעולת קריאה-שינוי-כתיבה. אם ה-etag ריק, העדכון ידרוס את כל השינויים שמתבצעים בו-זמנית.
aggregatedMetrics

object (AggregatedMetrics)

פלט בלבד. המדדים המצטברים של ההערכה הזו בכל ההרצות.
lastCompletedResult

object (EvaluationResult)

פלט בלבד. תוצאת ההערכה האחרונה של ההערכה הזו.
invalid

boolean

פלט בלבד. האם ההערכה לא תקינה. מצב כזה יכול לקרות אם ההערכה מתייחסת לכלי, לערכת כלים או לנציג שנמחקו מאז.
lastTenResults[]

object (EvaluationResult)

פלט בלבד. 10 התוצאות האחרונות של ההערכה הזו. השדה הזה מאוכלס רק אם הערך של include_last_ten_results מוגדר כ-True ב-ListEvaluationsRequest או ב-GetEvaluationRequest.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

זה שינוי אופציונלי. ביטול של ספי מדדים להערכה הספציפית הזו.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

זה שינוי אופציונלי. הגדרה שמשנה את הגדרות המדדים להערכה הספציפית הזו.
שדה איחוד inputs. הערך של inputs יכול להיות רק אחד מהבאים:
golden

object (Golden)

זה שינוי אופציונלי. השלבים החשובים שצריך לבדוק.
scenario

object (Scenario)

זה שינוי אופציונלי. ההגדרה של תרחיש.

זהוב

ייצוג JSON 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
שדות
turns[]

object (GoldenTurn)

חובה. מספר התורות הנדרש כדי להפעיל מחדש שיחה מוזהבת. המספר המקסימלי של תורות שמותר הוא 100.
evaluationExpectations[]

string

זה שינוי אופציונלי. הציפיות להערכה שעל פיהן תתבצע הערכה של השיחה שהופעלה מחדש. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

ייצוג JSON 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
שדות
steps[]

object (Step)

חובה. השלבים שנדרשים כדי להפעיל מחדש שיחה לדוגמה.
rootSpan

object (Span)

זה שינוי אופציונלי. יחידה לוגית למעקב הבסיסית של התור הזהב לעיבוד ולשמירה של מידע אודיו. ה-URI של האודיו חייב להכיל אודיו שנשמר בתדירות דגימה של 16KHz.
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

זה שינוי אופציונלי. הגדרות שמשנות את ערכי הסף של המדדים ברמת התור.
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. שינוי ברירת המחדל של התנהגות מדד ההזיות ברמת התור.

שלב

ייצוג JSON 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
שדות
שדה איחוד step. השלב לביצוע. הערך step יכול להיות רק אחד מהבאים:
userInput

object (SessionInput)

זה שינוי אופציונלי. קלט של משתמשים לשיחה.
agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. העברת השיחה לסוכן אחר.
expectation

object (GoldenExpectation)

זה שינוי אופציונלי. מריץ ציפייה בתור הנוכחי.

SessionInput

ייצוג JSON 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
שדות
willContinue

boolean

זה שינוי אופציונלי. סימון שמציין אם ההודעה הנוכחית היא קטע מקלט גדול יותר בסשן סטרימינג דו-כיווני.

אם הערך הוא true, הסוכן ידחה את העיבוד עד שהוא יקבל הודעה נוספת שבה הערך של will_continue הוא false, או עד שהמערכת תזהה נקודת קצה בקלט האודיו.

הערה: השדה הזה לא רלוונטי לקלט של אודיו ו-DTMF, כי הם תמיד מעובדים באופן אוטומטי על סמך אות סיום השיחה.
שדה איחוד input_type. סוג הקלט. הערך input_type יכול להיות רק אחד מהבאים:
text

string

זה שינוי אופציונלי. נתוני טקסט ממשתמש הקצה.
dtmf

string

זה שינוי אופציונלי. ספרות DTMF ממשתמש הקצה.
audio

string (bytes format)

זה שינוי אופציונלי. נתוני אודיו ממשתמש הקצה.

מחרוזת בקידוד Base64.
toolResponses

object (ToolResponses)

זה שינוי אופציונלי. תוצאות ההרצה של קריאות הכלים מהלקוח.
image

object (Image)

זה שינוי אופציונלי. נתוני תמונות ממשתמש הקצה.
blob

object (Blob)

זה שינוי אופציונלי. נתוני Blob ממשתמש הקצה.
variables

object (Struct format)

זה שינוי אופציונלי. משתנים לפי הקשר של הסשן, עם מפתח לפי שם. הנציג של CES ישתמש רק במשתנים שהוגדרו באפליקציה.

משתנים לא מזוהים עדיין יישלחו אל [הנציג של Dialogflow][Agent.RemoteDialogflowAgent] כפרמטרים נוספים של הסשן.
event

object (Event)

זה שינוי אופציונלי. קלט האירוע.

ToolResponses

ייצוג JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
שדות
toolResponses[]

object (ToolResponse)

זה שינוי אופציונלי. רשימת תוצאות ההרצה של הכלי.

ToolResponse

ייצוג JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
שדות
id

string

זה שינוי אופציונלי. מזהה התשובה התואם של tool call.
displayName

string

פלט בלבד. השם המוצג של הכלי.
response

object (Struct format)

חובה. תוצאת ההפעלה של הכלי בפורמט אובייקט JSON. משתמשים במפתח 'output' כדי לציין את התגובה של הכלי ובמפתח 'error' כדי לציין את פרטי השגיאה (אם יש). אם לא מציינים את המפתחות 'פלט' ו'שגיאה', המערכת מתייחסת לכל התגובה כתוצאה של הפעלת הכלי.
parentToolCallId

string

פלט בלבד. המזהה של קריאת הכלי שגרמה לקריאה הזו, כשהיא הונפקה על ידי סוכן משנה שפועל בשם קריאת הורה. השדה ריק עבור שיחות ברמה העליונה. מאפשר ללקוח לקבץ את העבודה של סוכן משנה תחת השיחה שהתחילה אותה, במקום להציג כל שלב כפריט באותה רמה.
agentName

string

פלט בלבד. השם של הסוכן שהנפיק את השיחה הזו, בפורמט שקריא לבני אדם, למשל Contract Architect. השדה ריק אם הסוכן הבסיסי הנפיק את ה-ID.
שדה איחוד tool_identifier. המזהה של הכלי שהופעל. יכול להיות שמדובר בכלי קבוע או בכלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool

string

זה שינוי אופציונלי. שם הכלי להפעלה. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

זה שינוי אופציונלי. הכלי בערכת הכלים שהופעל.

ToolsetTool

ייצוג JSON 
{
  "toolset": string,
  "toolId": string
}
שדות
toolset

string

חובה. שם המשאב של ערכת הכלים שממנה נגזר הכלי הזה. פורמט: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

זה שינוי אופציונלי. מזהה הכלי לסינון הכלים כדי לאחזר את הסכימה שלהם.

Struct

ייצוג JSON 
{
  "fields": {
    string: value,
    ...
  }
}
שדות
fields

map (key: string, value: value (Value format))

מפה לא מסודרת של ערכים עם הקלדה דינמית.

אובייקט שמכיל רשימה של "key": value זוגות. לדוגמה: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

ייצוג JSON 
{
  "key": string,
  "value": value
}
שדות
key

string
value

value (Value format)

ערך

ייצוג JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
שדות
שדה איחוד kind. סוג הערך. הערך kind יכול להיות רק אחד מהבאים:
nullValue

null

מייצג JSON null.
numberValue

number

מייצג מספר JSON. הערך לא יכול להיות NaN, Infinity או -Infinity, כי אין תמיכה בערכים האלה ב-JSON. בנוסף, אי אפשר לייצג ערכים גדולים של Int64, כי פורמט JSON בדרך כלל לא תומך בהם בסוג המספר שלו.
stringValue

string

מייצג מחרוזת JSON.
boolValue

boolean

מייצג ערך בוליאני ב-JSON (הליטרלים true או false ב-JSON).
structValue

object (Struct format)

מייצג אובייקט JSON.
listValue

array (ListValue format)

מייצג מערך JSON.

ListValue

ייצוג JSON 
{
  "values": [
    value
  ]
}
שדות
values[]

value (Value format)

שדה חוזר של ערכים עם הקלדה דינמית.

תמונה

ייצוג JSON 
{
  "mimeType": string,
  "data": string
}
שדות
mimeType

string

חובה. סוג ה-MIME התקני של IANA של נתוני המקור. סוגי התמונות הנתמכים כוללים: * image/png * image/jpeg * image/webp
data

string (bytes format)

חובה. בייטים גולמיים של התמונה.

מחרוזת בקידוד Base64.

Blob

ייצוג JSON 
{
  "mimeType": string,
  "data": string
}
שדות
mimeType

string

חובה. סוג ה-MIME התקני של IANA של נתוני המקור.
data

string (bytes format)

חובה. בייטים גולמיים של ה-blob.

מחרוזת בקידוד Base64.

אירוע

ייצוג JSON 
{
  "event": string
}
שדות
event

string

חובה. שם האירוע.

AgentTransfer

ייצוג JSON 
{
  "targetAgent": string,
  "displayName": string
}
שדות
targetAgent

string

חובה. הסוכן שאליו מועברת השיחה. הנציג יטפל בשיחה מעכשיו והלאה. פורמט: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

פלט בלבד. השם המוצג של הסוכן.

GoldenExpectation

ייצוג JSON 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
שדות
note

string

זה שינוי אופציונלי. הערה לגבי הדרישה הזו, שיכולה לעזור לכם לדווח על מקרים שבהם בדיקות ספציפיות נכשלות. למשל, "Check_Payment_Tool_Called".
skipEvaluation

boolean

זה שינוי אופציונלי. אם הערך מוגדר כ-true, הציפייה הספציפית הזו לא תיבדק.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

זה שינוי אופציונלי. מבטל את המדדים ברמת השלב.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

זה שינוי אופציונלי. הגדרות ברירת מחדל לשינוי מדדי הדמיון הסמנטי של agent_response.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

זה שינוי אופציונלי. שינויים במדדים של הזיות בתשובות של סוכנים.
comparisonType

enum (ComparisonType)

זה שינוי אופציונלי. סוג ההשוואה שמשמש לבדיקת הציפייה.
שדה איחוד condition. הבדיקה בפועל שצריך לבצע. הערך condition יכול להיות רק אחד מהבאים:
toolCall

object (ToolCall)

זה שינוי אופציונלי. בודקים אם בוצעה קריאה לכלי ספציפי עם הפרמטרים.
toolResponse

object (ToolResponse)

זה שינוי אופציונלי. בודקים אם כלי ספציפי הגיב בצורה הצפויה.
agentResponse

object (Message)

זה שינוי אופציונלי. בודקים שהנציג הווירטואלי הגיב בתשובה הנכונה. התפקיד 'סוכן' מרומז.
agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. בודקים שהנציג העביר את השיחה לנציג אחר.
updatedVariables

object (Struct format)

זה שינוי אופציונלי. בודקים שהסוכן עדכן את משתני הסשן לערכים הצפויים. הוא שימש גם לתיעוד של עדכוני משתנים של סוכנים לצורך הערכות מוזהבות.
mockToolResponse

object (ToolResponse)

זה שינוי אופציונלי. התגובה של הכלי ל-mock, עם הפרמטרים שמעניינים אתכם. כל הפרמטרים שלא צוינו יומצאו על ידי ה-LLM.
noToolCalls

boolean

זה שינוי אופציונלי. בודקים שלא נעשה שימוש בכלים במהלך התור הזה.

ToolCall

ייצוג JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
שדות
id

string

זה שינוי אופציונלי. המזהה הייחודי של קריאת הכלי. אם השדה מאוכלס, הלקוח צריך להחזיר את תוצאת ההפעלה עם המזהה התואם בשדה ToolResponse.
displayName

string

פלט בלבד. השם המוצג של הכלי.
args

object (Struct format)

זה שינוי אופציונלי. פרמטרי הקלט והערכים של הכלי בפורמט אובייקט JSON.
parentToolCallId

string

פלט בלבד. המזהה של קריאת הכלי שגרמה לקריאה הזו, כשהיא הונפקה על ידי סוכן משנה שפועל בשם קריאת הורה. השדה ריק עבור שיחות ברמה העליונה. מאפשר ללקוח לקבץ את העבודה של סוכן משנה תחת השיחה שהתחילה אותה, במקום להציג כל שלב כפריט באותה רמה.
agentName

string

פלט בלבד. השם של הסוכן שהנפיק את השיחה הזו, בפורמט שקריא לבני אדם, למשל Contract Architect. השדה ריק אם הסוכן הבסיסי הנפיק את ה-ID.
שדה איחוד tool_identifier. המזהה של הכלי להפעלה. יכול להיות שמדובר בכלי קבוע או בכלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool

string

זה שינוי אופציונלי. שם הכלי להפעלה. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

זה שינוי אופציונלי. הכלי להרצה בערכת הכלים.

הודעה

ייצוג JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
שדות
role

string

זה שינוי אופציונלי. התפקיד בשיחה, למשל: משתמש, נציג.
chunks[]

object (Chunk)

זה שינוי אופציונלי. תוכן ההודעה כסדרה של נתחים.
eventTime

string (Timestamp format)

זה שינוי אופציונלי. חותמת הזמן שבה ההודעה נשלחה או התקבלה. אסור להשתמש בערך הזה אם ההודעה היא חלק מexample.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

חלק

ייצוג JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
שדות
שדה איחוד data. לחלק את הנתונים לחלקים. הערך data יכול להיות רק אחד מהבאים:
text

string

זה שינוי אופציונלי. נתוני טקסט.
transcript

string

זה שינוי אופציונלי. תמליל שמשויך לאודיו.
blob

object (Blob)

זה שינוי אופציונלי. נתוני Blob.
payload

object (Struct format)

זה שינוי אופציונלי. נתונים של מטען ייעודי בהתאמה אישית.
image

object (Image)

זה שינוי אופציונלי. נתוני תמונה.
toolCall

object (ToolCall)

זה שינוי אופציונלי. בקשה להרצת כלי.
toolResponse

object (ToolResponse)

זה שינוי אופציונלי. תשובה להרצת הכלי.
agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. אירוע העברה של סוכן.
updatedVariables

object (Struct format)

מבנה נתונים מייצג משתנים שעודכנו בשיחה, עם מפתחות לפי שמות המשתנים.
defaultVariables

object (Struct format)

מבנה נתונים מייצג משתני ברירת מחדל בתחילת השיחה, עם מפתחות לפי שמות המשתנים.

חותמת הזמן

ייצוג JSON 
{
  "seconds": string,
  "nanos": integer
}
שדות
seconds

string (int64 format)

מייצג את השניות של זמן UTC מאז ראשית זמן יוניקס (Unix epoch) ‏1970-01-01T00:00:00Z. הערך חייב להיות בין ‎-62135596800 ל-‎253402300799, כולל (שמתאים לטווח 0001-01-01T00:00:00Z עד 9999-12-31T23:59:59Z).
nanos

integer

שבריר לא שלילי של שנייה ברזולוציית ננו-שנייה. השדה הזה מייצג את החלק של משך הזמן בננו-שניות, ולא מהווה חלופה לשניות. ערכי שניות שליליים עם שברים עדיין צריכים לכלול ערכי ננו-שניות לא שליליים שסופרים קדימה בזמן. הערך חייב להיות בין 0 ל-999,999,999, כולל.

ExpectationLevelMetricsThresholds

ייצוג JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
שדות

שדה איחוד _tool_invocation_parameter_correctness_threshold.

הערך _tool_invocation_parameter_correctness_threshold יכול להיות רק אחד מהבאים:
toolInvocationParameterCorrectnessThreshold

number

זה שינוי אופציונלי. סף ההצלחה לפרמטרים נפרדים של הפעלת כלי. חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

SemanticSimilarityMetricsConfig

ייצוג JSON 
{
  "enableSemanticSimilarityMetrics": boolean
}
שדות
enableSemanticSimilarityMetrics

boolean

זה שינוי אופציונלי. האם לחשב מדדים של דמיון סמנטי לצורך ההערכה.

HallucinationMetricsConfig

ייצוג JSON 
{
  "enableHallucinationMetrics": boolean
}
שדות
enableHallucinationMetrics

boolean

זה שינוי אופציונלי. האם לחשב מדדי הזיות לצורך ההערכה.

Span

ייצוג JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
שדות
name

string

פלט בלבד. השם של ה-span.
startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של טווח הזמן.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של טווח הזמן.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

פלט בלבד. משך הזמן של הטווח.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
attributes

object (Struct format)

פלט בלבד. מאפייני מפתח/ערך שמשויכים לטווח.
childSpans[]

object (Span)

פלט בלבד. טווחים משניים שמוטמעים בטווח הזה.

משך

ייצוג JSON 
{
  "seconds": string,
  "nanos": integer
}
שדות
seconds

string (int64 format)

מספר השניות עם סימן של טווח הזמן. הערך חייב להיות בין ‎-315,576,000,000 לבין ‎+315,576,000,000, כולל. הערה: הגבולות האלה מחושבים לפי: 60 שניות בדקה * 60 דקות בשעה * 24 שעות ביממה * 365.25 ימים בשנה * 10,000 שנים
nanos

integer

שברים חתומים של שנייה ברזולוציית ננו-שנייה של טווח הזמן. משכי זמן של פחות משנייה אחת מיוצגים באמצעות שדה seconds עם הערך 0 ושדה nanos עם ערך חיובי או שלילי. למשכי זמן של שנייה אחת או יותר, הערך בשדה nanos צריך להיות שונה מאפס ובעל אותו סימן כמו הערך בשדה seconds. הערך חייב להיות בין ‎-999,999,999 ל-‎+999,999,999, כולל.

TurnLevelMetricsThresholds

ייצוג JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
שדות
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

זה שינוי אופציונלי. הערוץ של הדמיון הסמנטי שבו רוצים להשתמש להערכה.

שדה איחוד _semantic_similarity_success_threshold.

הערך _semantic_similarity_success_threshold יכול להיות רק אחד מהבאים:
semanticSimilaritySuccessThreshold

integer

זה שינוי אופציונלי. סף ההצלחה לדמיון סמנטי. חייב להיות מספר שלם בין 0 ל-4. ברירת המחדל היא >= 3.

שדה איחוד _overall_tool_invocation_correctness_threshold.

הערך _overall_tool_invocation_correctness_threshold יכול להיות רק אחד מהבאים:
overallToolInvocationCorrectnessThreshold

number

זה שינוי אופציונלי. סף ההצלחה לדיוק הכולל של הפעלת הכלי. חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

תרחיש

ייצוג JSON 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
שדות
task

string

חובה. המשימה שהתרחיש יתמקד בה.
userFacts[]

object (UserFact)

זה שינוי אופציונלי. העובדות על המשתמש שבהן התרחיש ישתמש.
maxTurns

integer

זה שינוי אופציונלי. מספר הפניות המקסימלי לסימולציה. הערך המקסימלי המותר הוא 100. ערך ברירת המחדל הוא 100.
rubrics[]

string

חובה. קריטריונים לדירוג התרחיש.
scenarioExpectations[]

object (ScenarioExpectation)

חובה. ה-ScenarioExpectations להערכת השיחה שנוצרה על ידי סימולציית המשתמש.
variableOverrides

object (Struct format)

זה שינוי אופציונלי. משתנים / פרמטרים של סשן כהקשר לסשן, עם מפתח לפי שמות המשתנים. הערכים של המשתנים האלה יחליפו את ערכי ברירת המחדל שהוגדרו על ידי המערכת.

הערה: אלה עובדות שונות מעובדות על המשתמש, שהן עובדות שהמשתמש מכיר. משתנים הם פרמטרים שהסוכן מכיר: כלומר, MDN (מספר טלפון) שמועבר על ידי מערכת הטלפוניה.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

זה שינוי אופציונלי. הוצאה משימוש, במקום זאת, צריך להשתמש במאפיין user_goal_behavior.
userGoalBehavior

enum (UserGoalBehavior)

זה שינוי אופציונלי. ההתנהגות הצפויה של המשתמש ביחס ליעד.
evaluationExpectations[]

string

זה שינוי אופציונלי. הציפיות להערכה שמשמשות להערכת השיחה שנוצרה על ידי הסימולציה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (ScenarioExecutionMode)

זה שינוי אופציונלי. מצב ההרצה של הערכות התרחישים.

UserFact

ייצוג JSON 
{
  "name": string,
  "value": string
}
שדות
name

string

חובה. השם של עובדת המשתמש.
value

string

חובה. הערך של נתון המשתמש.

ScenarioExpectation

ייצוג JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
שדות
שדה איחוד expectation. הציפייה להערכת השיחה שנוצרה על ידי הסימולציה. הערך expectation יכול להיות רק אחד מהבאים:
toolExpectation

object (ToolExpectation)

זה שינוי אופציונלי. הזוג של קריאה לכלי ותגובה שצריך להעריך.
agentResponse

object (Message)

זה שינוי אופציונלי. תשובת הסוכן שצריך להעריך.

ToolExpectation

ייצוג JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
שדות
expectedToolCall

object (ToolCall)

חובה. הקריאה הצפויה לכלי, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי ה-LLM.
mockToolResponse

object (ToolResponse)

חובה. התגובה של הכלי ל-mock, עם הפרמטרים שמעניינים אתכם. כל הפרמטרים שלא צוינו יומצאו על ידי ה-LLM.

AggregatedMetrics

ייצוג JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
שדות
metricsByAppVersion[]

object (MetricsByAppVersion)

פלט בלבד. מדדים מצטברים, מקובצים לפי מזהה גרסת האפליקציה.

MetricsByAppVersion

ייצוג JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
שדות
appVersionId

string

פלט בלבד. מזהה גרסת האפליקציה.
toolMetrics[]

object (ToolMetrics)

פלט בלבד. מדדים לכל כלי בגרסה הזו של האפליקציה.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

פלט בלבד. מדדים לדמיון סמנטי בגרסת האפליקציה הזו.
hallucinationMetrics[]

object (HallucinationMetrics)

פלט בלבד. מדדים להזיות בגרסת האפליקציה הזו.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

פלט בלבד. מדדים של זמן האחזור של קריאות לכלי בגרסה הזו של האפליקציה.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

פלט בלבד. מדדים של זמן התגובה בגרסת האפליקציה הזו.
passCount

integer

פלט בלבד. מספר הפעמים שההערכה עברה.
failCount

integer

פלט בלבד. מספר הפעמים שההערכה נכשלה.
metricsByTurn[]

object (MetricsByTurn)

פלט בלבד. מדדים מצטברים לכל תור בגרסת האפליקציה הזו.

ToolMetrics

ייצוג JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
שדות
tool

string

פלט בלבד. שם הכלי.
passCount

integer

פלט בלבד. מספר הפעמים שהכלי עבר.
failCount

integer

פלט בלבד. מספר הפעמים שהכלי נכשל.

SemanticSimilarityMetrics

ייצוג JSON 
{
  "score": number
}
שדות
score

number

פלט בלבד. הציון הממוצע של הדמיון הסמנטי (0-4).

HallucinationMetrics

ייצוג JSON 
{
  "score": number
}
שדות
score

number

פלט בלבד. הציון הממוצע של הזיות (0 עד 1).

ToolCallLatencyMetrics

ייצוג JSON 
{
  "tool": string,
  "averageLatency": string
}
שדות
tool

string

פלט בלבד. שם הכלי.
averageLatency

string (Duration format)

פלט בלבד. החביון הממוצע של קריאות הכלים.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

TurnLatencyMetrics

ייצוג JSON 
{
  "averageLatency": string
}
שדות
averageLatency

string (Duration format)

פלט בלבד. זמן האחזור הממוצע של התורות.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

MetricsByTurn

ייצוג JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
שדות
turnIndex

integer

פלט בלבד. אינדקס הפנייה (מתחיל מ-0).
toolMetrics[]

object (ToolMetrics)

פלט בלבד. מדדים לכל כלי בתור הזה.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

פלט בלבד. מדדים לדמיון סמנטי בתור הזה.
hallucinationMetrics[]

object (HallucinationMetrics)

פלט בלבד. מדדים להזיות בתור הזה.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

פלט בלבד. מדדים של זמן האחזור של קריאה לכלי בתור הזה.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

פלט בלבד. מדדים של זמן הטעינה של התור הנוכחי.

EvaluationResult

ייצוג JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
שדות
name

string

מזהה. המזהה הייחודי של תוצאת הבדיקה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

חובה. השם המוצג של תוצאת ההערכה. ייחודי בתוך הערכה. כברירת מחדל, הפורמט הוא: result - ‎.
createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן שבה נוצרה תוצאת ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

פלט בלבד. תוצאת ההערכה. השדה הזה מאוכלס רק אם execution_state הוא COMPLETE.
evaluationRun

string

פלט בלבד. הפעלת ההערכה שהניבה את התוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

פלט בלבד. הפרסונה ששימשה ליצירת השיחה לתוצאת ההערכה.
errorInfo

object (EvaluationErrorInfo)

פלט בלבד. פרטי השגיאה בתוצאת ההערכה.
error
(deprecated)

object (Status)

פלט בלבד. הוצא משימוש: במקומו, צריך להשתמש ב-error_info. שגיאות שאירעו במהלך הביצוע.
initiatedBy

string

פלט בלבד. המשתמש שיזם את הרצת ההערכה שהניבה את התוצאה הזו.
appVersion

string

פלט בלבד. גרסת האפליקציה ששימשה ליצירת השיחה שהובילה לתוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

פלט בלבד. השם המוצג של app_version שההערכה בוצעה לגביו.
changelog

string

פלט בלבד. יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה.
changelogCreateTime

string (Timestamp format)

פלט בלבד. זמן היצירה של יומן השינויים של גרסת האפליקציה שההערכה הופעלה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

פלט בלבד. המצב של ביצוע תוצאת ההערכה.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

פלט בלבד. ספי הבדיקה של התוצאה.
config

object (EvaluationConfig)

פלט בלבד. ההגדרה שבה נעשה שימוש בהרצת ההערכה שהניבה את התוצאה הזו.
goldenRunMethod

enum (GoldenRunMethod)

פלט בלבד. השיטה שבה נעשה שימוש להפעלת הערכת הזהב.
rootSpan

object (Span)

פלט בלבד. יחידה לוגית למעקב ברמת הבסיס של הרצת ההערכה, שכוללת מידע על כל שלב בהערכה.
outcomeMetadata

enum (OutcomeMetadata)

פלט בלבד. מטא-נתונים של תוצאת הבדיקה. השדה הזה מאוכלס רק אם execution_state הוא COMPLETE.
שדה איחוד result. התוצאה של ההערכה. השדה הזה מאוכלס רק כש-execution_state הוא COMPLETED. הערך result יכול להיות רק אחד מהבאים:
goldenResult

object (GoldenResult)

פלט בלבד. התוצאה של הערכת הזהב.
scenarioResult

object (ScenarioResult)

פלט בלבד. התוצאה של הערכת תרחיש.

GoldenResult

ייצוג JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
שדות
turnReplayResults[]

object (TurnReplayResult)

פלט בלבד. התוצאה של הרצת כל תור בשיחה המוזהבת.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

פלט בלבד. תוצאות הציפיות מההערכה.

TurnReplayResult

ייצוג JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
שדות
conversation

string

פלט בלבד. השיחה שנוצרה בתור הזה.
expectationOutcome[]

object (GoldenExpectationOutcome)

פלט בלבד. התוצאה של כל ציפייה.
hallucinationResult

object (HallucinationResult)

פלט בלבד. התוצאה של בדיקת ההזיות.
toolInvocationScore
(deprecated)

number

פלט בלבד. הוצאה משימוש, במקומו, צריך להשתמש ב-OverallToolInvocationResult.
turnLatency

string (Duration format)

פלט בלבד. משך התור.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

פלט בלבד. החביון של כל קריאה לכלי בתור.
semanticSimilarityResult

object (SemanticSimilarityResult)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
overallToolInvocationResult

object (OverallToolInvocationResult)

פלט בלבד. התוצאה של הבדיקה הכוללת של הפעלת הכלי.
errorInfo

object (EvaluationErrorInfo)

פלט בלבד. מידע על השגיאה שאירעה במהלך התור הזה.
spanLatencies[]

object (SpanLatency)

פלט בלבד. זמן האחזור של טווחי הזמן בפנייה.

שדה איחוד _tool_ordered_invocation_score.

הערך _tool_ordered_invocation_score יכול להיות רק אחד מהבאים:
toolOrderedInvocationScore

number

פלט בלבד. הציון הכולל של הפעלת הכלי בתור הזה. המדד הזה מציין את אחוז הכלים הכולל מתוך התור הצפוי שהופעלו בפועל בסדר הצפוי.

GoldenExpectationOutcome

ייצוג JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
שדות
expectation

object (GoldenExpectation)

פלט בלבד. הציפייה שנבדקה.
outcome

enum (Outcome)

פלט בלבד. התוצאה של הציפייה.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
toolInvocationResult

object (ToolInvocationResult)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי.
שדה איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall

object (ToolCall)

פלט בלבד. התוצאה של הציפייה לקריאה לכלי.
observedToolResponse

object (ToolResponse)

פלט בלבד. התוצאה של הציפייה לתגובה מהכלי.
observedAgentResponse

object (Message)

פלט בלבד. התוצאה של הציפייה לתגובה מהסוכן.
observedAgentTransfer

object (AgentTransfer)

פלט בלבד. התוצאה של ההעברה הצפויה לנציג.
observedPayload

object (Struct format)

פלט בלבד. מטען ייעודי (payload) מותאם אישית שנצפה. אין ציפיות לגבי מטען ייעודי (payload) בהתאמה אישית. הערך הזה משמש רק לחישוב מדדים. התוצאה תמיד תהיה SKIPPED.

SemanticSimilarityResult

ייצוג JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 4: עקבי לחלוטין ציון 3: עקבי ברובו ציון 2: עקבי באופן חלקי (השמטות קלות) ציון 1: לא עקבי במידה רבה (השמטות משמעותיות) ציון 0: לא עקבי לחלוטין / סותר
explanation

string

פלט בלבד. ההסבר לציון הדמיון הסמנטי.
outcome

enum (Outcome)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי. הוא נקבע על ידי השוואת הציון לערך של semantic_similarity_success_threshold. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. ציון הדמיון הסמנטי. יכול להיות 0, 1, 2, 3 או 4.

ToolInvocationResult

ייצוג JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
שדות
outcome

enum (Outcome)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. ההחלטה מתקבלת על סמך השוואה בין הציון parameter_correctness_score לבין ערך הסף. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.
explanation

string

פלט בלבד. הסבר בטקסט חופשי לתוצאה של הפעלת הכלי.

שדה איחוד _parameter_correctness_score.

הערך _parameter_correctness_score יכול להיות רק אחד מהבאים:
parameterCorrectnessScore

number

פלט בלבד. ציון הדיוק של פרמטר ההפעלה של הכלי. הערך הזה מציין את אחוז הפרמטרים מתוך קריאת הכלי הצפויה שהיו גם בקריאת הכלי בפועל.

HallucinationResult

ייצוג JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: מוצדק ציון 0: לא מוצדק ציון ‎-1: אין טענה להערכה
explanation

string

פלט בלבד. ההסבר לציון ההזיה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. ציון ההזיות. יכול להיות ‎-1, 0, 1.

ToolCallLatency

ייצוג JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
שדות
tool

string

פלט בלבד. שם הכלי שהופעל. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
displayName

string

פלט בלבד. השם המוצג של הכלי.
startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של הרצת הכלי.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של ההרצה של קריאת הכלי.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

פלט בלבד. זמן האחזור של הפעלת הכלי.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

OverallToolInvocationResult

ייצוג JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
שדות
outcome

enum (Outcome)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. ההחלטה מתקבלת על ידי השוואה בין הציון tool_invocation_score לבין סף הדיוק הכולל של הפעלת הכלי overall_tool_invocation_correctness_threshold. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.

שדה איחוד _tool_invocation_score.

הערך _tool_invocation_score יכול להיות רק אחד מהבאים:
toolInvocationScore

number

הציון הכולל של הפעלת הכלי בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים מהתור הצפוי שהופעלו בפועל.

EvaluationErrorInfo

ייצוג JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
שדות
errorType

enum (ErrorType)

פלט בלבד. סוג השגיאה.
errorMessage

string

פלט בלבד. הודעת השגיאה.
sessionId

string

פלט בלבד. מזהה הסשן של השיחה שגרמה לשגיאה.
userFacingErrorMessage

string

פלט בלבד. הודעת השגיאה שמוצגת למשתמש.

SpanLatency

ייצוג JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
שדות
type

enum (Type)

פלט בלבד. סוג הטווח.
displayName

string

פלט בלבד. השם המוצג של הטווח. רלוונטי לכלים ולגבולות שמוגדרים בטווחים.
startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של הטווח.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של טווח הזמן.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

פלט בלבד. זמן האחזור של הטווח.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
שדה איחוד identifier. המזהה של הפריט הספציפי על סמך הסוג שלו. הערך identifier יכול להיות רק אחד מהבאים:
resource

string

פלט בלבד. שם המשאב של אמצעי הבקרה או של הכלים.
toolset

object (ToolsetTool)

פלט בלבד. מזהה הכלי בערכת הכלים.
model

string

פלט בלבד. השם של טווח ה-LLM.
callback

string

פלט בלבד. השם של טווח הקריאה החוזרת של המשתמש.

EvaluationExpectationResult

ייצוג JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
שדות
evaluationExpectation

string

פלט בלבד. הציפייה מההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

פלט בלבד. ההנחיה שבה נעשה שימוש לצורך ההערכה.
outcome

enum (Outcome)

פלט בלבד. התוצאה של ציפיית ההערכה.
explanation

string

פלט בלבד. ההסבר לתוצאה.

ScenarioResult

ייצוג JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
שדות
conversation

string

פלט בלבד. השיחה שנוצרה בתרחיש.
task

string

פלט בלבד. המשימה ששימשה להרצת התרחיש לתוצאה הזו.
userFacts[]

object (UserFact)

פלט בלבד. הנתונים על המשתמש ששימשו את התרחיש לחישוב התוצאה הזו.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

פלט בלבד. התוצאה של כל ציפייה.
rubricOutcomes[]

object (ScenarioRubricOutcome)

פלט בלבד. התוצאה של קריטריון ההערכה.
hallucinationResult[]

object (HallucinationResult)

פלט בלבד. התוצאה של בדיקת ההזיות. תהיה תוצאת הזיה אחת לכל תור בשיחה.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

פלט בלבד. התוצאה של בדיקת השלמת המשימה.
toolCallLatencies[]

object (ToolCallLatency)

פלט בלבד. ההשהיה של כל הפעלה של קריאה לכלי בשיחה.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

פלט בלבד. התוצאה של בדיקת שביעות הרצון של המשתמש מהשגת המטרה.
spanLatencies[]

object (SpanLatency)

פלט בלבד. ההשהיה של טווחי הזמן בשיחה.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

פלט בלבד. תוצאות הציפיות מההערכה.

שדה איחוד _all_expectations_satisfied.

הערך _all_expectations_satisfied יכול להיות רק אחד מהבאים:
allExpectationsSatisfied

boolean

פלט בלבד. האם כל הציפיות התממשו בתור הזה.

שדה איחוד _task_completed.

הערך _task_completed יכול להיות רק אחד מהבאים:
taskCompleted

boolean

פלט בלבד. האם המשימה הושלמה בתור הזה. התשובה מורכבת מכל הציפיות שהתממשו, ללא הזיות, וממידת שביעות הרצון של המשתמש מהשגת היעד.

ScenarioExpectationOutcome

ייצוג JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
שדות
expectation

object (ScenarioExpectation)

פלט בלבד. הציפייה שנבדקה.
outcome

enum (Outcome)

פלט בלבד. התוצאה של ScenarioExpectation.
שדה איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall

object (ObservedToolCall)

פלט בלבד. הקריאה לכלי שנצפתה.
observedAgentResponse

object (Message)

פלט בלבד. התשובה שנצפתה מהסוכן.

ObservedToolCall

ייצוג JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
שדות
toolCall

object (ToolCall)

פלט בלבד. הקריאה לכלי שנצפתה.
toolResponse

object (ToolResponse)

פלט בלבד. התשובה שנצפתה מהכלי.

ScenarioRubricOutcome

ייצוג JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
שדות
rubric

string

פלט בלבד. קריטריון ההערכה ששימש להערכת השיחה.
scoreExplanation

string

פלט בלבד. התשובה של המעריך לקריטריון ההערכה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

number

פלט בלבד. הציון של השיחה בהשוואה לקריטריון ההערכה.

TaskCompletionResult

ייצוג JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: ציון על השלמת משימה ציון 0: ציון על אי-השלמת משימה ציון ‎-1: יעד המשתמש לא הוגדר
explanation

string

פלט בלבד. הסבר על ציון השלמת המשימה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. הציון על השלמת המשימה. יכול להיות ‎-1, 0, 1

UserGoalSatisfactionResult

ייצוג JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 2: ציון העברה חלקה ציון 1: ציון שביעות רצון של המשתמש מהמשימה ציון 0: ציון חוסר שביעות רצון של המשתמש מהמשימה ציון ‎-1: ציון לא מוגדר של שביעות רצון של המשתמש מהמשימה
explanation

string

פלט בלבד. הסבר לציון שביעות הרצון של המשתמש מהמשימה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. ציון שביעות הרצון של המשתמש מהמשימה. יכול להיות ‎-1, 0, 1, 2.

EvaluationPersona

ייצוג JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
שדות
name

string

חובה. המזהה הייחודי של האישיות. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

זה שינוי אופציונלי. תיאור של האישיות.
displayName

string

חובה. השם המוצג של האישיות. ייחודי בתוך אפליקציה.
personality

string

חובה. הוראה לסוכן לגבי אופן ההתנהגות בתהליך ההערכה.
speechConfig

object (SpeechConfig)

זה שינוי אופציונלי. הגדרות של איך האישיות נשמעת (הגדרות TTS).

SpeechConfig

ייצוג JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
שדות
speakingRate

number

זה שינוי אופציונלי. קצב הדיבור. ‫1.0 הוא ערך רגיל. ערך נמוך יותר מייצג קצב איטי יותר (למשל, 0.8), וערך גבוה יותר מייצג קצב מהיר יותר (למשל, 1.5). הבדיקה הזו שימושית כדי לראות איך הסוכן מתמודד עם אנשים שמדברים מהר.
environment

enum (BackgroundEnvironment)

זה שינוי אופציונלי. סביבת האודיו המדומה.
voiceId

string

זה שינוי אופציונלי. המזהה הספציפי של הקול או המבטא שבו רוצים להשתמש. דוגמה: en-US-Wavenet-D או en-GB-Standard-A

סטטוס

ייצוג JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
שדות
code

integer

קוד הסטטוס, שצריך להיות ערך enum של google.rpc.Code.
message

string

הודעת שגיאה שמוצגת למפתחים, שצריכה להיות באנגלית. כל הודעת שגיאה שמוצגת למשתמש צריכה להיות מותאמת לשפה המקומית ולהישלח בשדה google.rpc.Status.details, או להיות מותאמת לשפה המקומית על ידי הלקוח.
details[]

object

רשימה של הודעות שכוללות את פרטי השגיאה. יש קבוצה משותפת של סוגי הודעות לשימוש בממשקי API.

אובייקט שמכיל שדות מסוג שרירותי. שדה נוסף "@type" מכיל URI שמזהה את הסוג. לדוגמה: { "id": 1234, "@type": "types.example.com/standard/id" }.

הכול

ייצוג JSON 
{
  "typeUrl": string,
  "value": string
}
שדות
typeUrl

string

מזהה את הסוג של הודעת Protobuf שעברה סריאליזציה באמצעות הפניה ל-URI שכוללת קידומת שמסתיימת בקו נטוי ואת שם הסוג שמוגדר במלואו.

דוגמה: type.googleapis.com/google.protobuf.StringValue

המחרוזת הזו צריכה להכיל לפחות תו אחד של /, והתוכן אחרי ה-/ האחרון צריך להיות השם המלא של הסוג בפורמט קנוני, בלי נקודה מובילה. אל תכתבו סכימה בהפניות ל-URI האלה כדי שהלקוחות לא ינסו ליצור איתם קשר.

הקידומת היא שרירותית, וההטמעות של Protobuf אמורות פשוט להסיר את כל מה שמופיע עד הסימן / האחרון, כולל הסימן עצמו, כדי לזהות את הסוג. ‫type.googleapis.com/ היא תחילית ברירת מחדל נפוצה שנדרשת בחלק מההטמעות מדור קודם. הקידומת הזו לא מציינת את המקור של הסוג, ולא צפוי שמזהי URI שמכילים אותה יגיבו לבקשות כלשהן.

כל מחרוזות כתובות ה-URL של הסוג חייבות להיות הפניות חוקיות ל-URI, עם הגבלה נוספת (בפורמט הטקסט) שלפיה התוכן של ההפניה חייב לכלול רק תווים אלפאנומריים, תווים מיוחדים עם קידוד אחוזים ותווים מהקבוצה הבאה (לא כולל הגרשיים החיצוניים): /-.~_!$&()*+,;=. למרות שאנחנו מאפשרים קידודים באחוזים, בהטמעות לא צריך לבטל את הקידוד שלהם כדי למנוע בלבול עם מנתחים קיימים. לדוגמה, בקשה עם הערך type.googleapis.com%2FFoo צריכה להידחות.

בתכנון המקורי של Any, נשקלה האפשרות להפעיל שירות לפתרון סוגים בכתובות ה-URL האלה של הסוגים, אבל ב-Protobuf מעולם לא הוטמע שירות כזה, והפנייה לכתובות ה-URL האלה נחשבת לבעייתית ולבעיית אבטחה פוטנציאלית. אל תנסו ליצור קשר עם כתובות URL מסוג 'יצירת קשר'.
value

string (bytes format)

מכיל סריאליזציה של Protobuf של הסוג שמתואר על ידי type_url.

מחרוזת בקידוד Base64.

EvaluationMetricsThresholds

ייצוג JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
שדות
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

זה שינוי אופציונלי. ערכי הסף של מדדי ההערכה המושלמים.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. הוצא משימוש: במקומו, צריך להשתמש ב-golden_hallucination_metric_behavior. ההתנהגות של מדד ההזיות משמשת כרגע להערכות מוזהבות.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות מוזהבות.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות של תרחישים.

GoldenEvaluationMetricsThresholds

ייצוג JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
שדות
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

זה שינוי אופציונלי. ערכי הסף של המדדים ברמת התור.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

זה שינוי אופציונלי. ערכי הסף של מדדי רמת הציפייה.
toolMatchingSettings

object (ToolMatchingSettings)

זה שינוי אופציונלי. הגדרות ההתאמה של הכלי. קריאה נוספת לכלי היא קריאה לכלי שקיימת בהרצה אבל לא תואמת לאף קריאה לכלי בציפייה המוזהבת.

ToolMatchingSettings

ייצוג JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
שדות
extraToolCallBehavior

enum (ExtraToolCallBehavior)

זה שינוי אופציונלי. התנהגות במקרה של קריאות נוספות לכלים. ברירת המחדל היא FAIL.

EvaluationConfig

ייצוג JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
שדות
inputAudioConfig

object (InputAudioConfig)

זה שינוי אופציונלי. הגדרות לעיבוד האודיו שמתקבל מהמיקרופון.
outputAudioConfig

object (OutputAudioConfig)

זה שינוי אופציונלי. הגדרות ליצירת פלט האודיו.
evaluationChannel

enum (EvaluationChannel)

זה שינוי אופציונלי. הערוץ שרוצים להעריך.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

זה שינוי אופציונלי. קובע אם ההערכה צריכה להשתמש בקריאות אמיתיות לכלים או בכלים מזויפים.

InputAudioConfig

ייצוג JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
שדות
audioEncoding

enum (AudioEncoding)

חובה. הקידוד של נתוני האודיו של הקלט.
sampleRateHertz

integer

חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הקלט.
noiseSuppressionLevel

string

זה שינוי אופציונלי. האם להפעיל סינון רעשים באודיו של הקלט. הערכים האפשריים הם low,‏ moderate,‏ high,‏ very_high.

OutputAudioConfig

ייצוג JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
שדות
audioEncoding

enum (AudioEncoding)

חובה. הקידוד של נתוני האודיו של הפלט.
sampleRateHertz

integer

חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הפלט.

EvaluationMetricsConfig

ייצוג JSON 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
שדות
goldenMetricsConfig

object (GoldenMetricsConfig)

זה שינוי אופציונלי. הגדרות של המדדים המרכזיים להערכה.
scenarioMetricsConfig

object (ScenarioMetricsConfig)

זה שינוי אופציונלי. הגדרות מדדי התרחיש להערכה.

GoldenMetricsConfig

ייצוג JSON 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
שדות
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

זה שינוי אופציונלי. הגדרה גלובלית של מדדים של דמיון סמנטי.
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדי דיוק של כלי ברמת התור.
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדי דיוק של כלי ברמת השלב.

ToolCorrectnessMetricsConfig

ייצוג JSON 
{
  "enableToolCorrectnessMetrics": boolean
}
שדות
enableToolCorrectnessMetrics

boolean

זה שינוי אופציונלי. האם לחשב מדדי נכונות של הכלי לצורך ההערכה.

ScenarioMetricsConfig

ייצוג JSON 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
שדות
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדים של השגת יעדים עסקיים ברמת המשתמש.
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדים של רמת הציפיות.

UserGoalMetMetricsConfig

ייצוג JSON 
{
  "enableUserGoalMetMetrics": boolean
}
שדות
enableUserGoalMetMetrics

boolean

זה שינוי אופציונלי. האם לחשב את מדדי היעד שהמשתמש השיג לצורך ההערכה.

ExpectationsMetMetricsConfig

ייצוג JSON 
{
  "enableExpectationsMetMetrics": boolean
}
שדות
enableExpectationsMetMetrics

boolean

זה שינוי אופציונלי. האם לחשב את מדדי רמת הציפיות להערכה.

FieldMask

ייצוג JSON 
{
  "paths": [
    string
  ]
}
שדות
paths[]

string

קבוצת הנתיבים של אנונימיזציה של שדות.

NullValue

מייצג JSON null.

‫NullValue הוא ערך שמירה, שמשתמש בערך מספרי עם ערך אחד בלבד כדי לייצג את ערך ה-null עבור איחוד הסוגים Value.

שדה מסוג NullValue עם ערך כלשהו שאינו 0 נחשב לא תקין. רוב כלי הסריאליזציה של ProtoJSON יפלטו Value עם null_value שמוגדר כ-null JSON בלי קשר לערך המספרי, ולכן יבצעו המרה הלוך ושוב לערך 0.

טיפוסים בני מנייה (enum)
NULL_VALUE ערך null.

ComparisonType

סוגי ההשוואה הנתמכים לבדיקת התשובה של הסוכן.

טיפוסים בני מנייה (enum)
COMPARISON_TYPE_UNSPECIFIED סוג השוואה לא צוין. ההתנהגות מוגדרת כברירת מחדל ל-SEMANTIC_SIMILARITY לתגובות של סוכנים ולקריאות כלים.
EQUALS התאמה מדויקת של מחרוזת.
CONTAINS התאמה של מחרוזת משנה (בודקת אם המחרוזת הצפויה כלולה בתשובה בפועל).
SEMANTIC_SIMILARITY התאמה של דמיון סמנטי (הערכת דמיון במשמעות באמצעות LLM).

SemanticSimilarityChannel

הערוץ שבו רוצים להשתמש לדמיון סמנטי.

טיפוסים בני מנייה (enum)
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED לא צוין מדד. ברירת המחדל היא TEXT.
TEXT שימוש בדמיון סמנטי בין טקסטים.
AUDIO שימוש בדמיון סמנטי של אודיו.

HallucinationMetricBehavior

ההתנהגות של מדד ההזיות. ללא קשר להתנהגות, המדד תמיד יחושב. ההבדל הוא שכשהמדד מושבת, הוא לא משמש לחישוב הציון הכולל של ההערכה.

טיפוסים בני מנייה (enum)
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת של מדד הזיות.
DISABLED השבתה של מדד ההזיות.
ENABLED הפעלת מדד ההזיות.

TaskCompletionBehavior

ההתנהגות הצפויה של משימת המשתמש. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ברירת המחדל היא TASK_SATISFIED.
TASK_SATISFIED משימת המשתמש צריכה להסתיים בהצלחה.
TASK_REJECTED צריך לדחות את משימת המשתמש.

UserGoalBehavior

ההתנהגות הצפויה של המשתמש ביחס ליעד. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
USER_GOAL_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ברירת המחדל היא USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED המטרה של המשתמש צריכה להסתיים בהצלחה.
USER_GOAL_REJECTED צריך לדחות את יעד המשתמש.
USER_GOAL_IGNORED מתעלמים מהסטטוס של היעד של המשתמש.

ScenarioExecutionMode

מצב ההרצה של הערכות התרחישים.

טיפוסים בני מנייה (enum)
SCENARIO_EXECUTION_MODE_UNSPECIFIED מצב ביצוע לא מוגדר. ברירת המחדל היא QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED מצב אופטימיזציה לאיכות.
SPEED_OPTIMIZED מצב אופטימיזציה למהירות.

תוצאת הסריקה

התוצאה של הבדיקה או הציפייה.

טיפוסים בני מנייה (enum)
OUTCOME_UNSPECIFIED תוצאת ההערכה לא צוינה.
PASS ההערכה או הציפייה עברו. במקרה של הערכה, המשמעות היא שכל הציפיות התממשו.
FAIL ההערכה או הציפייה נכשלו. במקרה של הערכה, המשמעות היא שלפחות ציפייה אחת לא התממשה.
SKIPPED דילוג על הערכה/ציפייה.

ErrorType

סוג השגיאה

טיפוסים בני מנייה (enum)
ERROR_TYPE_UNSPECIFIED סוג שגיאה לא מזוהה.
RUNTIME_FAILURE הייתה שגיאה במהלך ההרצה.
CONVERSATION_RETRIEVAL_FAILURE הייתה בעיה והשיחה לא אוחזרה מ-CES Runtime.
METRIC_CALCULATION_FAILURE לא הצלחנו לחשב מדד או תוצאה.
EVALUATION_UPDATE_FAILURE עדכון ההערכה נכשל.
QUOTA_EXHAUSTED הגעתם למכסה.
USER_SIMULATION_FAILURE הייתה שגיאה במהלך סימולציית המשתמשים.

סוג

סוג הטווח. יכול להיות שבעתיד נוסיף עוד ערכים.

טיפוסים בני מנייה (enum)
TYPE_UNSPECIFIED ערך ברירת המחדל. הערך הזה לא בשימוש.
TOOL טווח של קריאה לכלי.
USER_CALLBACK משך הזמן של שיחת משתמש חוזרת.
GUARDRAIL טווח שכבות ההגנה.
LLM טווח LLM.

BackgroundEnvironment

סביבת אודיו מדומה.

טיפוסים בני מנייה (enum)
BACKGROUND_ENVIRONMENT_UNSPECIFIED לא צוינה סביבת רקע.
CALL_CENTER סביבת מוקד טלפוני.
TRAFFIC סביבה עם רעשי תנועה.
KIDS_NOISE סביבה רועשת של ילדים.
CAFE סביבת בית קפה.

ExecutionState

המצב של ביצוע תוצאת ההערכה.

טיפוסים בני מנייה (enum)
EXECUTION_STATE_UNSPECIFIED לא צוין מצב הביצוע של תוצאת ההערכה.
QUEUED ההפעלה של תוצאת ההערכה ממתינה בתור.
RUNNING ההרצה של תוצאת ההערכה מתבצעת.
COMPLETED ההרצה של תוצאת ההערכה הסתיימה.
ERROR הביצוע של תוצאת ההערכה נכשל בגלל שגיאה פנימית.
CANCELLED ההרצה של תוצאת ההערכה בוטלה.

ExtraToolCallBehavior

ההגדרה הזו מגדירה את ההתנהגות כשנתקלים בקריאה נוספת לכלי. קריאה נוספת לכלי היא קריאה לכלי שקיימת בהרצה אבל לא תואמת לאף קריאה לכלי בציפייה המוזהבת.

טיפוסים בני מנייה (enum)
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ברירת המחדל היא FAIL.
FAIL הבדיקה תיכשל אם יזוהה קריאה נוספת לכלי.
ALLOW מאשרים את השימוש בכלי הנוסף.

AudioEncoding

המאפיין AudioEncoding מציין את פורמט הקידוד של נתוני האודיו.

טיפוסים בני מנייה (enum)
AUDIO_ENCODING_UNSPECIFIED קידוד אודיו שלא צוין.
LINEAR16 קידוד אודיו PCM ליניארי של 16 ביט.
MULAW דגימות של 8 ביט שמרחיבות דגימות אודיו של 14 ביט באמצעות G.711 PCMU/mu-law.
ALAW דגימות של 8 ביט שמרחיבות דגימות אודיו של 14 ביט באמצעות G.711 PCMU/A-law.

EvaluationChannel

הערוץ שרוצים להעריך.

טיפוסים בני מנייה (enum)
EVALUATION_CHANNEL_UNSPECIFIED ערוץ הערכה לא מוגדר.
TEXT ערוץ הערכה מסוג טקסט בלבד.
AUDIO ערוץ להערכת אודיו.

EvaluationToolCallBehaviour

הגדרת אופן הפעולה של קריאות לכלי בהרצות של הערכה.

טיפוסים בני מנייה (enum)
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED התנהגות לא מוגדרת של קריאה לכלי. ברירת המחדל היא שימוש בקריאות אמיתיות לכלי.
REAL שימוש בקריאות אמיתיות לכלי.
FAKE שימוש בקריאות מזויפות לכלים.

GoldenRunMethod

השיטה שבה נעשה שימוש להפעלת ההערכה.

טיפוסים בני מנייה (enum)
GOLDEN_RUN_METHOD_UNSPECIFIED לא צוינה שיטת ההפעלה.
STABLE מריצים את ההערכה כהפעלה חוזרת יציבה, שבה כל תור הוא סשן ייחודי עם התורות הקודמות הצפויות שמוזרקות כהקשר.
NAIVE מריצים את ההערכה כהפעלה חוזרת פשוטה, שבה ההפעלה היא סשן יחיד ללא הקשר מוזרק.

OutcomeMetadata

מטא-נתונים לגבי תוצאת ההערכה.

טיפוסים בני מנייה (enum)
OUTCOME_METADATA_UNSPECIFIED מטא-נתונים לא מוגדרים של התוצאה.
GRACEFUL_HANDOFF ההערכה הובילה להעברה חלקה לנציג אנושי.

סכימת הפלט

הערכה מייצגת את כל המידע שנדרש כדי לדמות סוכן ולהעריך אותו.

הערכה

ייצוג JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
שדות
name

string

מזהה. המזהה הייחודי של ההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

חובה. שם התצוגה שהמשתמש נתן להערכה. ייחודי באפליקציה.
description

string

זה שינוי אופציונלי. תיאור שהמשתמש מגדיר לגבי ההערכה.
tags[]

string

זה שינוי אופציונלי. תגים שהוגדרו על ידי המשתמש לסיווג הבדיקה.
evaluationDatasets[]

string

פלט בלבד. רשימה של מערכי נתונים להערכה שההערכה שייכת להם. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן שבה נוצרה ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
createdBy

string

פלט בלבד. המשתמש שיצר את ההערכה.
updateTime

string (Timestamp format)

פלט בלבד. חותמת זמן של מועד העדכון האחרון של ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

פלט בלבד. המשתמש שעדכן לאחרונה את ההערכה.
evaluationRuns[]

string

פלט בלבד. ה-EvaluationRuns שההערכה הזו משויכת אליהם.
etag

string

פלט בלבד. תג Etag שמשמש כדי לוודא שהאובייקט לא השתנה במהלך פעולת קריאה-שינוי-כתיבה. אם ה-etag ריק, העדכון ידרוס את כל השינויים שמתבצעים בו-זמנית.
aggregatedMetrics

object (AggregatedMetrics)

פלט בלבד. המדדים המצטברים של ההערכה הזו בכל ההרצות.
lastCompletedResult

object (EvaluationResult)

פלט בלבד. תוצאת ההערכה האחרונה של ההערכה הזו.
invalid

boolean

פלט בלבד. האם ההערכה לא תקינה. מצב כזה יכול לקרות אם ההערכה מתייחסת לכלי, לערכת כלים או לנציג שנמחקו מאז.
lastTenResults[]

object (EvaluationResult)

פלט בלבד. 10 התוצאות האחרונות של ההערכה הזו. השדה הזה מאוכלס רק אם הערך של include_last_ten_results מוגדר כ-True ב-ListEvaluationsRequest או ב-GetEvaluationRequest.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

זה שינוי אופציונלי. ביטול של ספי מדדים להערכה הספציפית הזו.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

זה שינוי אופציונלי. הגדרה שמשנה את הגדרות המדדים להערכה הספציפית הזו.
שדה איחוד inputs. הערך של inputs יכול להיות רק אחד מהבאים:
golden

object (Golden)

זה שינוי אופציונלי. השלבים החשובים שצריך לבדוק.
scenario

object (Scenario)

זה שינוי אופציונלי. ההגדרה של תרחיש.

זהוב

ייצוג JSON 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
שדות
turns[]

object (GoldenTurn)

חובה. מספר התורות הנדרש כדי להפעיל מחדש שיחה מוזהבת. המספר המקסימלי של תורות שמותר הוא 100.
evaluationExpectations[]

string

זה שינוי אופציונלי. הציפיות להערכה שעל פיהן תתבצע הערכה של השיחה שהופעלה מחדש. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

ייצוג JSON 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
שדות
steps[]

object (Step)

חובה. השלבים שנדרשים כדי להפעיל מחדש שיחה לדוגמה.
rootSpan

object (Span)

זה שינוי אופציונלי. יחידה לוגית למעקב הבסיסית של התור הזהב לעיבוד ולשמירה של מידע אודיו. ה-URI של האודיו חייב להכיל אודיו שנשמר בתדירות דגימה של 16KHz.
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

זה שינוי אופציונלי. הגדרות שמשנות את ערכי הסף של המדדים ברמת התור.
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. שינוי ברירת המחדל של התנהגות מדד ההזיות ברמת התור.

שלב

ייצוג JSON 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
שדות
שדה איחוד step. השלב לביצוע. הערך step יכול להיות רק אחד מהבאים:
userInput

object (SessionInput)

זה שינוי אופציונלי. קלט של משתמשים לשיחה.
agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. העברת השיחה לסוכן אחר.
expectation

object (GoldenExpectation)

זה שינוי אופציונלי. מריץ ציפייה בתור הנוכחי.

SessionInput

ייצוג JSON 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
שדות
willContinue

boolean

זה שינוי אופציונלי. סימון שמציין אם ההודעה הנוכחית היא קטע מקלט גדול יותר בסשן סטרימינג דו-כיווני.

אם הערך הוא true, הסוכן ידחה את העיבוד עד שהוא יקבל הודעה נוספת שבה הערך של will_continue הוא false, או עד שהמערכת תזהה נקודת קצה בקלט האודיו.

הערה: השדה הזה לא רלוונטי לקלט של אודיו ו-DTMF, כי הם תמיד מעובדים באופן אוטומטי על סמך אות סיום השיחה.
שדה איחוד input_type. סוג הקלט. הערך input_type יכול להיות רק אחד מהבאים:
text

string

זה שינוי אופציונלי. נתוני טקסט ממשתמש הקצה.
dtmf

string

זה שינוי אופציונלי. ספרות DTMF ממשתמש הקצה.
audio

string (bytes format)

זה שינוי אופציונלי. נתוני אודיו ממשתמש הקצה.

מחרוזת בקידוד Base64.
toolResponses

object (ToolResponses)

זה שינוי אופציונלי. תוצאות ההרצה של קריאות הכלים מהלקוח.
image

object (Image)

זה שינוי אופציונלי. נתוני תמונות ממשתמש הקצה.
blob

object (Blob)

זה שינוי אופציונלי. נתוני Blob ממשתמש הקצה.
variables

object (Struct format)

זה שינוי אופציונלי. משתנים לפי הקשר של הסשן, עם מפתח לפי שם. הנציג של CES ישתמש רק במשתנים שהוגדרו באפליקציה.

משתנים לא מזוהים עדיין יישלחו אל [הנציג של Dialogflow][Agent.RemoteDialogflowAgent] כפרמטרים נוספים של הסשן.
event

object (Event)

זה שינוי אופציונלי. קלט האירוע.

ToolResponses

ייצוג JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
שדות
toolResponses[]

object (ToolResponse)

זה שינוי אופציונלי. רשימת תוצאות ההרצה של הכלי.

ToolResponse

ייצוג JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
שדות
id

string

זה שינוי אופציונלי. מזהה התשובה התואם של tool call.
displayName

string

פלט בלבד. השם המוצג של הכלי.
response

object (Struct format)

חובה. תוצאת ההפעלה של הכלי בפורמט אובייקט JSON. משתמשים במפתח 'output' כדי לציין את התגובה של הכלי ובמפתח 'error' כדי לציין את פרטי השגיאה (אם יש). אם לא מציינים את המפתחות 'פלט' ו'שגיאה', המערכת מתייחסת לכל התגובה כתוצאה של הפעלת הכלי.
parentToolCallId

string

פלט בלבד. המזהה של קריאת הכלי שגרמה לקריאה הזו, כשהיא הונפקה על ידי סוכן משנה שפועל בשם קריאת הורה. השדה ריק עבור שיחות ברמה העליונה. מאפשר ללקוח לקבץ את העבודה של סוכן משנה תחת השיחה שהתחילה אותה, במקום להציג כל שלב כפריט באותה רמה.
agentName

string

פלט בלבד. השם של הסוכן שהנפיק את השיחה הזו, בפורמט שקריא לבני אדם, למשל Contract Architect. השדה ריק אם הסוכן הבסיסי הנפיק את ה-ID.
שדה איחוד tool_identifier. המזהה של הכלי שהופעל. יכול להיות שמדובר בכלי קבוע או בכלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool

string

זה שינוי אופציונלי. שם הכלי להפעלה. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

זה שינוי אופציונלי. הכלי בערכת הכלים שהופעל.

ToolsetTool

ייצוג JSON 
{
  "toolset": string,
  "toolId": string
}
שדות
toolset

string

חובה. שם המשאב של ערכת הכלים שממנה נגזר הכלי הזה. פורמט: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

זה שינוי אופציונלי. מזהה הכלי לסינון הכלים כדי לאחזר את הסכימה שלהם.

Struct

ייצוג JSON 
{
  "fields": {
    string: value,
    ...
  }
}
שדות
fields

map (key: string, value: value (Value format))

מפה לא מסודרת של ערכים עם הקלדה דינמית.

אובייקט שמכיל רשימה של "key": value זוגות. לדוגמה: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

ייצוג JSON 
{
  "key": string,
  "value": value
}
שדות
key

string
value

value (Value format)

ערך

ייצוג JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
שדות
שדה איחוד kind. סוג הערך. הערך kind יכול להיות רק אחד מהבאים:
nullValue

null

מייצג JSON null.
numberValue

number

מייצג מספר JSON. הערך לא יכול להיות NaN, Infinity או -Infinity, כי אין תמיכה בערכים האלה ב-JSON. בנוסף, אי אפשר לייצג ערכים גדולים של Int64, כי פורמט JSON בדרך כלל לא תומך בהם בסוג המספר שלו.
stringValue

string

מייצג מחרוזת JSON.
boolValue

boolean

מייצג ערך בוליאני ב-JSON (הליטרלים true או false ב-JSON).
structValue

object (Struct format)

מייצג אובייקט JSON.
listValue

array (ListValue format)

מייצג מערך JSON.

ListValue

ייצוג JSON 
{
  "values": [
    value
  ]
}
שדות
values[]

value (Value format)

שדה חוזר של ערכים עם הקלדה דינמית.

תמונה

ייצוג JSON 
{
  "mimeType": string,
  "data": string
}
שדות
mimeType

string

חובה. סוג ה-MIME התקני של IANA של נתוני המקור. סוגי התמונות הנתמכים כוללים: * image/png * image/jpeg * image/webp
data

string (bytes format)

חובה. בייטים גולמיים של התמונה.

מחרוזת בקידוד Base64.

Blob

ייצוג JSON 
{
  "mimeType": string,
  "data": string
}
שדות
mimeType

string

חובה. סוג ה-MIME התקני של IANA של נתוני המקור.
data

string (bytes format)

חובה. בייטים גולמיים של ה-blob.

מחרוזת בקידוד Base64.

אירוע

ייצוג JSON 
{
  "event": string
}
שדות
event

string

חובה. שם האירוע.

AgentTransfer

ייצוג JSON 
{
  "targetAgent": string,
  "displayName": string
}
שדות
targetAgent

string

חובה. הסוכן שאליו מועברת השיחה. הנציג יטפל בשיחה מעכשיו והלאה. פורמט: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

פלט בלבד. השם המוצג של הסוכן.

GoldenExpectation

ייצוג JSON 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
שדות
note

string

זה שינוי אופציונלי. הערה לגבי הדרישה הזו, שיכולה לעזור לכם לדווח על מקרים שבהם בדיקות ספציפיות נכשלות. למשל, "Check_Payment_Tool_Called".
skipEvaluation

boolean

זה שינוי אופציונלי. אם הערך מוגדר כ-true, הציפייה הספציפית הזו לא תיבדק.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

זה שינוי אופציונלי. מבטל את המדדים ברמת השלב.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

זה שינוי אופציונלי. הגדרות ברירת מחדל לשינוי מדדי הדמיון הסמנטי של agent_response.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

זה שינוי אופציונלי. שינויים במדדים של הזיות בתשובות של סוכנים.
comparisonType

enum (ComparisonType)

זה שינוי אופציונלי. סוג ההשוואה שמשמש לבדיקת הציפייה.
שדה איחוד condition. הבדיקה בפועל שצריך לבצע. הערך condition יכול להיות רק אחד מהבאים:
toolCall

object (ToolCall)

זה שינוי אופציונלי. בודקים אם בוצעה קריאה לכלי ספציפי עם הפרמטרים.
toolResponse

object (ToolResponse)

זה שינוי אופציונלי. בודקים אם כלי ספציפי הגיב בצורה הצפויה.
agentResponse

object (Message)

זה שינוי אופציונלי. בודקים שהנציג הווירטואלי הגיב בתשובה הנכונה. התפקיד 'סוכן' מרומז.
agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. בודקים שהנציג העביר את השיחה לנציג אחר.
updatedVariables

object (Struct format)

זה שינוי אופציונלי. בודקים שהסוכן עדכן את משתני הסשן לערכים הצפויים. הוא שימש גם לתיעוד של עדכוני משתנים של סוכנים לצורך הערכות מוזהבות.
mockToolResponse

object (ToolResponse)

זה שינוי אופציונלי. התגובה של הכלי ל-mock, עם הפרמטרים שמעניינים אתכם. כל הפרמטרים שלא צוינו יומצאו על ידי ה-LLM.
noToolCalls

boolean

זה שינוי אופציונלי. בודקים שלא נעשה שימוש בכלים במהלך התור הזה.

ToolCall

ייצוג JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
שדות
id

string

זה שינוי אופציונלי. המזהה הייחודי של קריאת הכלי. אם השדה מאוכלס, הלקוח צריך להחזיר את תוצאת ההפעלה עם המזהה התואם בשדה ToolResponse.
displayName

string

פלט בלבד. השם המוצג של הכלי.
args

object (Struct format)

זה שינוי אופציונלי. פרמטרי הקלט והערכים של הכלי בפורמט אובייקט JSON.
parentToolCallId

string

פלט בלבד. המזהה של קריאת הכלי שגרמה לקריאה הזו, כשהיא הונפקה על ידי סוכן משנה שפועל בשם קריאת הורה. השדה ריק עבור שיחות ברמה העליונה. מאפשר ללקוח לקבץ את העבודה של סוכן משנה תחת השיחה שהתחילה אותה, במקום להציג כל שלב כפריט באותה רמה.
agentName

string

פלט בלבד. השם של הסוכן שהנפיק את השיחה הזו, בפורמט שקריא לבני אדם, למשל Contract Architect. השדה ריק אם הסוכן הבסיסי הנפיק את ה-ID.
שדה איחוד tool_identifier. המזהה של הכלי להפעלה. יכול להיות שמדובר בכלי קבוע או בכלי מתוך ערכת כלים. הערך tool_identifier יכול להיות רק אחד מהבאים:
tool

string

זה שינוי אופציונלי. שם הכלי להפעלה. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

זה שינוי אופציונלי. הכלי להרצה בערכת הכלים.

הודעה

ייצוג JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
שדות
role

string

זה שינוי אופציונלי. התפקיד בשיחה, למשל: משתמש, נציג.
chunks[]

object (Chunk)

זה שינוי אופציונלי. תוכן ההודעה כסדרה של נתחים.
eventTime

string (Timestamp format)

זה שינוי אופציונלי. חותמת הזמן שבה ההודעה נשלחה או התקבלה. אסור להשתמש בערך הזה אם ההודעה היא חלק מexample.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".

חלק

ייצוג JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
שדות
שדה איחוד data. לחלק את הנתונים לחלקים. הערך data יכול להיות רק אחד מהבאים:
text

string

זה שינוי אופציונלי. נתוני טקסט.
transcript

string

זה שינוי אופציונלי. תמליל שמשויך לאודיו.
blob

object (Blob)

זה שינוי אופציונלי. נתוני Blob.
payload

object (Struct format)

זה שינוי אופציונלי. נתונים של מטען ייעודי בהתאמה אישית.
image

object (Image)

זה שינוי אופציונלי. נתוני תמונה.
toolCall

object (ToolCall)

זה שינוי אופציונלי. בקשה להרצת כלי.
toolResponse

object (ToolResponse)

זה שינוי אופציונלי. תשובה להרצת הכלי.
agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. אירוע העברה של סוכן.
updatedVariables

object (Struct format)

מבנה נתונים מייצג משתנים שעודכנו בשיחה, עם מפתחות לפי שמות המשתנים.
defaultVariables

object (Struct format)

מבנה נתונים מייצג משתני ברירת מחדל בתחילת השיחה, עם מפתחות לפי שמות המשתנים.

חותמת הזמן

ייצוג JSON 
{
  "seconds": string,
  "nanos": integer
}
שדות
seconds

string (int64 format)

מייצג את השניות של זמן UTC מאז ראשית זמן יוניקס (Unix epoch) ‏1970-01-01T00:00:00Z. הערך חייב להיות בין ‎-62135596800 ל-‎253402300799, כולל (שמתאים לטווח 0001-01-01T00:00:00Z עד 9999-12-31T23:59:59Z).
nanos

integer

שבריר לא שלילי של שנייה ברזולוציית ננו-שנייה. השדה הזה מייצג את החלק של משך הזמן בננו-שניות, ולא מהווה חלופה לשניות. ערכי שניות שליליים עם שברים עדיין צריכים לכלול ערכי ננו-שניות לא שליליים שסופרים קדימה בזמן. הערך חייב להיות בין 0 ל-999,999,999, כולל.

ExpectationLevelMetricsThresholds

ייצוג JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
שדות

שדה איחוד _tool_invocation_parameter_correctness_threshold.

הערך _tool_invocation_parameter_correctness_threshold יכול להיות רק אחד מהבאים:
toolInvocationParameterCorrectnessThreshold

number

זה שינוי אופציונלי. סף ההצלחה לפרמטרים נפרדים של הפעלת כלי. חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

SemanticSimilarityMetricsConfig

ייצוג JSON 
{
  "enableSemanticSimilarityMetrics": boolean
}
שדות
enableSemanticSimilarityMetrics

boolean

זה שינוי אופציונלי. האם לחשב מדדים של דמיון סמנטי לצורך ההערכה.

HallucinationMetricsConfig

ייצוג JSON 
{
  "enableHallucinationMetrics": boolean
}
שדות
enableHallucinationMetrics

boolean

זה שינוי אופציונלי. האם לחשב מדדי הזיות לצורך ההערכה.

Span

ייצוג JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
שדות
name

string

פלט בלבד. השם של ה-span.
startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של טווח הזמן.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של טווח הזמן.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

פלט בלבד. משך הזמן של הטווח.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
attributes

object (Struct format)

פלט בלבד. מאפייני מפתח/ערך שמשויכים לטווח.
childSpans[]

object (Span)

פלט בלבד. טווחים משניים שמוטמעים בטווח הזה.

משך

ייצוג JSON 
{
  "seconds": string,
  "nanos": integer
}
שדות
seconds

string (int64 format)

מספר השניות עם סימן של טווח הזמן. הערך חייב להיות בין ‎-315,576,000,000 לבין ‎+315,576,000,000, כולל. הערה: הגבולות האלה מחושבים לפי: 60 שניות בדקה * 60 דקות בשעה * 24 שעות ביממה * 365.25 ימים בשנה * 10,000 שנים
nanos

integer

שברים חתומים של שנייה ברזולוציית ננו-שנייה של טווח הזמן. משכי זמן של פחות משנייה אחת מיוצגים באמצעות שדה seconds עם הערך 0 ושדה nanos עם ערך חיובי או שלילי. למשכי זמן של שנייה אחת או יותר, הערך בשדה nanos צריך להיות שונה מאפס ובעל אותו סימן כמו הערך בשדה seconds. הערך חייב להיות בין ‎-999,999,999 ל-‎+999,999,999, כולל.

TurnLevelMetricsThresholds

ייצוג JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
שדות
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

זה שינוי אופציונלי. הערוץ של הדמיון הסמנטי שבו רוצים להשתמש להערכה.

שדה איחוד _semantic_similarity_success_threshold.

הערך _semantic_similarity_success_threshold יכול להיות רק אחד מהבאים:
semanticSimilaritySuccessThreshold

integer

זה שינוי אופציונלי. סף ההצלחה לדמיון סמנטי. חייב להיות מספר שלם בין 0 ל-4. ברירת המחדל היא >= 3.

שדה איחוד _overall_tool_invocation_correctness_threshold.

הערך _overall_tool_invocation_correctness_threshold יכול להיות רק אחד מהבאים:
overallToolInvocationCorrectnessThreshold

number

זה שינוי אופציונלי. סף ההצלחה לדיוק הכולל של הפעלת הכלי. חייב להיות מספר עשרוני בין 0 ל-1. ברירת המחדל היא 1.0.

תרחיש

ייצוג JSON 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
שדות
task

string

חובה. המשימה שהתרחיש יתמקד בה.
userFacts[]

object (UserFact)

זה שינוי אופציונלי. העובדות על המשתמש שבהן התרחיש ישתמש.
maxTurns

integer

זה שינוי אופציונלי. מספר הפניות המקסימלי לסימולציה. הערך המקסימלי המותר הוא 100. ערך ברירת המחדל הוא 100.
rubrics[]

string

חובה. קריטריונים לדירוג התרחיש.
scenarioExpectations[]

object (ScenarioExpectation)

חובה. ה-ScenarioExpectations להערכת השיחה שנוצרה על ידי סימולציית המשתמש.
variableOverrides

object (Struct format)

זה שינוי אופציונלי. משתנים / פרמטרים של סשן כהקשר לסשן, עם מפתח לפי שמות המשתנים. הערכים של המשתנים האלה יחליפו את ערכי ברירת המחדל שהוגדרו על ידי המערכת.

הערה: אלה עובדות שונות מעובדות על המשתמש, שהן עובדות שהמשתמש מכיר. משתנים הם פרמטרים שהסוכן מכיר: כלומר, MDN (מספר טלפון) שמועבר על ידי מערכת הטלפוניה.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

זה שינוי אופציונלי. הוצאה משימוש, במקום זאת, צריך להשתמש במאפיין user_goal_behavior.
userGoalBehavior

enum (UserGoalBehavior)

זה שינוי אופציונלי. ההתנהגות הצפויה של המשתמש ביחס ליעד.
evaluationExpectations[]

string

זה שינוי אופציונלי. הציפיות להערכה שמשמשות להערכת השיחה שנוצרה על ידי הסימולציה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (ScenarioExecutionMode)

זה שינוי אופציונלי. מצב ההרצה של הערכות התרחישים.

UserFact

ייצוג JSON 
{
  "name": string,
  "value": string
}
שדות
name

string

חובה. השם של עובדת המשתמש.
value

string

חובה. הערך של נתון המשתמש.

ScenarioExpectation

ייצוג JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
שדות
שדה איחוד expectation. הציפייה להערכת השיחה שנוצרה על ידי הסימולציה. הערך expectation יכול להיות רק אחד מהבאים:
toolExpectation

object (ToolExpectation)

זה שינוי אופציונלי. הזוג של קריאה לכלי ותגובה שצריך להעריך.
agentResponse

object (Message)

זה שינוי אופציונלי. תשובת הסוכן שצריך להעריך.

ToolExpectation

ייצוג JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
שדות
expectedToolCall

object (ToolCall)

חובה. הקריאה הצפויה לכלי, עם הפרמטרים הרלוונטיים שצוינו. כל הפרמטרים שלא צוינו יומצאו על ידי ה-LLM.
mockToolResponse

object (ToolResponse)

חובה. התגובה של הכלי ל-mock, עם הפרמטרים שמעניינים אתכם. כל הפרמטרים שלא צוינו יומצאו על ידי ה-LLM.

AggregatedMetrics

ייצוג JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
שדות
metricsByAppVersion[]

object (MetricsByAppVersion)

פלט בלבד. מדדים מצטברים, מקובצים לפי מזהה גרסת האפליקציה.

MetricsByAppVersion

ייצוג JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
שדות
appVersionId

string

פלט בלבד. מזהה גרסת האפליקציה.
toolMetrics[]

object (ToolMetrics)

פלט בלבד. מדדים לכל כלי בגרסה הזו של האפליקציה.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

פלט בלבד. מדדים לדמיון סמנטי בגרסת האפליקציה הזו.
hallucinationMetrics[]

object (HallucinationMetrics)

פלט בלבד. מדדים להזיות בגרסת האפליקציה הזו.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

פלט בלבד. מדדים של זמן האחזור של קריאות לכלי בגרסה הזו של האפליקציה.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

פלט בלבד. מדדים של זמן התגובה בגרסת האפליקציה הזו.
passCount

integer

פלט בלבד. מספר הפעמים שההערכה עברה.
failCount

integer

פלט בלבד. מספר הפעמים שההערכה נכשלה.
metricsByTurn[]

object (MetricsByTurn)

פלט בלבד. מדדים מצטברים לכל תור בגרסת האפליקציה הזו.

ToolMetrics

ייצוג JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
שדות
tool

string

פלט בלבד. שם הכלי.
passCount

integer

פלט בלבד. מספר הפעמים שהכלי עבר.
failCount

integer

פלט בלבד. מספר הפעמים שהכלי נכשל.

SemanticSimilarityMetrics

ייצוג JSON 
{
  "score": number
}
שדות
score

number

פלט בלבד. הציון הממוצע של הדמיון הסמנטי (0-4).

HallucinationMetrics

ייצוג JSON 
{
  "score": number
}
שדות
score

number

פלט בלבד. הציון הממוצע של הזיות (0 עד 1).

ToolCallLatencyMetrics

ייצוג JSON 
{
  "tool": string,
  "averageLatency": string
}
שדות
tool

string

פלט בלבד. שם הכלי.
averageLatency

string (Duration format)

פלט בלבד. החביון הממוצע של קריאות הכלים.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

TurnLatencyMetrics

ייצוג JSON 
{
  "averageLatency": string
}
שדות
averageLatency

string (Duration format)

פלט בלבד. זמן האחזור הממוצע של התורות.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

MetricsByTurn

ייצוג JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
שדות
turnIndex

integer

פלט בלבד. אינדקס הפנייה (מתחיל מ-0).
toolMetrics[]

object (ToolMetrics)

פלט בלבד. מדדים לכל כלי בתור הזה.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

פלט בלבד. מדדים לדמיון סמנטי בתור הזה.
hallucinationMetrics[]

object (HallucinationMetrics)

פלט בלבד. מדדים להזיות בתור הזה.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

פלט בלבד. מדדים של זמן האחזור של קריאה לכלי בתור הזה.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

פלט בלבד. מדדים של זמן הטעינה של התור הנוכחי.

EvaluationResult

ייצוג JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
שדות
name

string

מזהה. המזהה הייחודי של תוצאת הבדיקה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

חובה. השם המוצג של תוצאת ההערכה. ייחודי בתוך הערכה. כברירת מחדל, הפורמט הוא: result - ‎.
createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן שבה נוצרה תוצאת ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

פלט בלבד. תוצאת ההערכה. השדה הזה מאוכלס רק אם execution_state הוא COMPLETE.
evaluationRun

string

פלט בלבד. הפעלת ההערכה שהניבה את התוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

פלט בלבד. הפרסונה ששימשה ליצירת השיחה לתוצאת ההערכה.
errorInfo

object (EvaluationErrorInfo)

פלט בלבד. פרטי השגיאה בתוצאת ההערכה.
error
(deprecated)

object (Status)

פלט בלבד. הוצא משימוש: במקומו, צריך להשתמש ב-error_info. שגיאות שאירעו במהלך הביצוע.
initiatedBy

string

פלט בלבד. המשתמש שיזם את הרצת ההערכה שהניבה את התוצאה הזו.
appVersion

string

פלט בלבד. גרסת האפליקציה ששימשה ליצירת השיחה שהובילה לתוצאה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

פלט בלבד. השם המוצג של app_version שההערכה בוצעה לגביו.
changelog

string

פלט בלבד. יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה.
changelogCreateTime

string (Timestamp format)

פלט בלבד. זמן היצירה של יומן השינויים של גרסת האפליקציה שההערכה הופעלה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

פלט בלבד. המצב של ביצוע תוצאת ההערכה.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

פלט בלבד. ספי הבדיקה של התוצאה.
config

object (EvaluationConfig)

פלט בלבד. ההגדרה שבה נעשה שימוש בהרצת ההערכה שהניבה את התוצאה הזו.
goldenRunMethod

enum (GoldenRunMethod)

פלט בלבד. השיטה שבה נעשה שימוש להפעלת הערכת הזהב.
rootSpan

object (Span)

פלט בלבד. יחידה לוגית למעקב ברמת הבסיס של הרצת ההערכה, שכוללת מידע על כל שלב בהערכה.
outcomeMetadata

enum (OutcomeMetadata)

פלט בלבד. מטא-נתונים של תוצאת הבדיקה. השדה הזה מאוכלס רק אם execution_state הוא COMPLETE.
שדה איחוד result. התוצאה של ההערכה. השדה הזה מאוכלס רק כש-execution_state הוא COMPLETED. הערך result יכול להיות רק אחד מהבאים:
goldenResult

object (GoldenResult)

פלט בלבד. התוצאה של הערכת הזהב.
scenarioResult

object (ScenarioResult)

פלט בלבד. התוצאה של הערכת תרחיש.

GoldenResult

ייצוג JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
שדות
turnReplayResults[]

object (TurnReplayResult)

פלט בלבד. התוצאה של הרצת כל תור בשיחה המוזהבת.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

פלט בלבד. תוצאות הציפיות מההערכה.

TurnReplayResult

ייצוג JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
שדות
conversation

string

פלט בלבד. השיחה שנוצרה בתור הזה.
expectationOutcome[]

object (GoldenExpectationOutcome)

פלט בלבד. התוצאה של כל ציפייה.
hallucinationResult

object (HallucinationResult)

פלט בלבד. התוצאה של בדיקת ההזיות.
toolInvocationScore
(deprecated)

number

פלט בלבד. הוצאה משימוש, במקומו, צריך להשתמש ב-OverallToolInvocationResult.
turnLatency

string (Duration format)

פלט בלבד. משך התור.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

פלט בלבד. החביון של כל קריאה לכלי בתור.
semanticSimilarityResult

object (SemanticSimilarityResult)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
overallToolInvocationResult

object (OverallToolInvocationResult)

פלט בלבד. התוצאה של הבדיקה הכוללת של הפעלת הכלי.
errorInfo

object (EvaluationErrorInfo)

פלט בלבד. מידע על השגיאה שאירעה במהלך התור הזה.
spanLatencies[]

object (SpanLatency)

פלט בלבד. זמן האחזור של טווחי הזמן בפנייה.

שדה איחוד _tool_ordered_invocation_score.

הערך _tool_ordered_invocation_score יכול להיות רק אחד מהבאים:
toolOrderedInvocationScore

number

פלט בלבד. הציון הכולל של הפעלת הכלי בתור הזה. המדד הזה מציין את אחוז הכלים הכולל מתוך התור הצפוי שהופעלו בפועל בסדר הצפוי.

GoldenExpectationOutcome

ייצוג JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
שדות
expectation

object (GoldenExpectation)

פלט בלבד. הציפייה שנבדקה.
outcome

enum (Outcome)

פלט בלבד. התוצאה של הציפייה.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי.
toolInvocationResult

object (ToolInvocationResult)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי.
שדה איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall

object (ToolCall)

פלט בלבד. התוצאה של הציפייה לקריאה לכלי.
observedToolResponse

object (ToolResponse)

פלט בלבד. התוצאה של הציפייה לתגובה מהכלי.
observedAgentResponse

object (Message)

פלט בלבד. התוצאה של הציפייה לתגובה מהסוכן.
observedAgentTransfer

object (AgentTransfer)

פלט בלבד. התוצאה של ההעברה הצפויה לנציג.
observedPayload

object (Struct format)

פלט בלבד. מטען ייעודי (payload) מותאם אישית שנצפה. אין ציפיות לגבי מטען ייעודי (payload) בהתאמה אישית. הערך הזה משמש רק לחישוב מדדים. התוצאה תמיד תהיה SKIPPED.

SemanticSimilarityResult

ייצוג JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 4: עקבי לחלוטין ציון 3: עקבי ברובו ציון 2: עקבי באופן חלקי (השמטות קלות) ציון 1: לא עקבי במידה רבה (השמטות משמעותיות) ציון 0: לא עקבי לחלוטין / סותר
explanation

string

פלט בלבד. ההסבר לציון הדמיון הסמנטי.
outcome

enum (Outcome)

פלט בלבד. התוצאה של בדיקת הדמיון הסמנטי. הוא נקבע על ידי השוואת הציון לערך של semantic_similarity_success_threshold. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. ציון הדמיון הסמנטי. יכול להיות 0, 1, 2, 3 או 4.

ToolInvocationResult

ייצוג JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
שדות
outcome

enum (Outcome)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. ההחלטה מתקבלת על סמך השוואה בין הציון parameter_correctness_score לבין ערך הסף. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.
explanation

string

פלט בלבד. הסבר בטקסט חופשי לתוצאה של הפעלת הכלי.

שדה איחוד _parameter_correctness_score.

הערך _parameter_correctness_score יכול להיות רק אחד מהבאים:
parameterCorrectnessScore

number

פלט בלבד. ציון הדיוק של פרמטר ההפעלה של הכלי. הערך הזה מציין את אחוז הפרמטרים מתוך קריאת הכלי הצפויה שהיו גם בקריאת הכלי בפועל.

HallucinationResult

ייצוג JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: מוצדק ציון 0: לא מוצדק ציון ‎-1: אין טענה להערכה
explanation

string

פלט בלבד. ההסבר לציון ההזיה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. ציון ההזיות. יכול להיות ‎-1, 0, 1.

ToolCallLatency

ייצוג JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
שדות
tool

string

פלט בלבד. שם הכלי שהופעל. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
displayName

string

פלט בלבד. השם המוצג של הכלי.
startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של הרצת הכלי.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של ההרצה של קריאת הכלי.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

פלט בלבד. זמן האחזור של הפעלת הכלי.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

OverallToolInvocationResult

ייצוג JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
שדות
outcome

enum (Outcome)

פלט בלבד. התוצאה של בדיקת ההפעלה של הכלי. ההחלטה מתקבלת על ידי השוואה בין הציון tool_invocation_score לבין סף הדיוק הכולל של הפעלת הכלי overall_tool_invocation_correctness_threshold. אם הניקוד שווה לסף או גבוה ממנו, התוצאה תהיה PASS. אחרת, התוצאה תהיה FAIL.

שדה איחוד _tool_invocation_score.

הערך _tool_invocation_score יכול להיות רק אחד מהבאים:
toolInvocationScore

number

הציון הכולל של הפעלת הכלי בתור הזה. המדד הזה מציין את האחוז הכולל של הכלים מהתור הצפוי שהופעלו בפועל.

EvaluationErrorInfo

ייצוג JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
שדות
errorType

enum (ErrorType)

פלט בלבד. סוג השגיאה.
errorMessage

string

פלט בלבד. הודעת השגיאה.
sessionId

string

פלט בלבד. מזהה הסשן של השיחה שגרמה לשגיאה.
userFacingErrorMessage

string

פלט בלבד. הודעת השגיאה שמוצגת למשתמש.

SpanLatency

ייצוג JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
שדות
type

enum (Type)

פלט בלבד. סוג הטווח.
displayName

string

פלט בלבד. השם המוצג של הטווח. רלוונטי לכלים ולגבולות שמוגדרים בטווחים.
startTime

string (Timestamp format)

פלט בלבד. שעת ההתחלה של הטווח.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

פלט בלבד. שעת הסיום של טווח הזמן.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

פלט בלבד. זמן האחזור של הטווח.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
שדה איחוד identifier. המזהה של הפריט הספציפי על סמך הסוג שלו. הערך identifier יכול להיות רק אחד מהבאים:
resource

string

פלט בלבד. שם המשאב של אמצעי הבקרה או של הכלים.
toolset

object (ToolsetTool)

פלט בלבד. מזהה הכלי בערכת הכלים.
model

string

פלט בלבד. השם של טווח ה-LLM.
callback

string

פלט בלבד. השם של טווח הקריאה החוזרת של המשתמש.

EvaluationExpectationResult

ייצוג JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
שדות
evaluationExpectation

string

פלט בלבד. הציפייה מההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

פלט בלבד. ההנחיה שבה נעשה שימוש לצורך ההערכה.
outcome

enum (Outcome)

פלט בלבד. התוצאה של ציפיית ההערכה.
explanation

string

פלט בלבד. ההסבר לתוצאה.

ScenarioResult

ייצוג JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
שדות
conversation

string

פלט בלבד. השיחה שנוצרה בתרחיש.
task

string

פלט בלבד. המשימה ששימשה להרצת התרחיש לתוצאה הזו.
userFacts[]

object (UserFact)

פלט בלבד. הנתונים על המשתמש ששימשו את התרחיש לחישוב התוצאה הזו.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

פלט בלבד. התוצאה של כל ציפייה.
rubricOutcomes[]

object (ScenarioRubricOutcome)

פלט בלבד. התוצאה של קריטריון ההערכה.
hallucinationResult[]

object (HallucinationResult)

פלט בלבד. התוצאה של בדיקת ההזיות. תהיה תוצאת הזיה אחת לכל תור בשיחה.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

פלט בלבד. התוצאה של בדיקת השלמת המשימה.
toolCallLatencies[]

object (ToolCallLatency)

פלט בלבד. ההשהיה של כל הפעלה של קריאה לכלי בשיחה.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

פלט בלבד. התוצאה של בדיקת שביעות הרצון של המשתמש מהשגת המטרה.
spanLatencies[]

object (SpanLatency)

פלט בלבד. ההשהיה של טווחי הזמן בשיחה.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

פלט בלבד. תוצאות הציפיות מההערכה.

שדה איחוד _all_expectations_satisfied.

הערך _all_expectations_satisfied יכול להיות רק אחד מהבאים:
allExpectationsSatisfied

boolean

פלט בלבד. האם כל הציפיות התממשו בתור הזה.

שדה איחוד _task_completed.

הערך _task_completed יכול להיות רק אחד מהבאים:
taskCompleted

boolean

פלט בלבד. האם המשימה הושלמה בתור הזה. התשובה מורכבת מכל הציפיות שהתממשו, ללא הזיות, וממידת שביעות הרצון של המשתמש מהשגת היעד.

ScenarioExpectationOutcome

ייצוג JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
שדות
expectation

object (ScenarioExpectation)

פלט בלבד. הציפייה שנבדקה.
outcome

enum (Outcome)

פלט בלבד. התוצאה של ScenarioExpectation.
שדה איחוד result. התוצאה של הציפייה. הערך result יכול להיות רק אחד מהבאים:
observedToolCall

object (ObservedToolCall)

פלט בלבד. הקריאה לכלי שנצפתה.
observedAgentResponse

object (Message)

פלט בלבד. התשובה שנצפתה מהסוכן.

ObservedToolCall

ייצוג JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
שדות
toolCall

object (ToolCall)

פלט בלבד. הקריאה לכלי שנצפתה.
toolResponse

object (ToolResponse)

פלט בלבד. התשובה שנצפתה מהכלי.

ScenarioRubricOutcome

ייצוג JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
שדות
rubric

string

פלט בלבד. קריטריון ההערכה ששימש להערכת השיחה.
scoreExplanation

string

פלט בלבד. התשובה של המעריך לקריטריון ההערכה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

number

פלט בלבד. הציון של השיחה בהשוואה לקריטריון ההערכה.

TaskCompletionResult

ייצוג JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 1: ציון על השלמת משימה ציון 0: ציון על אי-השלמת משימה ציון ‎-1: יעד המשתמש לא הוגדר
explanation

string

פלט בלבד. הסבר על ציון השלמת המשימה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. הציון על השלמת המשימה. יכול להיות ‎-1, 0, 1

UserGoalSatisfactionResult

ייצוג JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
שדות
label

string

פלט בלבד. התווית שמשויכת לכל ציון. ציון 2: ציון העברה חלקה ציון 1: ציון שביעות רצון של המשתמש מהמשימה ציון 0: ציון חוסר שביעות רצון של המשתמש מהמשימה ציון ‎-1: ציון לא מוגדר של שביעות רצון של המשתמש מהמשימה
explanation

string

פלט בלבד. הסבר לציון שביעות הרצון של המשתמש מהמשימה.

שדה איחוד _score.

הערך _score יכול להיות רק אחד מהבאים:
score

integer

פלט בלבד. ציון שביעות הרצון של המשתמש מהמשימה. יכול להיות ‎-1, 0, 1, 2.

EvaluationPersona

ייצוג JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
שדות
name

string

חובה. המזהה הייחודי של האישיות. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

זה שינוי אופציונלי. תיאור של האישיות.
displayName

string

חובה. השם המוצג של האישיות. ייחודי בתוך אפליקציה.
personality

string

חובה. הוראה לסוכן לגבי אופן ההתנהגות בתהליך ההערכה.
speechConfig

object (SpeechConfig)

זה שינוי אופציונלי. הגדרות של איך האישיות נשמעת (הגדרות TTS).

SpeechConfig

ייצוג JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
שדות
speakingRate

number

זה שינוי אופציונלי. קצב הדיבור. ‫1.0 הוא ערך רגיל. ערך נמוך יותר מייצג קצב איטי יותר (למשל, 0.8), וערך גבוה יותר מייצג קצב מהיר יותר (למשל, 1.5). הבדיקה הזו שימושית כדי לראות איך הסוכן מתמודד עם אנשים שמדברים מהר.
environment

enum (BackgroundEnvironment)

זה שינוי אופציונלי. סביבת האודיו המדומה.
voiceId

string

זה שינוי אופציונלי. המזהה הספציפי של הקול או המבטא שבו רוצים להשתמש. דוגמה: en-US-Wavenet-D או en-GB-Standard-A

סטטוס

ייצוג JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
שדות
code

integer

קוד הסטטוס, שצריך להיות ערך enum של google.rpc.Code.
message

string

הודעת שגיאה שמוצגת למפתחים, שצריכה להיות באנגלית. כל הודעת שגיאה שמוצגת למשתמש צריכה להיות מותאמת לשפה המקומית ולהישלח בשדה google.rpc.Status.details, או להיות מותאמת לשפה המקומית על ידי הלקוח.
details[]

object

רשימה של הודעות שכוללות את פרטי השגיאה. יש קבוצה משותפת של סוגי הודעות לשימוש בממשקי API.

אובייקט שמכיל שדות מסוג שרירותי. שדה נוסף "@type" מכיל URI שמזהה את הסוג. לדוגמה: { "id": 1234, "@type": "types.example.com/standard/id" }.

הכול

ייצוג JSON 
{
  "typeUrl": string,
  "value": string
}
שדות
typeUrl

string

מזהה את הסוג של הודעת Protobuf שעברה סריאליזציה באמצעות הפניה ל-URI שכוללת קידומת שמסתיימת בקו נטוי ואת שם הסוג שמוגדר במלואו.

דוגמה: type.googleapis.com/google.protobuf.StringValue

המחרוזת הזו צריכה להכיל לפחות תו אחד של /, והתוכן אחרי ה-/ האחרון צריך להיות השם המלא של הסוג בפורמט קנוני, בלי נקודה מובילה. אל תכתבו סכימה בהפניות ל-URI האלה כדי שהלקוחות לא ינסו ליצור איתם קשר.

הקידומת היא שרירותית, וההטמעות של Protobuf אמורות פשוט להסיר את כל מה שמופיע עד הסימן / האחרון, כולל הסימן עצמו, כדי לזהות את הסוג. ‫type.googleapis.com/ היא תחילית ברירת מחדל נפוצה שנדרשת בחלק מההטמעות מדור קודם. הקידומת הזו לא מציינת את המקור של הסוג, ולא צפוי שמזהי URI שמכילים אותה יגיבו לבקשות כלשהן.

כל מחרוזות כתובות ה-URL של הסוג חייבות להיות הפניות חוקיות ל-URI, עם הגבלה נוספת (בפורמט הטקסט) שלפיה התוכן של ההפניה חייב לכלול רק תווים אלפאנומריים, תווים מיוחדים עם קידוד אחוזים ותווים מהקבוצה הבאה (לא כולל הגרשיים החיצוניים): /-.~_!$&()*+,;=. למרות שאנחנו מאפשרים קידודים באחוזים, בהטמעות לא צריך לבטל את הקידוד שלהם כדי למנוע בלבול עם מנתחים קיימים. לדוגמה, בקשה עם הערך type.googleapis.com%2FFoo צריכה להידחות.

בתכנון המקורי של Any, נשקלה האפשרות להפעיל שירות לפתרון סוגים בכתובות ה-URL האלה של הסוגים, אבל ב-Protobuf מעולם לא הוטמע שירות כזה, והפנייה לכתובות ה-URL האלה נחשבת לבעייתית ולבעיית אבטחה פוטנציאלית. אל תנסו ליצור קשר עם כתובות URL מסוג 'יצירת קשר'.
value

string (bytes format)

מכיל סריאליזציה של Protobuf של הסוג שמתואר על ידי type_url.

מחרוזת בקידוד Base64.

EvaluationMetricsThresholds

ייצוג JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
שדות
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

זה שינוי אופציונלי. ערכי הסף של מדדי ההערכה המושלמים.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. הוצא משימוש: במקומו, צריך להשתמש ב-golden_hallucination_metric_behavior. ההתנהגות של מדד ההזיות משמשת כרגע להערכות מוזהבות.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות מוזהבות.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

זה שינוי אופציונלי. התנהגות מדד ההזיות בהערכות של תרחישים.

GoldenEvaluationMetricsThresholds

ייצוג JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
שדות
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

זה שינוי אופציונלי. ערכי הסף של המדדים ברמת התור.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

זה שינוי אופציונלי. ערכי הסף של מדדי רמת הציפייה.
toolMatchingSettings

object (ToolMatchingSettings)

זה שינוי אופציונלי. הגדרות ההתאמה של הכלי. קריאה נוספת לכלי היא קריאה לכלי שקיימת בהרצה אבל לא תואמת לאף קריאה לכלי בציפייה המוזהבת.

ToolMatchingSettings

ייצוג JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
שדות
extraToolCallBehavior

enum (ExtraToolCallBehavior)

זה שינוי אופציונלי. התנהגות במקרה של קריאות נוספות לכלים. ברירת המחדל היא FAIL.

EvaluationConfig

ייצוג JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
שדות
inputAudioConfig

object (InputAudioConfig)

זה שינוי אופציונלי. הגדרות לעיבוד האודיו שמתקבל מהמיקרופון.
outputAudioConfig

object (OutputAudioConfig)

זה שינוי אופציונלי. הגדרות ליצירת פלט האודיו.
evaluationChannel

enum (EvaluationChannel)

זה שינוי אופציונלי. הערוץ שרוצים להעריך.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

זה שינוי אופציונלי. קובע אם ההערכה צריכה להשתמש בקריאות אמיתיות לכלים או בכלים מזויפים.

InputAudioConfig

ייצוג JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
שדות
audioEncoding

enum (AudioEncoding)

חובה. הקידוד של נתוני האודיו של הקלט.
sampleRateHertz

integer

חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הקלט.
noiseSuppressionLevel

string

זה שינוי אופציונלי. האם להפעיל סינון רעשים באודיו של הקלט. הערכים האפשריים הם low,‏ moderate,‏ high,‏ very_high.

OutputAudioConfig

ייצוג JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
שדות
audioEncoding

enum (AudioEncoding)

חובה. הקידוד של נתוני האודיו של הפלט.
sampleRateHertz

integer

חובה. תדירות הדגימה (בהרץ) של נתוני האודיו של הפלט.

EvaluationMetricsConfig

ייצוג JSON 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
שדות
goldenMetricsConfig

object (GoldenMetricsConfig)

זה שינוי אופציונלי. הגדרות של המדדים המרכזיים להערכה.
scenarioMetricsConfig

object (ScenarioMetricsConfig)

זה שינוי אופציונלי. הגדרות מדדי התרחיש להערכה.

GoldenMetricsConfig

ייצוג JSON 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
שדות
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

זה שינוי אופציונלי. הגדרה גלובלית של מדדים של דמיון סמנטי.
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדי דיוק של כלי ברמת התור.
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדי דיוק של כלי ברמת השלב.

ToolCorrectnessMetricsConfig

ייצוג JSON 
{
  "enableToolCorrectnessMetrics": boolean
}
שדות
enableToolCorrectnessMetrics

boolean

זה שינוי אופציונלי. האם לחשב מדדי נכונות של הכלי לצורך ההערכה.

ScenarioMetricsConfig

ייצוג JSON 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
שדות
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדים של השגת יעדים עסקיים ברמת המשתמש.
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

זה שינוי אופציונלי. הגדרות למדדים של רמת הציפיות.

UserGoalMetMetricsConfig

ייצוג JSON 
{
  "enableUserGoalMetMetrics": boolean
}
שדות
enableUserGoalMetMetrics

boolean

זה שינוי אופציונלי. האם לחשב את מדדי היעד שהמשתמש השיג לצורך ההערכה.

ExpectationsMetMetricsConfig

ייצוג JSON 
{
  "enableExpectationsMetMetrics": boolean
}
שדות
enableExpectationsMetMetrics

boolean

זה שינוי אופציונלי. האם לחשב את מדדי רמת הציפיות להערכה.

NullValue

מייצג JSON null.

‫NullValue הוא ערך שמירה, שמשתמש בערך מספרי עם ערך אחד בלבד כדי לייצג את ערך ה-null עבור איחוד הסוגים Value.

שדה מסוג NullValue עם ערך כלשהו שאינו 0 נחשב לא תקין. רוב כלי הסריאליזציה של ProtoJSON יפלטו Value עם null_value שמוגדר כ-null JSON בלי קשר לערך המספרי, ולכן יבצעו המרה הלוך ושוב לערך 0.

טיפוסים בני מנייה (enum)
NULL_VALUE ערך null.

ComparisonType

סוגי ההשוואה הנתמכים לבדיקת התשובה של הסוכן.

טיפוסים בני מנייה (enum)
COMPARISON_TYPE_UNSPECIFIED סוג השוואה לא צוין. ההתנהגות מוגדרת כברירת מחדל ל-SEMANTIC_SIMILARITY לתגובות של סוכנים ולקריאות כלים.
EQUALS התאמה מדויקת של מחרוזת.
CONTAINS התאמה של מחרוזת משנה (בודקת אם המחרוזת הצפויה כלולה בתשובה בפועל).
SEMANTIC_SIMILARITY התאמה של דמיון סמנטי (הערכת דמיון במשמעות באמצעות LLM).

SemanticSimilarityChannel

הערוץ שבו רוצים להשתמש לדמיון סמנטי.

טיפוסים בני מנייה (enum)
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED לא צוין מדד. ברירת המחדל היא TEXT.
TEXT שימוש בדמיון סמנטי בין טקסטים.
AUDIO שימוש בדמיון סמנטי של אודיו.

HallucinationMetricBehavior

ההתנהגות של מדד ההזיות. ללא קשר להתנהגות, המדד תמיד יחושב. ההבדל הוא שכשהמדד מושבת, הוא לא משמש לחישוב הציון הכולל של ההערכה.

טיפוסים בני מנייה (enum)
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת של מדד הזיות.
DISABLED השבתה של מדד ההזיות.
ENABLED הפעלת מדד ההזיות.

TaskCompletionBehavior

ההתנהגות הצפויה של משימת המשתמש. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ברירת המחדל היא TASK_SATISFIED.
TASK_SATISFIED משימת המשתמש צריכה להסתיים בהצלחה.
TASK_REJECTED צריך לדחות את משימת המשתמש.

UserGoalBehavior

ההתנהגות הצפויה של המשתמש ביחס ליעד. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
USER_GOAL_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ברירת המחדל היא USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED המטרה של המשתמש צריכה להסתיים בהצלחה.
USER_GOAL_REJECTED צריך לדחות את יעד המשתמש.
USER_GOAL_IGNORED מתעלמים מהסטטוס של היעד של המשתמש.

ScenarioExecutionMode

מצב ההרצה של הערכות התרחישים.

טיפוסים בני מנייה (enum)
SCENARIO_EXECUTION_MODE_UNSPECIFIED מצב ביצוע לא מוגדר. ברירת המחדל היא QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED מצב אופטימיזציה לאיכות.
SPEED_OPTIMIZED מצב אופטימיזציה למהירות.

תוצאת הסריקה

התוצאה של הבדיקה או הציפייה.

טיפוסים בני מנייה (enum)
OUTCOME_UNSPECIFIED תוצאת ההערכה לא צוינה.
PASS ההערכה או הציפייה עברו. במקרה של הערכה, המשמעות היא שכל הציפיות התממשו.
FAIL ההערכה או הציפייה נכשלו. במקרה של הערכה, המשמעות היא שלפחות ציפייה אחת לא התממשה.
SKIPPED דילוג על הערכה/ציפייה.

ErrorType

סוג השגיאה

טיפוסים בני מנייה (enum)
ERROR_TYPE_UNSPECIFIED סוג שגיאה לא מזוהה.
RUNTIME_FAILURE הייתה שגיאה במהלך ההרצה.
CONVERSATION_RETRIEVAL_FAILURE הייתה בעיה והשיחה לא אוחזרה מ-CES Runtime.
METRIC_CALCULATION_FAILURE לא הצלחנו לחשב מדד או תוצאה.
EVALUATION_UPDATE_FAILURE עדכון ההערכה נכשל.
QUOTA_EXHAUSTED הגעתם למכסה.
USER_SIMULATION_FAILURE הייתה שגיאה במהלך סימולציית המשתמשים.

סוג

סוג הטווח. יכול להיות שבעתיד נוסיף עוד ערכים.

טיפוסים בני מנייה (enum)
TYPE_UNSPECIFIED ערך ברירת המחדל. הערך הזה לא בשימוש.
TOOL טווח של קריאה לכלי.
USER_CALLBACK משך הזמן של שיחת משתמש חוזרת.
GUARDRAIL טווח שכבות ההגנה.
LLM טווח LLM.

BackgroundEnvironment

סביבת אודיו מדומה.

טיפוסים בני מנייה (enum)
BACKGROUND_ENVIRONMENT_UNSPECIFIED לא צוינה סביבת רקע.
CALL_CENTER סביבת מוקד טלפוני.
TRAFFIC סביבה עם רעשי תנועה.
KIDS_NOISE סביבה רועשת של ילדים.
CAFE סביבת בית קפה.

ExecutionState

המצב של ביצוע תוצאת ההערכה.

טיפוסים בני מנייה (enum)
EXECUTION_STATE_UNSPECIFIED לא צוין מצב הביצוע של תוצאת ההערכה.
QUEUED ההפעלה של תוצאת ההערכה ממתינה בתור.
RUNNING ההרצה של תוצאת ההערכה מתבצעת.
COMPLETED ההרצה של תוצאת ההערכה הסתיימה.
ERROR הביצוע של תוצאת ההערכה נכשל בגלל שגיאה פנימית.
CANCELLED ההרצה של תוצאת ההערכה בוטלה.

ExtraToolCallBehavior

ההגדרה הזו מגדירה את ההתנהגות כשנתקלים בקריאה נוספת לכלי. קריאה נוספת לכלי היא קריאה לכלי שקיימת בהרצה אבל לא תואמת לאף קריאה לכלי בציפייה המוזהבת.

טיפוסים בני מנייה (enum)
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ברירת המחדל היא FAIL.
FAIL הבדיקה תיכשל אם יזוהה קריאה נוספת לכלי.
ALLOW מאשרים את השימוש בכלי הנוסף.

AudioEncoding

המאפיין AudioEncoding מציין את פורמט הקידוד של נתוני האודיו.

טיפוסים בני מנייה (enum)
AUDIO_ENCODING_UNSPECIFIED קידוד אודיו שלא צוין.
LINEAR16 קידוד אודיו PCM ליניארי של 16 ביט.
MULAW דגימות של 8 ביט שמרחיבות דגימות אודיו של 14 ביט באמצעות G.711 PCMU/mu-law.
ALAW דגימות של 8 ביט שמרחיבות דגימות אודיו של 14 ביט באמצעות G.711 PCMU/A-law.

EvaluationChannel

הערוץ שרוצים להעריך.

טיפוסים בני מנייה (enum)
EVALUATION_CHANNEL_UNSPECIFIED ערוץ הערכה לא מוגדר.
TEXT ערוץ הערכה מסוג טקסט בלבד.
AUDIO ערוץ להערכת אודיו.

EvaluationToolCallBehaviour

הגדרת אופן הפעולה של קריאות לכלי בהרצות של הערכה.

טיפוסים בני מנייה (enum)
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED התנהגות לא מוגדרת של קריאה לכלי. ברירת המחדל היא שימוש בקריאות אמיתיות לכלי.
REAL שימוש בקריאות אמיתיות לכלי.
FAKE שימוש בקריאות מזויפות לכלים.

GoldenRunMethod

השיטה שבה נעשה שימוש להפעלת ההערכה.

טיפוסים בני מנייה (enum)
GOLDEN_RUN_METHOD_UNSPECIFIED לא צוינה שיטת ההפעלה.
STABLE מריצים את ההערכה כהפעלה חוזרת יציבה, שבה כל תור הוא סשן ייחודי עם התורות הקודמות הצפויות שמוזרקות כהקשר.
NAIVE מריצים את ההערכה כהפעלה חוזרת פשוטה, שבה ההפעלה היא סשן יחיד ללא הקשר מוזרק.

OutcomeMetadata

מטא-נתונים לגבי תוצאת ההערכה.

טיפוסים בני מנייה (enum)
OUTCOME_METADATA_UNSPECIFIED מטא-נתונים לא מוגדרים של התוצאה.
GRACEFUL_HANDOFF ההערכה הובילה להעברה חלקה לנציג אנושי.

הערות על כלים

הערות על כלים נשלחות ללקוחות MCP כדי לתאר את הסיכון הבסיסי של כלי מסוים. רוב הלקוחות מתייחסים לרמזים האלה כאל רמזים לא מהימנים, אבל אפשר להשתמש בהם כדי להחליט מתי לשלוח למשתמש בקשת אישור.

בנוסף למחרוזת הכותרת, מוגדרים הרמזים הבוליאניים הבאים:

  • ‫readOnlyHint: אם הערך הוא true, הכלי לא משנה את הסביבה שלו. ברירת מחדל: false.
  • ‫destructiveHint: אם הערך הוא True, הכלי יכול לבצע פעולות הרסניות. אם הערך הוא false, הכלי יכול לבצע רק פעולות של הוספה. ברירת מחדל: true.
  • ‫idempotentHint: אם הערך הוא True, קריאה חוזרת לכלי עם אותם ארגומנטים לא תשפיע על הסביבה שלו. ברירת מחדל: false.
  • ‫openWorldHint: אם הערך הוא True, הכלי יכול ליצור אינטראקציה עם 'עולם פתוח' של ישויות חיצוניות. אם הערך הוא false, הכלי יכול ליצור אינטראקציה רק עם ישויות פנימיות. לדוגמה, כלי לחיפוש באינטרנט יהיה עולם פתוח, אבל כלי לזיכרון לא יהיה עולם פתוח.

רמז הרסני: ❌ | רמז אידמפוטנטי: ❌ | רמז לקריאה בלבד: ❌ | רמז לעולם פתוח: ❌