REST Resource: projects.locations.apps.evaluations

משאב: הערכה

הערכה מייצגת את כל המידע שנדרש כדי לדמות סוכן ולהעריך אותו.

ייצוג ב-JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "golden": {
    object (Evaluation.Golden)
  },
  "scenario": {
    object (Evaluation.Scenario)
  }
  // End of mutually exclusive fields.
}
שדות
name

string

מזהה. המזהה הייחודי של ההערכה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

חובה. השם המוצג של ההערכה שהוגדר על ידי המשתמש. ייחודי באפליקציה.
description

string

זה שינוי אופציונלי. תיאור של ההערכה שהמשתמשים מגדירים.
tags[]

string

זה שינוי אופציונלי. תגים שהוגדרו על ידי המשתמש לסיווג הבדיקה.
evaluationDatasets[]

string

פלט בלבד. רשימה של מערכי נתונים להערכה שההערכה שייכת להם. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן שבה נוצרה ההערכה.

הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
createdBy

string

פלט בלבד. המשתמש שיצר את ההערכה.
updateTime

string (Timestamp format)

פלט בלבד. חותמת זמן של מועד העדכון האחרון של ההערכה.

הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

פלט בלבד. המשתמש שעדכן לאחרונה את ההערכה.
evaluationRuns[]

string

פלט בלבד. הערכים של EvaluationRuns שההערכה הזו משויכת אליהם.
etag

string

פלט בלבד. תג Etag שמשמש כדי לוודא שהאובייקט לא השתנה במהלך פעולת קריאה-שינוי-כתיבה. אם ה-etag ריק, העדכון יחליף את כל השינויים המקבילים.
aggregatedMetrics

object (AggregatedMetrics)

פלט בלבד. המדדים המצטברים של ההערכה הזו בכל ההרצות.
lastCompletedResult

object (EvaluationResult)

פלט בלבד. תוצאת ההערכה האחרונה של ההערכה הזו.
invalid

boolean

פלט בלבד. האם ההערכה לא תקינה. מצב כזה יכול לקרות אם ההערכה מתייחסת לכלי, לערכת כלים או לסוכן שנמחקו מאז.
lastTenResults[]

object (EvaluationResult)

פלט בלבד. 10 התוצאות האחרונות של ההערכה הזו. השדה הזה מאוכלס רק אם הערך של include_last_ten_results מוגדר כ-True ב-ListEvaluationsRequest או ב-GetEvaluationRequest.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

זה שינוי אופציונלי. ביטול של ספי מדדים להערכה הספציפית הזו.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

זה שינוי אופציונלי. ההגדרה הזו מבטלת את הגדרות המדדים להערכה הספציפית הזו.
הנתונים להערכה: הרשימה הבאה כוללת שדות שאי אפשר להזין בהם ערכים בו-זמנית. בכל תשובה יוגדר לכל היותר אחד מהשדות:
golden

object (Evaluation.Golden)

זה שינוי אופציונלי. השלבים העיקריים שצריך לבדוק.
scenario

object (Evaluation.Scenario)

זה שינוי אופציונלי. ההגדרה של תרחיש.
סוף השדות הבלעדיים.

Evaluation.Golden

השלבים שנדרשים כדי להפעיל מחדש שיחה לדוגמה.

ייצוג ב-JSON 
{
  "turns": [
    {
      object (Evaluation.GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
שדות
turns[]

object (Evaluation.GoldenTurn)

חובה. מספר התורות הנדרש כדי להפעיל מחדש שיחה מושלמת. המספר המקסימלי של תורות שמותרות הוא 100.
evaluationExpectations[]

string

זה שינוי אופציונלי. הציפיות להערכה של השיחה שהופעלה מחדש. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

Evaluation.GoldenTurn

תור זהב הוא תור יחיד בשיחת זהב.

ייצוג ב-JSON 
{
  "steps": [
    {
      object (Evaluation.Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)
}
שדות
steps[]

object (Evaluation.Step)

חובה. השלבים שנדרשים כדי להפעיל מחדש שיחה לדוגמה.
rootSpan

object (Span)

זה שינוי אופציונלי. הטווח הבסיסי של התור הזהב לעיבוד ולשמירה של נתוני אודיו. ה-URI של האודיו חייב להכיל אודיו שנשמר בתדירות דגימה של 16KHz.
turnLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)

זה שינוי אופציונלי. הגדרות שמשנות את ערכי הסף של המדדים ברמת התור.
hallucinationMetricBehaviorOverride

enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)

זה שינוי אופציונלי. שינוי ברירת המחדל של התנהגות מדד ההזיות ברמת התור.

Evaluation.Step

שלב מגדיר פעולה יחידה שתתבצע במהלך ההערכה.

ייצוג ב-JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (Evaluation.GoldenExpectation)
  }
  // End of mutually exclusive fields.
}
שדות
השלב לביצוע. הרשימה הבאה כוללת שדות שאי אפשר להשתמש בהם בו-זמנית. בכל תשובה יוגדר לכל היותר אחד מהשדות:
userInput

object (SessionInput)

זה שינוי אופציונלי. קלט של משתמשים לגבי השיחה.
agentTransfer

object (AgentTransfer)

זה שינוי אופציונלי. להעביר את השיחה לנציג אחר.
expectation

object (Evaluation.GoldenExpectation)

זה שינוי אופציונלי. מריץ ציפייה בתור הנוכחי.
סוף השדות הבלעדיים.

SessionInput

קלט לסשן.

ייצוג ב-JSON 
{
  "willContinue": boolean,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of mutually exclusive fields.
}
שדות
willContinue

boolean

זה שינוי אופציונלי. סימון שמציין אם ההודעה הנוכחית היא קטע מקלט גדול יותר בסשן של סטרימינג דו-כיווני.

אם הערך הוא true, הסוכן ידחה את העיבוד עד שהוא יקבל הודעה נוספת עם הערך willContinue שהוא false, או עד שהמערכת תזהה נקודת קצה בקלט האודיו.

הערה: השדה הזה לא רלוונטי לקלט של אודיו ו-DTMF, כי הם תמיד מעובדים באופן אוטומטי על סמך אות סיום השיחה.
סוג הקלט. הרשימה הבאה כוללת שדות שאי אפשר להשתמש בהם בו-זמנית. בכל תשובה יוגדר לכל היותר אחד מהשדות:
text

string

זה שינוי אופציונלי. נתוני טקסט ממשתמש הקצה.
dtmf

string

זה שינוי אופציונלי. ספרות DTMF ממשתמש הקצה.
audio

string (bytes format)

זה שינוי אופציונלי. נתוני אודיו ממשתמש הקצה.

מחרוזת בקידוד Base64.
toolResponses

object (ToolResponses)

זה שינוי אופציונלי. תוצאות ההרצה של קריאות הכלים מהלקוח.
image

object (Image)

זה שינוי אופציונלי. נתוני תמונות ממשתמש הקצה.
blob

object (Blob)

זה שינוי אופציונלי. נתוני Blob ממשתמש הקצה.
variables

object (Struct format)

זה שינוי אופציונלי. משתנים לפי הקשר של הסשן, עם שם כמפתח. הסוכן CES ישתמש רק במשתנים שהוגדרו באפליקציה.

משתנים לא מזוהים עדיין יישלחו אל [סוכן Dialogflow][Agent.RemoteDialogflowAgent] כפרמטרים נוספים של הסשן.
event

object (Event)

זה שינוי אופציונלי. קלט האירוע.
סוף השדות הבלעדיים.

ToolResponses

תוצאות ההפעלה של קריאות הכלים המבוקשות מהלקוח.

ייצוג ב-JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
שדות
toolResponses[]

object (ToolResponse)

זה שינוי אופציונלי. רשימת תוצאות ההרצה של הכלי.

אירוע

קלט האירוע.

ייצוג ב-JSON 
{
  "event": string,
  "variables": {
    object
  }
}
שדות
event

string

חובה. שם האירוע.
variables

object (Struct format)

זה שינוי אופציונלי. משתנים נוספים שמשויכים לאירוע.

Evaluation.Scenario

ההגדרה של תרחיש

ייצוג ב-JSON 
{
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (Evaluation.ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (Evaluation.Scenario.TaskCompletionBehavior),
  "userGoalBehavior": enum (Evaluation.Scenario.UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (EvaluationSettings.ScenarioExecutionMode)
}
שדות
task

string

חובה. המשימה שמטרגטים בתרחיש.
userFacts[]

object (Evaluation.Scenario.UserFact)

זה שינוי אופציונלי. העובדות על המשתמש שישמשו בתרחיש.
maxTurns

integer

זה שינוי אופציונלי. המספר המקסימלי של תורות לסימולציה. הערך המקסימלי המותר הוא 100. ערך ברירת המחדל הוא 100.
rubrics[]

string

חובה. קריטריוני ההערכה שלפיהם יתבצע הניקוד של התרחיש.
scenarioExpectations[]

object (Evaluation.ScenarioExpectation)

חובה. ה-ScenarioExpectations להערכת השיחה שנוצרה על ידי סימולציית המשתמש.
variableOverrides

object (Struct format)

זה שינוי אופציונלי. משתנים / פרמטרים של סשן כהקשר לסשן, עם מפתח לפי שמות המשתנים. הערכים של המשתנים האלה יחליפו את ערכי ברירת המחדל שהוגדרו על ידי המערכת.

הערה: אלה עובדות שונות מעובדות על המשתמש, שהן עובדות שהמשתמש מכיר. משתנים הם פרמטרים שהנציג מכיר: כלומר, MDN (מספר טלפון) שמועבר על ידי מערכת הטלפוניה.
taskCompletionBehavior
(deprecated)

enum (Evaluation.Scenario.TaskCompletionBehavior)

זה שינוי אופציונלי. הוצאה משימוש, במקומה, צריך להשתמש ב-userGoalBehavior.
userGoalBehavior

enum (Evaluation.Scenario.UserGoalBehavior)

זה שינוי אופציונלי. ההתנהגות הצפויה של המשתמש ביחס ליעד.
evaluationExpectations[]

string

זה שינוי אופציונלי. הציפיות להערכה שמשמשות להערכת השיחה שנוצרה על ידי הסימולציה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (EvaluationSettings.ScenarioExecutionMode)

זה שינוי אופציונלי. מצב ההפעלה של הערכות התרחישים.

Evaluation.Scenario.TaskCompletionBehavior

ההתנהגות הצפויה של משימת המשתמש. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ברירת המחדל היא TASK_SATISFIED.
TASK_SATISFIED משימת המשתמש צריכה להסתיים בהצלחה.
TASK_REJECTED צריך לדחות את משימת המשתמש.

Evaluation.Scenario.UserGoalBehavior

ההתנהגות הצפויה של המשתמש ביחס ליעד. המידע הזה משמש כדי לקבוע אם התרחיש הצליח.

טיפוסים בני מנייה (enum)
USER_GOAL_BEHAVIOR_UNSPECIFIED התנהגות לא מוגדרת. ערך ברירת המחדל הוא USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED היעד של המשתמש צריך להיות השלמה מוצלחת.
USER_GOAL_REJECTED צריך לדחות את היעד של המשתמש.
USER_GOAL_IGNORED התעלמות מהסטטוס של יעד המשתמש.

Methods

create

 יוצרת הערכה.

delete

 מחיקת הערכה.

export

 ייצוא ההערכות.

get

 מקבלים את הפרטים של ההערכה שצוינה.

list

 רשימה של כל ההערכות באפליקציה הנתונה.

patch

 עדכון של הערכה.

uploadEvaluationAudio

 העלאת אודיו לשימוש בהערכות מוזהבות.