REST Resource: projects.locations.apps.evaluationRuns

משאב: EvaluationRun

הרצת הערכה מייצגת את כל תוצאות ההערכה מהרצת הערכה.

ייצוג ב-JSON 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationRun.EvaluationType),
  "state": enum (EvaluationRun.EvaluationRunState),
  "progress": {
    object (EvaluationRun.Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRun.EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod),
  "operation": string
}
שדות
name

string

מזהה. המזהה הייחודי של הרצת ההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

זה שינוי אופציונלי. השם המוצג של הרצת ההערכה שהוגדר על ידי המשתמש. ברירת מחדל: run - .
evaluationResults[]

string

פלט בלבד. תוצאות ההערכה שקשורות להרצה הזו. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן שבה נוצרת ההרצה של ההערכה.

הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
initiatedBy

string

פלט בלבד. המשתמש שהפעיל את הרצת ההערכה.
appVersion

string

פלט בלבד. גרסת האפליקציה להערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

פלט בלבד. השם המוצג של appVersion שההערכה הופעלה לגביו.
changelog

string

פלט בלבד. יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה.
changelogCreateTime

string (Timestamp format)

פלט בלבד. זמן היצירה של יומן השינויים של גרסת האפליקציה שההערכה בוצעה לגביה. השדה הזה מאוכלס אם המשתמש מריץ הערכה בגרסה האחרונה או בטיוטה.

הפורמט הוא RFC 3339, והפלט שנוצר תמיד יהיה בפורמט Z עם 0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
evaluations[]

string

פלט בלבד. ההערכות שכלולות בהרצה הזו. הרשימה יכולה להכיל הערכות מכל אחד מהסוגים. השדה הזה לא יכול להופיע יחד עם השדה evaluationDataset. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

פלט בלבד. מערך נתוני ההערכה שהריצה הזו משויכת אליו. השדה הזה לא יכול להופיע יחד עם השדה evaluations. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationRun.EvaluationType)

פלט בלבד. סוג ההערכות בהרצה הזו.
state

enum (EvaluationRun.EvaluationRunState)

פלט בלבד. המצב של ההרצה של ההערכה.
progress

object (EvaluationRun.Progress)

פלט בלבד. ההתקדמות של הרצת ההערכה.
config

object (EvaluationConfig)

פלט בלבד. ההגדרה שבה נעשה שימוש בהרצה.
error
(deprecated)

object (Status)

פלט בלבד. המאפיין הזה הוצא משימוש. במקומו צריך להשתמש ב-errorInfo. שגיאות שאירעו במהלך הביצוע.
errorInfo

object (EvaluationErrorInfo)

פלט בלבד. פרטי השגיאה של הרצת ההערכה.
evaluationRunSummaries

map (key: string, value: object (EvaluationRun.EvaluationRunSummary))

פלט בלבד. מיפוי של שם ההערכה ל-EvaluationRunSummary.

אובייקט שמכיל רשימה של "key": value זוגות. לדוגמה: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
latencyReport

object (LatencyReport)

פלט בלבד. דוח השהיה של הרצת ההערכה.
runCount

integer

פלט בלבד. מספר הפעמים שההערכות בתוך ההרצה הופעלו.
personaRunConfigs[]

object (PersonaRunConfig)

פלט בלבד. ההגדרה שתשמש להרצה לכל פרסונה.
optimizationConfig

object (OptimizationConfig)

זה שינוי אופציונלי. הגדרה להרצת שלב האופטימיזציה אחרי הרצת ההערכה. אם לא מוגדרת אופטימיזציה, שלב האופטימיזציה לא יופעל.
scheduledEvaluationRun

string

פלט בלבד. שם המשאב של ההפעלה המתוזמנת של ההערכה שיצרה את הפעלת ההערכה הזו. השדה הזה מוגדר רק אם ההרצה של ההערכה נוצרה על ידי הרצה מתוזמנת של הערכה. פורמט: projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduledEvaluationRun}
goldenRunMethod

enum (GoldenRunMethod)

פלט בלבד. השיטה שבה נעשה שימוש להרצת ההערכה.
operation

string

פלט בלבד. הפעולה שיצרה את ההרצה הזו של ההערכה. פורמט: projects/{project}/locations/{location}/operations/{operation}

EvaluationRun.EvaluationType

סוג ההערכות בהרצה הזו. יכול להיות שבעתיד נוסיף עוד ערכים.

טיפוסים בני מנייה (enum)
EVALUATION_TYPE_UNSPECIFIED לא צוין סוג הערכה.
GOLDEN הערכה מוזהבת.
SCENARIO הערכת התרחיש.
MIXED מציין שההרצה כוללת שילוב של הערכות של תשובות מוזהבות ושל תרחישים.

EvaluationRun.EvaluationRunState

המצב של ההרצה של ההערכה.

טיפוסים בני מנייה (enum)
EVALUATION_RUN_STATE_UNSPECIFIED לא צוין מצב של הפעלת הערכה.
QUEUED המשמעות היא שהרצת ההערכה ממתינה בתור.
RUNNING הפעלת ההערכה מתבצעת.
COMPLETED ההרצה של ההערכה הושלמה.
ERROR יש שגיאה בהרצת ההערכה.
CANCELLED הפעלת ההערכה בוטלה.

EvaluationRun.Progress

ההתקדמות של הרצת ההערכה.

ייצוג ב-JSON 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer,
  "cancelledCount": integer
}
שדות
totalCount

integer

פלט בלבד. המספר הכולל של תוצאות ההערכה בהרצה הזו.
failedCount

integer

פלט בלבד. מספר התוצאות של בדיקות שהושלמו עם התוצאה FAIL. ‫(EvaluationResult.execution_state הוא COMPLETED ו-EvaluationResult.evaluation_status הוא FAIL).
errorCount

integer

פלט בלבד. מספר התוצאות של ההערכה שנכשלו בהרצה. ‫(EvaluationResult.execution_state is ERROR).
completedCount

integer

פלט בלבד. מספר התוצאות של ההערכה שהושלמו בהצלחה. ‫(EvaluationResult.execution_state is COMPLETED).
passedCount

integer

פלט בלבד. מספר התוצאות של הערכות שהושלמו עם תוצאה של PASS. ‫(EvaluationResult.execution_state הוא COMPLETED ו-EvaluationResult.evaluation_status הוא PASS).
cancelledCount

integer

פלט בלבד. מספר התוצאות של הערכות שבוטלו. ‫(EvaluationResult.execution_state הוא CANCELLED).

EvaluationRun.EvaluationRunSummary

המאפיין מכיל את סיכום התוצאות של בדיקה ספציפית בתהליך הערכה, כולל מספר התוצאות שעברו את הבדיקה ומספר התוצאות שנכשלו.

ייצוג ב-JSON 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
שדות
passedCount

integer

פלט בלבד. מספר התוצאות שעברו בבדיקה המשויכת בהרצה הזו.
failedCount

integer

פלט בלבד. מספר התוצאות שנכשלו בהרצה הזו של ההערכה המשויכת.
errorCount

integer

פלט בלבד. מספר תוצאות השגיאה להערכה המשויכת בהרצה הזו.

LatencyReport

דוח השהיה של הרצת ההערכה.

ייצוג ב-JSON 
{
  "toolLatencies": [
    {
      object (LatencyReport.ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (LatencyReport.CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (LatencyReport.GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LatencyReport.LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
שדות
toolLatencies[]

object (LatencyReport.ToolLatency)

פלט בלבד. רשימה לא ממוינת. מדדי זמן האחזור של כל כלי.
callbackLatencies[]

object (LatencyReport.CallbackLatency)

פלט בלבד. רשימה לא ממוינת. מדדי זמן האחזור של כל קריאה חוזרת.
guardrailLatencies[]

object (LatencyReport.GuardrailLatency)

פלט בלבד. רשימה לא ממוינת. מדדי השהיה לכל אמצעי הגנה.
llmCallLatencies[]

object (LatencyReport.LlmCallLatency)

פלט בלבד. רשימה לא ממוינת. מדדי זמן האחזור לכל קריאה למודל שפה גדול.
sessionCount

integer

פלט בלבד. המספר הכולל של הסשנים שנכללים בדוח זמן האחזור.

LatencyReport.ToolLatency

מדדי השהיה של כלי יחיד.

ייצוג ב-JSON 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of mutually exclusive fields.
}
שדות
toolDisplayName

string

פלט בלבד. השם המוצג של הכלי.
latencyMetrics

object (LatencyReport.LatencyMetrics)

פלט בלבד. מדדי זמן האחזור של הכלי.
המזהה של הכלי. הרשימה הבאה כוללת שדות שאי אפשר להשתמש בהם בו-זמנית. בכל תשובה יוגדר לכל היותר אחד מהשדות:
tool

string

פלט בלבד. פורמט: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

פלט בלבד. מזהה הכלי בערכת הכלים.
סוף השדות הבלעדיים.

LatencyReport.LatencyMetrics

מדדי זמן האחזור של רכיב.

ייצוג ב-JSON 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
שדות
p50Latency

string (Duration format)

פלט בלבד. זמן האחזור באחוזון ה-50.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
p90Latency

string (Duration format)

פלט בלבד. זמן האחזור באחוזון ה-90.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
p99Latency

string (Duration format)

פלט בלבד. זמן האחזור באחוזון ה-99.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".
callCount

integer

פלט בלבד. מספר הפעמים שהייתה קריאה למשאב.

LatencyReport.CallbackLatency

מדדי השהיה של קריאה חוזרת אחת.

ייצוג ב-JSON 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
שדות
stage

string

פלט בלבד. השלב של הקריאה החוזרת.
latencyMetrics

object (LatencyReport.LatencyMetrics)

פלט בלבד. מדדי זמן האחזור של הקריאה החוזרת.

LatencyReport.GuardrailLatency

מדדי השהיה של אמצעי בקרה יחיד.

ייצוג ב-JSON 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
שדות
guardrail

string

פלט בלבד. השם של אמצעי הבקרה. פורמט: projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}
guardrailDisplayName

string

פלט בלבד. השם המוצג של אמצעי הבקרה.
latencyMetrics

object (LatencyReport.LatencyMetrics)

פלט בלבד. מדדי זמן האחזור של אמצעי הבקרה.

LatencyReport.LlmCallLatency

מדדי השהיה של קריאה יחידה למודל LLM.

ייצוג ב-JSON 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
שדות
model

string

פלט בלבד. שם המודל.
latencyMetrics

object (LatencyReport.LatencyMetrics)

פלט בלבד. מדדי זמן הטעינה של קריאת ה-LLM.

Methods

delete

 מחיקת הפעלה של הערכה.

export

 ייצוא של הפעלות הערכה.

get

 קבלת פרטים על הפעלת ההערכה שצוינה.

list

 רשימה של כל ההרצות של ההערכה באפליקציה הנתונה.