REST Resource: projects.locations.apps.evaluationRuns

Recurso: EvaluationRun

Una ejecución de evaluación representa todos los resultados de una ejecución de evaluación.

Representación JSON 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationRun.EvaluationType),
  "state": enum (EvaluationRun.EvaluationRunState),
  "progress": {
    object (EvaluationRun.Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRun.EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod),
  "operation": string
}
Campos
name

string

Es el identificador. Es el identificador único de la ejecución de la evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

Es opcional. Nombre visible definido por el usuario de la ejecución de la evaluación. El valor predeterminado es " run - ".
evaluationResults[]

string

Solo salida. Son los resultados de la evaluación que forman parte de esta ejecución. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

Solo salida. Es la marca de tiempo de la creación de la ejecución de la evaluación.

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
initiatedBy

string

Solo salida. Es el usuario que inició la ejecución de la evaluación.
appVersion

string

Solo salida. Es la versión de la app que se evaluará. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Solo salida. Es el nombre visible del appVersion con el que se ejecutó la evaluación.
changelog

string

Solo salida. Es el registro de cambios de la versión de la app con la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador.
changelogCreateTime

string (Timestamp format)

Solo salida. Es la fecha y hora de creación del registro de cambios de la versión de la app con la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador.

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
evaluations[]

string

Solo salida. Son las evaluaciones que forman parte de esta ejecución. La lista puede contener evaluaciones de cualquiera de los dos tipos. Este campo es mutuamente exclusivo con evaluationDataset. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

Solo salida. Es el conjunto de datos de evaluación con el que se asocia esta ejecución. Este campo es mutuamente exclusivo con evaluations. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationRun.EvaluationType)

Solo salida. Es el tipo de evaluaciones en esta ejecución.
state

enum (EvaluationRun.EvaluationRunState)

Solo salida. Es el estado de la ejecución de la evaluación.
progress

object (EvaluationRun.Progress)

Solo salida. Es el progreso de la ejecución de la evaluación.
config

object (EvaluationConfig)

Solo salida. Es la configuración que se usó en la ejecución.
error
(deprecated)

object (Status)

Solo salida. Obsoleto: Usa errorInfo en su lugar. Se encontraron errores durante la ejecución.
errorInfo

object (EvaluationErrorInfo)

Solo salida. Es la información del error de la ejecución de la evaluación.
evaluationRunSummaries

map (key: string, value: object (EvaluationRun.EvaluationRunSummary))

Solo salida. Mapa del nombre de la evaluación a EvaluationRunSummary.

Un objeto que contiene una lista de pares "key": value. Ejemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
latencyReport

object (LatencyReport)

Solo salida. Es el informe de latencia de la ejecución de la evaluación.
runCount

integer

Solo salida. Es la cantidad de veces que se ejecutaron las evaluaciones dentro de la ejecución.
personaRunConfigs[]

object (PersonaRunConfig)

Solo salida. Es la configuración que se usará para la ejecución por arquetipo.
optimizationConfig

object (OptimizationConfig)

Es opcional. Es la configuración para ejecutar el paso de optimización después de la ejecución de la evaluación. Si no se establece, no se ejecutará el paso de optimización.
scheduledEvaluationRun

string

Solo salida. Es el nombre del recurso de la ejecución de la evaluación programada que creó esta ejecución de la evaluación. Este campo solo se configura si la ejecución de la evaluación se creó a partir de una ejecución de evaluación programada. Formato: projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduledEvaluationRun}
goldenRunMethod

enum (GoldenRunMethod)

Solo salida. Es el método que se usa para ejecutar la evaluación.
operation

string

Solo salida. Operación que creó esta ejecución de evaluación. Formato: projects/{project}/locations/{location}/operations/{operation}

EvaluationRun.EvaluationType

Es el tipo de evaluaciones en esta ejecución. Es posible que se agreguen valores adicionales en el futuro.

Enums
EVALUATION_TYPE_UNSPECIFIED No se especificó el tipo de evaluación.
GOLDEN Evaluación de referencia.
SCENARIO Evaluación de situaciones
MIXED Indica que la ejecución incluye una combinación de evaluaciones de oro y de situaciones.

EvaluationRun.EvaluationRunState

Es el estado de la ejecución de la evaluación.

Enums
EVALUATION_RUN_STATE_UNSPECIFIED No se especificó el estado de la ejecución de la evaluación.
QUEUED Indica que la ejecución de la evaluación está en cola.
RUNNING Se está ejecutando la evaluación.
COMPLETED Se completó la ejecución de la evaluación.
ERROR La ejecución de la evaluación tiene un error.
CANCELLED Se canceló la ejecución de la evaluación.

EvaluationRun.Progress

Es el progreso de la ejecución de la evaluación.

Representación JSON 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer,
  "cancelledCount": integer
}
Campos
totalCount

integer

Solo salida. Es la cantidad total de resultados de la evaluación en esta ejecución.
failedCount

integer

Solo salida. Es la cantidad de resultados de evaluación completados con el resultado FAIL. (EvaluationResult.execution_state es COMPLETED y EvaluationResult.evaluation_status es FAIL).
errorCount

integer

Solo salida. Es la cantidad de resultados de la evaluación que no se pudieron ejecutar. (EvaluationResult.execution_state es ERROR).
completedCount

integer

Solo salida. Es la cantidad de resultados de la evaluación que finalizaron correctamente. (EvaluationResult.execution_state es COMPLETED).
passedCount

integer

Solo salida. Cantidad de resultados de evaluación completados con un resultado de APROBADO. (EvaluationResult.execution_state es COMPLETED y EvaluationResult.evaluation_status es PASS).
cancelledCount

integer

Solo salida. Es la cantidad de resultados de la evaluación que se cancelaron. (EvaluationResult.execution_state es CANCELLED).

EvaluationRun.EvaluationRunSummary

Contiene el resumen de los recuentos de resultados aprobados y rechazados para una evaluación específica en una ejecución de evaluación.

Representación JSON 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
Campos
passedCount

integer

Solo salida. Es la cantidad de resultados aprobados para la evaluación asociada en esta ejecución.
failedCount

integer

Solo salida. Es la cantidad de resultados con errores de la evaluación asociada en esta ejecución.
errorCount

integer

Solo salida. Es la cantidad de resultados de error para la evaluación asociada en esta ejecución.

LatencyReport

Es el informe de latencia de la ejecución de la evaluación.

Representación JSON 
{
  "toolLatencies": [
    {
      object (LatencyReport.ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (LatencyReport.CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (LatencyReport.GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LatencyReport.LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
Campos
toolLatencies[]

object (LatencyReport.ToolLatency)

Solo salida. Lista sin ordenar. Métricas de latencia para cada herramienta.
callbackLatencies[]

object (LatencyReport.CallbackLatency)

Solo salida. Lista sin ordenar. Son las métricas de latencia para cada devolución de llamada.
guardrailLatencies[]

object (LatencyReport.GuardrailLatency)

Solo salida. Lista sin ordenar. Son las métricas de latencia para cada barrera de protección.
llmCallLatencies[]

object (LatencyReport.LlmCallLatency)

Solo salida. Lista sin ordenar. Son las métricas de latencia para cada llamada al LLM.
sessionCount

integer

Solo salida. Es la cantidad total de sesiones que se tuvieron en cuenta en el informe de latencia.

LatencyReport.ToolLatency

Son las métricas de latencia de una sola herramienta.

Representación JSON 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of mutually exclusive fields.
}
Campos
toolDisplayName

string

Solo salida. Es el nombre visible de la herramienta.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Solo salida. Son las métricas de latencia de la herramienta.
Es el identificador de la herramienta. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta:
tool

string

Solo salida. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
toolsetTool

object (ToolsetTool)

Solo salida. Es el identificador de la herramienta del conjunto de herramientas.
Fin de los campos mutuamente excluyentes.

LatencyReport.LatencyMetrics

Son las métricas de latencia de un componente.

Representación JSON 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
Campos
p50Latency

string (Duration format)

Solo salida. Es la latencia del percentil 50.

Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
p90Latency

string (Duration format)

Solo salida. Es la latencia del percentil 90.

Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
p99Latency

string (Duration format)

Solo salida. Es la latencia del percentil 99.

Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".
callCount

integer

Solo salida. Es la cantidad de veces que se llamó al recurso.

LatencyReport.CallbackLatency

Son las métricas de latencia para una sola devolución de llamada.

Representación JSON 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Campos
stage

string

Solo salida. Es la etapa de la devolución de llamada.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Solo salida. Son las métricas de latencia de la devolución de llamada.

LatencyReport.GuardrailLatency

Son las métricas de latencia para una sola protección.

Representación JSON 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Campos
guardrail

string

Solo salida. Es el nombre de la protección. Formato: projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}.
guardrailDisplayName

string

Solo salida. Es el nombre visible de la protección.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Solo salida. Son las métricas de latencia del sistema de protección.

LatencyReport.LlmCallLatency

Son las métricas de latencia para una sola llamada a un LLM.

Representación JSON 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Campos
model

string

Solo salida. El nombre del modelo.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Solo salida. Son las métricas de latencia de la llamada al LLM.

Métodos

delete

 Borra una ejecución de evaluación.

export

 Exporta las ejecuciones de evaluación.

get

 Obtiene detalles de la ejecución de evaluación especificada.

list

 Enumera todas las ejecuciones de evaluación de la app especificada.