- Recurso: EvaluationResult
- Representación JSON
- EvaluationResult.GoldenResult
- EvaluationResult.GoldenResult.TurnReplayResult
- EvaluationResult.GoldenExpectationOutcome
- EvaluationResult.Outcome
- EvaluationResult.SemanticSimilarityResult
- EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
- EvaluationResult.HallucinationResult
- EvaluationResult.ToolCallLatency
- EvaluationResult.OverallToolInvocationResult
- EvaluationResult.SpanLatency
- EvaluationResult.SpanLatency.Type
- EvaluationResult.EvaluationExpectationResult
- EvaluationResult.ScenarioResult
- EvaluationResult.ScenarioExpectationOutcome
- EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
- EvaluationResult.ScenarioRubricOutcome
- EvaluationResult.TaskCompletionResult
- EvaluationResult.UserGoalSatisfactionResult
- EvaluationResult.ScenarioResult.MilestoneResult
- EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
- EvaluationResult.ExecutionState
- EvaluationResult.OutcomeMetadata
- Métodos
Recurso: EvaluationResult
Un resultado de evaluación representa el resultado de ejecutar una evaluación.
| Representación JSON |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| Campos | |
|---|---|
name |
Es el identificador. Es el identificador único del resultado de la evaluación. Formato: |
displayName |
Obligatorio. Es el nombre visible del resultado de la evaluación. Es único dentro de una evaluación. De forma predeterminada, tiene el siguiente formato: " |
createTime |
Solo salida. Es la marca de tiempo de cuando se creó el resultado de la evaluación. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: |
evaluationStatus |
Solo salida. Es el resultado de la evaluación. Solo se completa si executionState es COMPLETE. |
evaluationRun |
Solo salida. Es la ejecución de la evaluación que produjo este resultado. Formato: |
persona |
Solo salida. Es el perfil que se usa para generar la conversación para el resultado de la evaluación. |
errorInfo |
Solo salida. Es la información de error del resultado de la evaluación. |
error |
Solo salida. Obsoleto: Usa |
initiatedBy |
Solo salida. Es el usuario que inició la ejecución de la evaluación que generó este resultado. |
appVersion |
Solo salida. Es la versión de la app que se usó para generar la conversación que dio lugar a este resultado. Formato: |
appVersionDisplayName |
Solo salida. Es el nombre visible del |
changelog |
Solo salida. Es el registro de cambios de la versión de la app en la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador. |
changelogCreateTime |
Solo salida. Es la hora de creación del registro de cambios de la versión de la app con la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: |
executionState |
Solo salida. Es el estado de la ejecución del resultado de la evaluación. |
evaluationMetricsThresholds |
Solo salida. Son los umbrales de evaluación del resultado. |
config |
Solo salida. Es la configuración que se usó en la ejecución de la evaluación que generó este resultado. |
goldenRunMethod |
Solo salida. Es el método que se usa para ejecutar la evaluación de referencia. |
rootSpan |
Solo salida. El intervalo raíz de la ejecución de la evaluación, que incluye información sobre cada paso de la evaluación. |
outcomeMetadata |
Solo salida. Son los metadatos de resultado de la evaluación. Solo se completa si executionState es COMPLETE. |
| Es el resultado de la evaluación. Solo se propaga cuando execution_state es COMPLETED. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta: | |
goldenResult |
Solo salida. Es el resultado de una evaluación de referencia. |
scenarioResult |
Solo salida. Es el resultado de la evaluación de un caso. |
| Fin de los campos mutuamente excluyentes. | |
EvaluationResult.GoldenResult
Es el resultado de una evaluación de referencia.
| Representación JSON |
|---|
{ "turnReplayResults": [ { object ( |
| Campos | |
|---|---|
turnReplayResults[] |
Solo salida. Es el resultado de ejecutar cada turno de la conversación de referencia. |
evaluationExpectationResults[] |
Solo salida. Los resultados de la evaluación. |
EvaluationResult.GoldenResult.TurnReplayResult
Es el resultado de ejecutar un solo turno de la conversación de referencia.
| Representación JSON |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| Campos | |
|---|---|
conversation |
Solo salida. Es la conversación que se generó para este turno. |
expectationOutcome[] |
Solo salida. El resultado de cada expectativa. |
hallucinationResult |
Solo salida. Es el resultado de la verificación de alucinaciones. |
toolInvocationScore |
Solo salida. Obsoleto. En su lugar, usa OverallToolInvocationResult. |
turnLatency |
Solo salida. Es la duración del giro. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “ |
toolCallLatencies[] |
Solo salida. La latencia de cada llamada a la herramienta en el turno. |
semanticSimilarityResult |
Solo salida. Es el resultado de la verificación de similitud semántica. |
overallToolInvocationResult |
Solo salida. Es el resultado de la verificación general de la invocación de la herramienta. |
errorInfo |
Solo salida. Información sobre el error que se produjo durante este turno. |
spanLatencies[] |
Solo salida. Es la latencia de los intervalos en el turno. |
toolOrderedInvocationScore |
Solo salida. La puntuación general de invocación ordenada de la herramienta para este turno. Esto indica el porcentaje general de herramientas del turno esperado que se invocaron en el orden esperado. |
EvaluationResult.GoldenExpectationOutcome
Especifica la expectativa y el resultado de esa expectativa.
| Representación JSON |
|---|
{ "expectation": { object ( |
| Campos | |
|---|---|
expectation |
Solo salida. La expectativa que se evaluó. |
outcome |
Solo salida. Es el resultado de la expectativa. |
semanticSimilarityResult |
Solo salida. Es el resultado de la verificación de similitud semántica. |
toolInvocationResult |
Solo salida. Es el resultado de la verificación de invocación de la herramienta. |
| El resultado de la expectativa. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta: | |
observedToolCall |
Solo salida. Es el resultado de la expectativa de la llamada a la herramienta. |
observedToolResponse |
Solo salida. Es el resultado de la expectativa de respuesta de la herramienta. |
observedAgentResponse |
Solo salida. Es el resultado de la expectativa de respuesta del agente. |
observedAgentTransfer |
Solo salida. Es el resultado de la expectativa de transferencia del agente. |
observedPayload |
Solo salida. Es una carga útil personalizada observada. No hay expectativas para las cargas útiles personalizadas. Esto solo se usa para el cálculo de métricas. El resultado siempre es SKIPPED. |
| Fin de los campos mutuamente excluyentes. | |
EvaluationResult.Outcome
Es el resultado de la evaluación o expectativa.
| Enums | |
|---|---|
OUTCOME_UNSPECIFIED |
No se especificó el resultado de la evaluación. |
PASS |
Se aprobó la evaluación o expectativa. En el caso de una evaluación, esto significa que se cumplieron todas las expectativas. |
FAIL |
No se pudieron cumplir las expectativas o la evaluación. En el caso de una evaluación, esto significa que no se cumplió al menos una expectativa. |
SKIPPED |
Se omitió la evaluación o expectativa. |
EvaluationResult.SemanticSimilarityResult
Es el resultado de la verificación de similitud semántica.
| Representación JSON |
|---|
{
"label": string,
"explanation": string,
"outcome": enum ( |
| Campos | |
|---|---|
label |
Solo salida. Es la etiqueta asociada con cada puntuación. Puntuación 4: Totalmente coherente Puntuación 3: Mayormente coherente Puntuación 2: Parcialmente coherente (omisiones menores) Puntuación 1: En gran medida incoherente (omisiones importantes) Puntuación 0: Completamente incoherente o contradictorio |
explanation |
Solo salida. Es la explicación de la puntuación de similitud semántica. |
outcome |
Solo salida. Es el resultado de la verificación de similitud semántica. Esto se determina comparando la puntuación con el semanticSimilaritySuccessThreshold. Si la puntuación es igual o superior al umbral, el resultado será PASS. De lo contrario, el resultado será FAIL. |
score |
Solo salida. Es la puntuación de similitud semántica. Puede ser 0, 1, 2, 3 o 4. |
EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
Es el resultado de la verificación de invocación de la herramienta.
| Representación JSON |
|---|
{
"outcome": enum ( |
| Campos | |
|---|---|
outcome |
Solo salida. Es el resultado de la verificación de invocación de la herramienta. Esto se determina comparando el parámetroCorrectnessScore con el umbral. Si la puntuación es igual o superior al umbral, el resultado será PASS. De lo contrario, el resultado será FAIL. |
explanation |
Solo salida. Es una explicación en texto libre del resultado de la invocación de la herramienta. |
parameterCorrectnessScore |
Solo salida. Es la puntuación de corrección del parámetro de invocación de la herramienta. Esto indica el porcentaje de parámetros de la llamada a la herramienta esperada que también estuvieron presentes en la llamada a la herramienta real. |
EvaluationResult.HallucinationResult
Es el resultado de la verificación de alucinaciones para un solo turno.
| Representación JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Campos | |
|---|---|
label |
Solo salida. Es la etiqueta asociada con cada puntuación. Puntuación 1: Justificada Puntuación 0: No justificada Puntuación -1: No hay afirmación para evaluar |
explanation |
Solo salida. Es la explicación de la puntuación de alucinación. |
score |
Solo salida. Es la puntuación de alucinación. Puede ser -1, 0 o 1. |
EvaluationResult.ToolCallLatency
Es la latencia de la ejecución de una llamada a la herramienta.
| Representación JSON |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| Campos | |
|---|---|
tool |
Solo salida. Es el nombre de la herramienta que se ejecutó. Formato: |
displayName |
Solo salida. Es el nombre visible de la herramienta. |
startTime |
Solo salida. Es la hora de inicio de la ejecución de la llamada a la herramienta. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: |
endTime |
Solo salida. Es la hora de finalización de la ejecución de la llamada a la herramienta. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: |
executionLatency |
Solo salida. Es la latencia de la ejecución de la llamada a la herramienta. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “ |
EvaluationResult.OverallToolInvocationResult
Es el resultado de la verificación general de la invocación de la herramienta.
| Representación JSON |
|---|
{
"outcome": enum ( |
| Campos | |
|---|---|
outcome |
Solo salida. Es el resultado de la verificación de invocación de la herramienta. Esto se determina comparando el toolInvocationScore con el overallToolInvocationCorrectnessThreshold. Si la puntuación es igual o superior al umbral, el resultado será PASS. De lo contrario, el resultado será FAIL. |
toolInvocationScore |
Es la puntuación general de invocación de herramientas para este turno. Esto indica el porcentaje general de herramientas del turno esperado que se invocaron. |
EvaluationResult.SpanLatency
La latencia de la ejecución de un intervalo.
| Representación JSON |
|---|
{ "type": enum ( |
| Campos | |
|---|---|
type |
Solo salida. Es el tipo de intervalo. |
displayName |
Solo salida. Es el nombre visible del intervalo. Se aplica a los intervalos de herramientas y protecciones. |
startTime |
Solo salida. Es la hora de inicio del intervalo. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: |
endTime |
Solo salida. Es la hora de finalización del intervalo. Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: |
executionLatency |
Solo salida. La latencia del intervalo. Una duración en segundos con hasta nueve dígitos decimales, que terminan en “ |
| Es el identificador del elemento específico según su tipo. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta: | |
resource |
Solo salida. Es el nombre del recurso de los intervalos de la protección o la herramienta. |
toolset |
Solo salida. Es el identificador de la herramienta del conjunto de herramientas. |
model |
Solo salida. Es el nombre del intervalo de LLM. |
callback |
Solo salida. Es el nombre del intervalo de devolución de llamada del usuario. |
| Fin de los campos mutuamente excluyentes. | |
EvaluationResult.SpanLatency.Type
Es el tipo de intervalo. Es posible que se agreguen más valores en el futuro.
| Enums | |
|---|---|
TYPE_UNSPECIFIED |
Valor predeterminado. Este valor no se usa. |
TOOL |
Intervalo de llamada a la herramienta. |
USER_CALLBACK |
Es el intervalo de devolución de llamada del usuario. |
GUARDRAIL |
Intervalo de la protección. |
LLM |
Intervalo de LLM. |
EvaluationResult.EvaluationExpectationResult
Es el resultado de una sola expectativa de evaluación.
| Representación JSON |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| Campos | |
|---|---|
evaluationExpectation |
Solo salida. La expectativa de la evaluación. Formato: |
prompt |
Solo salida. La instrucción que se usó para la evaluación. |
outcome |
Solo salida. Es el resultado de la expectativa de evaluación. |
explanation |
Solo salida. Es la explicación del resultado. |
EvaluationResult.ScenarioResult
Es el resultado de la evaluación de un caso.
| Representación JSON |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| Campos | |
|---|---|
conversation |
Solo salida. La conversación que se generó en la situación |
task |
Solo salida. Es la tarea que se usó cuando se ejecutó la situación para este resultado. |
userFacts[] |
Solo salida. Son los datos del usuario que usó la situación para este resultado. |
expectationOutcomes[] |
Solo salida. El resultado de cada expectativa. |
rubricOutcomes[] |
Solo salida. El resultado de la rúbrica. |
hallucinationResult[] |
Solo salida. Es el resultado de la verificación de alucinaciones. Habrá un resultado de alucinación para cada turno de la conversación. |
taskCompletionResult |
Solo salida. Es el resultado de la verificación de finalización de la tarea. |
toolCallLatencies[] |
Solo salida. La latencia de cada ejecución de llamada a la herramienta en la conversación. |
userGoalSatisfactionResult |
Solo salida. Es el resultado de la verificación de satisfacción del objetivo del usuario. |
spanLatencies[] |
Solo salida. La latencia de los intervalos en la conversación. |
evaluationExpectationResults[] |
Solo salida. Los resultados de la evaluación. |
milestoneResults[] |
Solo salida. Los resultados de cada hito de la situación |
allExpectationsSatisfied |
Solo salida. Indica si se cumplieron todas las expectativas para este turno. |
taskCompleted |
Solo salida. Indica si la tarea se completó para este turno. Este es un compuesto de todas las expectativas satisfechas, sin alucinaciones y con la satisfacción de los objetivos del usuario. |
EvaluationResult.ScenarioExpectationOutcome
Es el resultado de una expectativa de situación.
| Representación JSON |
|---|
{ "expectation": { object ( |
| Campos | |
|---|---|
expectation |
Solo salida. La expectativa que se evaluó. |
outcome |
Solo salida. Es el resultado de ScenarioExpectation. |
| El resultado de la expectativa. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta: | |
observedToolCall |
Solo salida. Es la llamada a la herramienta observada. |
observedAgentResponse |
Solo salida. La respuesta observada del agente. |
| Fin de los campos mutuamente excluyentes. | |
EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
La llamada a la herramienta y la respuesta observadas.
| Representación JSON |
|---|
{ "toolCall": { object ( |
| Campos | |
|---|---|
toolCall |
Solo salida. Es la llamada a la herramienta observada. |
toolResponse |
Solo salida. La respuesta de la herramienta observada. |
EvaluationResult.ScenarioRubricOutcome
El resultado de la evaluación con la rúbrica.
| Representación JSON |
|---|
{ "rubric": string, "scoreExplanation": string, "score": number } |
| Campos | |
|---|---|
rubric |
Solo salida. Es la rúbrica que se usó para evaluar la conversación. |
scoreExplanation |
Solo salida. Es la respuesta del evaluador a la rúbrica. |
score |
Solo salida. La puntuación de la conversación según la rúbrica. |
EvaluationResult.TaskCompletionResult
Es el resultado de la verificación de finalización de la tarea para la conversación.
| Representación JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Campos | |
|---|---|
label |
Solo salida. Es la etiqueta asociada con cada puntuación. Puntuación 1: Tarea completada Puntuación 0: Tarea no completada Puntuación -1: Objetivo del usuario no definido |
explanation |
Solo salida. Es la explicación de la puntuación de finalización de la tarea. |
score |
Solo salida. Es la puntuación de finalización de la tarea. Puede ser -1, 0 o 1 |
EvaluationResult.UserGoalSatisfactionResult
Es el resultado de una verificación de satisfacción del objetivo del usuario para una conversación.
| Representación JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Campos | |
|---|---|
label |
Solo salida. Es la etiqueta asociada con cada puntuación. Puntuación 2: Transferencia correcta Puntuación 1: Tarea del usuario satisfecha Puntuación 0: Tarea del usuario no satisfecha Puntuación -1: Tarea del usuario no especificada |
explanation |
Solo salida. Es la explicación de la puntuación de satisfacción de la tarea del usuario. |
score |
Solo salida. Es la puntuación de satisfacción del usuario con la tarea. Puede ser -1, 0, 1, 2. |
EvaluationResult.ScenarioResult.MilestoneResult
Representa el resultado de la ejecución de un hito.
| Representación JSON |
|---|
{ "milestone": { object ( |
| Campos | |
|---|---|
milestone |
Solo salida. Es el hito del que se hace un seguimiento. |
status |
Solo salida. Es el estado actual del hito. |
justification |
Solo salida. Es la justificación del estado actual. |
EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
Es el estado del logro.
| Enums | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
Indica que no se especificó el estado. |
NOT_STARTED |
El hito aún no comenzó. |
IN_PROGRESS |
El hito está en curso. |
COMPLETED |
El hito se completó correctamente. |
EvaluationResult.ExecutionState
Es el estado de la ejecución del resultado de la evaluación.
| Enums | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
No se especificó el estado de ejecución del resultado de la evaluación. |
QUEUED |
La ejecución del resultado de la evaluación está en cola. |
RUNNING |
Se está ejecutando el resultado de la evaluación. |
COMPLETED |
Se completó la ejecución del resultado de la evaluación. |
ERROR |
No se pudo ejecutar el resultado de la evaluación debido a un error interno. |
CANCELLED |
Se canceló la ejecución del resultado de la evaluación. |
EvaluationResult.OutcomeMetadata
Son los metadatos sobre el resultado de la evaluación.
| Enums | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
Metadatos de resultado sin especificar. |
GRACEFUL_HANDOFF |
La evaluación dio como resultado una transferencia fluida a un representante humano. |
Métodos |
|
|---|---|
|
Borra un resultado de evaluación. |
|
Exporta los resultados de las evaluaciones. |
|
Obtiene los detalles del resultado de la evaluación especificado. |
|
Enumera todos los resultados de una evaluación determinada. |
|
Ejecuta métricas en un resultado de evaluación existente. |