REST Resource: projects.locations.apps.evaluations.results

Recurso: EvaluationResult

Un resultado de evaluación representa el resultado de ejecutar una evaluación.

Representación JSON
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (EvaluationResult.Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (EvaluationResult.ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (EvaluationResult.OutcomeMetadata),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "goldenResult": {
    object (EvaluationResult.GoldenResult)
  },
  "scenarioResult": {
    object (EvaluationResult.ScenarioResult)
  }
  // End of mutually exclusive fields.
}
Campos
name

string

Es el identificador. Es el identificador único del resultado de la evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}

displayName

string

Obligatorio. Es el nombre visible del resultado de la evaluación. Es único dentro de una evaluación. De forma predeterminada, tiene el siguiente formato: " result - ".

createTime

string (Timestamp format)

Solo salida. Es la marca de tiempo de cuando se creó el resultado de la evaluación.

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

evaluationStatus

enum (EvaluationResult.Outcome)

Solo salida. Es el resultado de la evaluación. Solo se completa si executionState es COMPLETE.

evaluationRun

string

Solo salida. Es la ejecución de la evaluación que produjo este resultado. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}

persona

object (EvaluationPersona)

Solo salida. Es el perfil que se usa para generar la conversación para el resultado de la evaluación.

errorInfo

object (EvaluationErrorInfo)

Solo salida. Es la información de error del resultado de la evaluación.

error
(deprecated)

object (Status)

Solo salida. Obsoleto: Usa errorInfo en su lugar. Se encontraron errores durante la ejecución.

initiatedBy

string

Solo salida. Es el usuario que inició la ejecución de la evaluación que generó este resultado.

appVersion

string

Solo salida. Es la versión de la app que se usó para generar la conversación que dio lugar a este resultado. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}

appVersionDisplayName

string

Solo salida. Es el nombre visible del appVersion con el que se ejecutó la evaluación.

changelog

string

Solo salida. Es el registro de cambios de la versión de la app en la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador.

changelogCreateTime

string (Timestamp format)

Solo salida. Es la hora de creación del registro de cambios de la versión de la app con la que se ejecutó la evaluación. Se completa si el usuario ejecuta la evaluación en la versión más reciente o en el borrador.

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

executionState

enum (EvaluationResult.ExecutionState)

Solo salida. Es el estado de la ejecución del resultado de la evaluación.

evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Solo salida. Son los umbrales de evaluación del resultado.

config

object (EvaluationConfig)

Solo salida. Es la configuración que se usó en la ejecución de la evaluación que generó este resultado.

goldenRunMethod

enum (GoldenRunMethod)

Solo salida. Es el método que se usa para ejecutar la evaluación de referencia.

rootSpan

object (Span)

Solo salida. El intervalo raíz de la ejecución de la evaluación, que incluye información sobre cada paso de la evaluación.

outcomeMetadata

enum (EvaluationResult.OutcomeMetadata)

Solo salida. Son los metadatos de resultado de la evaluación. Solo se completa si executionState es COMPLETE.

Es el resultado de la evaluación. Solo se propaga cuando execution_state es COMPLETED. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta:
goldenResult

object (EvaluationResult.GoldenResult)

Solo salida. Es el resultado de una evaluación de referencia.

scenarioResult

object (EvaluationResult.ScenarioResult)

Solo salida. Es el resultado de la evaluación de un caso.

Fin de los campos mutuamente excluyentes.

EvaluationResult.GoldenResult

Es el resultado de una evaluación de referencia.

Representación JSON
{
  "turnReplayResults": [
    {
      object (EvaluationResult.GoldenResult.TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ]
}
Campos
turnReplayResults[]

object (EvaluationResult.GoldenResult.TurnReplayResult)

Solo salida. Es el resultado de ejecutar cada turno de la conversación de referencia.

evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

Solo salida. Los resultados de la evaluación.

EvaluationResult.GoldenResult.TurnReplayResult

Es el resultado de ejecutar un solo turno de la conversación de referencia.

Representación JSON
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (EvaluationResult.GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (EvaluationResult.HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (EvaluationResult.OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "toolOrderedInvocationScore": number
}
Campos
conversation

string

Solo salida. Es la conversación que se generó para este turno.

expectationOutcome[]

object (EvaluationResult.GoldenExpectationOutcome)

Solo salida. El resultado de cada expectativa.

hallucinationResult

object (EvaluationResult.HallucinationResult)

Solo salida. Es el resultado de la verificación de alucinaciones.

toolInvocationScore
(deprecated)

number

Solo salida. Obsoleto. En su lugar, usa OverallToolInvocationResult.

turnLatency

string (Duration format)

Solo salida. Es la duración del giro.

Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".

toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

Solo salida. La latencia de cada llamada a la herramienta en el turno.

semanticSimilarityResult

object (EvaluationResult.SemanticSimilarityResult)

Solo salida. Es el resultado de la verificación de similitud semántica.

overallToolInvocationResult

object (EvaluationResult.OverallToolInvocationResult)

Solo salida. Es el resultado de la verificación general de la invocación de la herramienta.

errorInfo

object (EvaluationErrorInfo)

Solo salida. Información sobre el error que se produjo durante este turno.

spanLatencies[]

object (EvaluationResult.SpanLatency)

Solo salida. Es la latencia de los intervalos en el turno.

toolOrderedInvocationScore

number

Solo salida. La puntuación general de invocación ordenada de la herramienta para este turno. Esto indica el porcentaje general de herramientas del turno esperado que se invocaron en el orden esperado.

EvaluationResult.GoldenExpectationOutcome

Especifica la expectativa y el resultado de esa expectativa.

Representación JSON
{
  "expectation": {
    object (Evaluation.GoldenExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of mutually exclusive fields.
}
Campos
expectation

object (Evaluation.GoldenExpectation)

Solo salida. La expectativa que se evaluó.

outcome

enum (EvaluationResult.Outcome)

Solo salida. Es el resultado de la expectativa.

semanticSimilarityResult
(deprecated)

object (EvaluationResult.SemanticSimilarityResult)

Solo salida. Es el resultado de la verificación de similitud semántica.

toolInvocationResult

object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)

Solo salida. Es el resultado de la verificación de invocación de la herramienta.

El resultado de la expectativa. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta:
observedToolCall

object (ToolCall)

Solo salida. Es el resultado de la expectativa de la llamada a la herramienta.

observedToolResponse

object (ToolResponse)

Solo salida. Es el resultado de la expectativa de respuesta de la herramienta.

observedAgentResponse

object (Message)

Solo salida. Es el resultado de la expectativa de respuesta del agente.

observedAgentTransfer

object (AgentTransfer)

Solo salida. Es el resultado de la expectativa de transferencia del agente.

observedPayload

object (Struct format)

Solo salida. Es una carga útil personalizada observada. No hay expectativas para las cargas útiles personalizadas. Esto solo se usa para el cálculo de métricas. El resultado siempre es SKIPPED.

Fin de los campos mutuamente excluyentes.

EvaluationResult.Outcome

Es el resultado de la evaluación o expectativa.

Enums
OUTCOME_UNSPECIFIED No se especificó el resultado de la evaluación.
PASS Se aprobó la evaluación o expectativa. En el caso de una evaluación, esto significa que se cumplieron todas las expectativas.
FAIL No se pudieron cumplir las expectativas o la evaluación. En el caso de una evaluación, esto significa que no se cumplió al menos una expectativa.
SKIPPED Se omitió la evaluación o expectativa.

EvaluationResult.SemanticSimilarityResult

Es el resultado de la verificación de similitud semántica.

Representación JSON
{
  "label": string,
  "explanation": string,
  "outcome": enum (EvaluationResult.Outcome),
  "score": integer
}
Campos
label

string

Solo salida. Es la etiqueta asociada con cada puntuación. Puntuación 4: Totalmente coherente Puntuación 3: Mayormente coherente Puntuación 2: Parcialmente coherente (omisiones menores) Puntuación 1: En gran medida incoherente (omisiones importantes) Puntuación 0: Completamente incoherente o contradictorio

explanation

string

Solo salida. Es la explicación de la puntuación de similitud semántica.

outcome

enum (EvaluationResult.Outcome)

Solo salida. Es el resultado de la verificación de similitud semántica. Esto se determina comparando la puntuación con el semanticSimilaritySuccessThreshold. Si la puntuación es igual o superior al umbral, el resultado será PASS. De lo contrario, el resultado será FAIL.

score

integer

Solo salida. Es la puntuación de similitud semántica. Puede ser 0, 1, 2, 3 o 4.

EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult

Es el resultado de la verificación de invocación de la herramienta.

Representación JSON
{
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string,
  "parameterCorrectnessScore": number
}
Campos
outcome

enum (EvaluationResult.Outcome)

Solo salida. Es el resultado de la verificación de invocación de la herramienta. Esto se determina comparando el parámetroCorrectnessScore con el umbral. Si la puntuación es igual o superior al umbral, el resultado será PASS. De lo contrario, el resultado será FAIL.

explanation

string

Solo salida. Es una explicación en texto libre del resultado de la invocación de la herramienta.

parameterCorrectnessScore

number

Solo salida. Es la puntuación de corrección del parámetro de invocación de la herramienta. Esto indica el porcentaje de parámetros de la llamada a la herramienta esperada que también estuvieron presentes en la llamada a la herramienta real.

EvaluationResult.HallucinationResult

Es el resultado de la verificación de alucinaciones para un solo turno.

Representación JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Campos
label

string

Solo salida. Es la etiqueta asociada con cada puntuación. Puntuación 1: Justificada Puntuación 0: No justificada Puntuación -1: No hay afirmación para evaluar

explanation

string

Solo salida. Es la explicación de la puntuación de alucinación.

score

integer

Solo salida. Es la puntuación de alucinación. Puede ser -1, 0 o 1.

EvaluationResult.ToolCallLatency

Es la latencia de la ejecución de una llamada a la herramienta.

Representación JSON
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Campos
tool

string

Solo salida. Es el nombre de la herramienta que se ejecutó. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.

displayName

string

Solo salida. Es el nombre visible de la herramienta.

startTime

string (Timestamp format)

Solo salida. Es la hora de inicio de la ejecución de la llamada a la herramienta.

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

Solo salida. Es la hora de finalización de la ejecución de la llamada a la herramienta.

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

executionLatency

string (Duration format)

Solo salida. Es la latencia de la ejecución de la llamada a la herramienta.

Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".

EvaluationResult.OverallToolInvocationResult

Es el resultado de la verificación general de la invocación de la herramienta.

Representación JSON
{
  "outcome": enum (EvaluationResult.Outcome),
  "toolInvocationScore": number
}
Campos
outcome

enum (EvaluationResult.Outcome)

Solo salida. Es el resultado de la verificación de invocación de la herramienta. Esto se determina comparando el toolInvocationScore con el overallToolInvocationCorrectnessThreshold. Si la puntuación es igual o superior al umbral, el resultado será PASS. De lo contrario, el resultado será FAIL.

toolInvocationScore

number

Es la puntuación general de invocación de herramientas para este turno. Esto indica el porcentaje general de herramientas del turno esperado que se invocaron.

EvaluationResult.SpanLatency

La latencia de la ejecución de un intervalo.

Representación JSON
{
  "type": enum (EvaluationResult.SpanLatency.Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of mutually exclusive fields.
}
Campos
type

enum (EvaluationResult.SpanLatency.Type)

Solo salida. Es el tipo de intervalo.

displayName

string

Solo salida. Es el nombre visible del intervalo. Se aplica a los intervalos de herramientas y protecciones.

startTime

string (Timestamp format)

Solo salida. Es la hora de inicio del intervalo.

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

Solo salida. Es la hora de finalización del intervalo.

Usa el formato RFC 3339, en el que el resultado generado siempre usará la normalización Z y los dígitos fraccionarios 0, 3, 6 o 9. También se aceptan otras compensaciones que no sean “Z”. Ejemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

executionLatency

string (Duration format)

Solo salida. La latencia del intervalo.

Una duración en segundos con hasta nueve dígitos decimales, que terminan en “s”. Ejemplo: "3.5s".

Es el identificador del elemento específico según su tipo. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta:
resource

string

Solo salida. Es el nombre del recurso de los intervalos de la protección o la herramienta.

toolset

object (ToolsetTool)

Solo salida. Es el identificador de la herramienta del conjunto de herramientas.

model

string

Solo salida. Es el nombre del intervalo de LLM.

callback

string

Solo salida. Es el nombre del intervalo de devolución de llamada del usuario.

Fin de los campos mutuamente excluyentes.

EvaluationResult.SpanLatency.Type

Es el tipo de intervalo. Es posible que se agreguen más valores en el futuro.

Enums
TYPE_UNSPECIFIED Valor predeterminado. Este valor no se usa.
TOOL Intervalo de llamada a la herramienta.
USER_CALLBACK Es el intervalo de devolución de llamada del usuario.
GUARDRAIL Intervalo de la protección.
LLM Intervalo de LLM.

EvaluationResult.EvaluationExpectationResult

Es el resultado de una sola expectativa de evaluación.

Representación JSON
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string
}
Campos
evaluationExpectation

string

Solo salida. La expectativa de la evaluación. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

prompt

string

Solo salida. La instrucción que se usó para la evaluación.

outcome

enum (EvaluationResult.Outcome)

Solo salida. Es el resultado de la expectativa de evaluación.

explanation

string

Solo salida. Es la explicación del resultado.

EvaluationResult.ScenarioResult

Es el resultado de la evaluación de un caso.

Representación JSON
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (EvaluationResult.ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (EvaluationResult.ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (EvaluationResult.HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (EvaluationResult.TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (EvaluationResult.UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (EvaluationResult.ScenarioResult.MilestoneResult)
    }
  ],
  "allExpectationsSatisfied": boolean,
  "taskCompleted": boolean
}
Campos
conversation

string

Solo salida. La conversación que se generó en la situación

task

string

Solo salida. Es la tarea que se usó cuando se ejecutó la situación para este resultado.

userFacts[]

object (Evaluation.Scenario.UserFact)

Solo salida. Son los datos del usuario que usó la situación para este resultado.

expectationOutcomes[]

object (EvaluationResult.ScenarioExpectationOutcome)

Solo salida. El resultado de cada expectativa.

rubricOutcomes[]

object (EvaluationResult.ScenarioRubricOutcome)

Solo salida. El resultado de la rúbrica.

hallucinationResult[]

object (EvaluationResult.HallucinationResult)

Solo salida. Es el resultado de la verificación de alucinaciones. Habrá un resultado de alucinación para cada turno de la conversación.

taskCompletionResult
(deprecated)

object (EvaluationResult.TaskCompletionResult)

Solo salida. Es el resultado de la verificación de finalización de la tarea.

toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

Solo salida. La latencia de cada ejecución de llamada a la herramienta en la conversación.

userGoalSatisfactionResult

object (EvaluationResult.UserGoalSatisfactionResult)

Solo salida. Es el resultado de la verificación de satisfacción del objetivo del usuario.

spanLatencies[]

object (EvaluationResult.SpanLatency)

Solo salida. La latencia de los intervalos en la conversación.

evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

Solo salida. Los resultados de la evaluación.

milestoneResults[]

object (EvaluationResult.ScenarioResult.MilestoneResult)

Solo salida. Los resultados de cada hito de la situación

allExpectationsSatisfied

boolean

Solo salida. Indica si se cumplieron todas las expectativas para este turno.

taskCompleted

boolean

Solo salida. Indica si la tarea se completó para este turno. Este es un compuesto de todas las expectativas satisfechas, sin alucinaciones y con la satisfacción de los objetivos del usuario.

EvaluationResult.ScenarioExpectationOutcome

Es el resultado de una expectativa de situación.

Representación JSON
{
  "expectation": {
    object (Evaluation.ScenarioExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of mutually exclusive fields.
}
Campos
expectation

object (Evaluation.ScenarioExpectation)

Solo salida. La expectativa que se evaluó.

outcome

enum (EvaluationResult.Outcome)

Solo salida. Es el resultado de ScenarioExpectation.

El resultado de la expectativa. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta:
observedToolCall

object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)

Solo salida. Es la llamada a la herramienta observada.

observedAgentResponse

object (Message)

Solo salida. La respuesta observada del agente.

Fin de los campos mutuamente excluyentes.

EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall

La llamada a la herramienta y la respuesta observadas.

Representación JSON
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Campos
toolCall

object (ToolCall)

Solo salida. Es la llamada a la herramienta observada.

toolResponse

object (ToolResponse)

Solo salida. La respuesta de la herramienta observada.

EvaluationResult.ScenarioRubricOutcome

El resultado de la evaluación con la rúbrica.

Representación JSON
{
  "rubric": string,
  "scoreExplanation": string,
  "score": number
}
Campos
rubric

string

Solo salida. Es la rúbrica que se usó para evaluar la conversación.

scoreExplanation

string

Solo salida. Es la respuesta del evaluador a la rúbrica.

score

number

Solo salida. La puntuación de la conversación según la rúbrica.

EvaluationResult.TaskCompletionResult

Es el resultado de la verificación de finalización de la tarea para la conversación.

Representación JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Campos
label

string

Solo salida. Es la etiqueta asociada con cada puntuación. Puntuación 1: Tarea completada Puntuación 0: Tarea no completada Puntuación -1: Objetivo del usuario no definido

explanation

string

Solo salida. Es la explicación de la puntuación de finalización de la tarea.

score

integer

Solo salida. Es la puntuación de finalización de la tarea. Puede ser -1, 0 o 1

EvaluationResult.UserGoalSatisfactionResult

Es el resultado de una verificación de satisfacción del objetivo del usuario para una conversación.

Representación JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Campos
label

string

Solo salida. Es la etiqueta asociada con cada puntuación. Puntuación 2: Transferencia correcta Puntuación 1: Tarea del usuario satisfecha Puntuación 0: Tarea del usuario no satisfecha Puntuación -1: Tarea del usuario no especificada

explanation

string

Solo salida. Es la explicación de la puntuación de satisfacción de la tarea del usuario.

score

integer

Solo salida. Es la puntuación de satisfacción del usuario con la tarea. Puede ser -1, 0, 1, 2.

EvaluationResult.ScenarioResult.MilestoneResult

Representa el resultado de la ejecución de un hito.

Representación JSON
{
  "milestone": {
    object (Evaluation.Scenario.Milestone)
  },
  "status": enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus),
  "justification": string
}
Campos
milestone

object (Evaluation.Scenario.Milestone)

Solo salida. Es el hito del que se hace un seguimiento.

status

enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus)

Solo salida. Es el estado actual del hito.

justification

string

Solo salida. Es la justificación del estado actual.

EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus

Es el estado del logro.

Enums
MILESTONE_STATUS_UNSPECIFIED Indica que no se especificó el estado.
NOT_STARTED El hito aún no comenzó.
IN_PROGRESS El hito está en curso.
COMPLETED El hito se completó correctamente.

EvaluationResult.ExecutionState

Es el estado de la ejecución del resultado de la evaluación.

Enums
EXECUTION_STATE_UNSPECIFIED No se especificó el estado de ejecución del resultado de la evaluación.
QUEUED La ejecución del resultado de la evaluación está en cola.
RUNNING Se está ejecutando el resultado de la evaluación.
COMPLETED Se completó la ejecución del resultado de la evaluación.
ERROR No se pudo ejecutar el resultado de la evaluación debido a un error interno.
CANCELLED Se canceló la ejecución del resultado de la evaluación.

EvaluationResult.OutcomeMetadata

Son los metadatos sobre el resultado de la evaluación.

Enums
OUTCOME_METADATA_UNSPECIFIED Metadatos de resultado sin especificar.
GRACEFUL_HANDOFF La evaluación dio como resultado una transferencia fluida a un representante humano.

Métodos

delete

Borra un resultado de evaluación.

export

Exporta los resultados de las evaluaciones.

get

Obtiene los detalles del resultado de la evaluación especificado.

list

Enumera todos los resultados de una evaluación determinada.

runEvaluationResultMetrics

Ejecuta métricas en un resultado de evaluación existente.