Evaluation.GoldenExpectation

Representa un requisito único que se puede marcar.

Representación JSON
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (EvaluationMetricsConfig.HallucinationMetricsConfig)
  },
  "comparisonType": enum (EvaluationMetricsConfig.ComparisonType),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of mutually exclusive fields.
}
Campos
note

string

Es opcional. Es una nota para este requisito, útil para informar cuando fallan verificaciones específicas. P. ej., "Check_Payment_Tool_Called".

skipEvaluation

boolean

Es opcional. Si se establece como verdadero, no se evaluará esta expectativa específica.

expectationLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)

Es opcional. Anula las métricas a nivel del paso.

agentResponseSemanticSimilarityMetricsConfigOverride

object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)

Es opcional. Son anulaciones para las métricas de similitud semántica de agentResponse.

agentResponseHallucinationMetricsConfigOverride

object (EvaluationMetricsConfig.HallucinationMetricsConfig)

Es opcional. Son anulaciones para las métricas de alucinación de agentResponse.

comparisonType

enum (EvaluationMetricsConfig.ComparisonType)

Es opcional. Es el tipo de comparación que se usará para la verificación de expectativas.

Es la verificación real que se realizará. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta:
toolCall

object (ToolCall)

Es opcional. Verifica que se haya llamado a una herramienta específica con los parámetros.

toolResponse

object (ToolResponse)

Es opcional. Verifica que una herramienta específica haya tenido la respuesta esperada.

agentResponse

object (Message)

Es opcional. Verifica que el agente haya respondido correctamente. El rol "agente" está implícito.

agentTransfer

object (AgentTransfer)

Es opcional. Verifica que el agente haya transferido la conversación a otro agente.

updatedVariables

object (Struct format)

Es opcional. Verifica que el agente haya actualizado las variables de sesión a los valores esperados. También se usa para capturar actualizaciones de variables del agente para las evaluaciones doradas.

mockToolResponse

object (ToolResponse)

Es opcional. Es la respuesta de la herramienta que se simulará, con los parámetros de interés especificados. El LLM alucinará los parámetros que no se especifiquen.

noToolCalls

boolean

Es opcional. Verifica que no se haya llamado a ninguna herramienta durante este turno.

Fin de los campos mutuamente excluyentes.

EvaluationMetricsConfig.HallucinationMetricsConfig

Es la configuración de las métricas de alucinación para la evaluación. Para inhabilitar la métrica, configura el mensaje, pero no establezcas el campo enableHallucinationMetrics como verdadero (o establécelo explícitamente como falso). Para anular la configuración y volver al comportamiento predeterminado, omite el mensaje por completo.

Representación JSON
{
  "enableHallucinationMetrics": boolean
}
Campos
enableHallucinationMetrics

boolean

Es opcional. Indica si se deben calcular las métricas de alucinación para la evaluación.

EvaluationMetricsConfig.ComparisonType

Son los tipos de comparación admitidos para verificar la respuesta del agente.

Enums
COMPARISON_TYPE_UNSPECIFIED No se especificó el tipo de comparación. El comportamiento predeterminado es SEMANTIC_SIMILARITY para las respuestas del agente y las llamadas a herramientas.
EQUALS La cadena coincide exactamente.
CONTAINS Coincidencia de subcadena (verifica si la cadena esperada se encuentra en la respuesta real).
SEMANTIC_SIMILARITY Coincidencia de similitud semántica (evalúa la similitud del significado con un LLM).