- Representación JSON
- EvaluationMetricsConfig.HallucinationMetricsConfig
- EvaluationMetricsConfig.ComparisonType
Representa un requisito único que se puede marcar.
| Representación JSON |
|---|
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object ( |
| Campos | |
|---|---|
note |
Es opcional. Es una nota para este requisito, útil para informar cuando fallan verificaciones específicas. P. ej., "Check_Payment_Tool_Called". |
skipEvaluation |
Es opcional. Si se establece como verdadero, no se evaluará esta expectativa específica. |
expectationLevelMetricsThresholdsOverride |
Es opcional. Anula las métricas a nivel del paso. |
agentResponseSemanticSimilarityMetricsConfigOverride |
Es opcional. Son anulaciones para las métricas de similitud semántica de agentResponse. |
agentResponseHallucinationMetricsConfigOverride |
Es opcional. Son anulaciones para las métricas de alucinación de agentResponse. |
comparisonType |
Es opcional. Es el tipo de comparación que se usará para la verificación de expectativas. |
| Es la verificación real que se realizará. La siguiente es una lista de campos mutuamente excluyentes. Como máximo, se establecerá uno de los campos en una respuesta: | |
toolCall |
Es opcional. Verifica que se haya llamado a una herramienta específica con los parámetros. |
toolResponse |
Es opcional. Verifica que una herramienta específica haya tenido la respuesta esperada. |
agentResponse |
Es opcional. Verifica que el agente haya respondido correctamente. El rol "agente" está implícito. |
agentTransfer |
Es opcional. Verifica que el agente haya transferido la conversación a otro agente. |
updatedVariables |
Es opcional. Verifica que el agente haya actualizado las variables de sesión a los valores esperados. También se usa para capturar actualizaciones de variables del agente para las evaluaciones doradas. |
mockToolResponse |
Es opcional. Es la respuesta de la herramienta que se simulará, con los parámetros de interés especificados. El LLM alucinará los parámetros que no se especifiquen. |
noToolCalls |
Es opcional. Verifica que no se haya llamado a ninguna herramienta durante este turno. |
| Fin de los campos mutuamente excluyentes. | |
EvaluationMetricsConfig.HallucinationMetricsConfig
Es la configuración de las métricas de alucinación para la evaluación. Para inhabilitar la métrica, configura el mensaje, pero no establezcas el campo enableHallucinationMetrics como verdadero (o establécelo explícitamente como falso). Para anular la configuración y volver al comportamiento predeterminado, omite el mensaje por completo.
| Representación JSON |
|---|
{ "enableHallucinationMetrics": boolean } |
| Campos | |
|---|---|
enableHallucinationMetrics |
Es opcional. Indica si se deben calcular las métricas de alucinación para la evaluación. |
EvaluationMetricsConfig.ComparisonType
Son los tipos de comparación admitidos para verificar la respuesta del agente.
| Enums | |
|---|---|
COMPARISON_TYPE_UNSPECIFIED |
No se especificó el tipo de comparación. El comportamiento predeterminado es SEMANTIC_SIMILARITY para las respuestas del agente y las llamadas a herramientas. |
EQUALS |
La cadena coincide exactamente. |
CONTAINS |
Coincidencia de subcadena (verifica si la cadena esperada se encuentra en la respuesta real). |
SEMANTIC_SIMILARITY |
Coincidencia de similitud semántica (evalúa la similitud del significado con un LLM). |