- Representação JSON
- EvaluationMetricsConfig.HallucinationMetricsConfig
- EvaluationMetricsConfig.ComparisonType
Representa um único requisito que pode ser verificado.
| Representação JSON |
|---|
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object ( |
| Campos | |
|---|---|
note |
Opcional. Uma observação para esse requisito, útil ao informar quando verificações específicas falham. Por exemplo, "Check_Payment_Tool_Called". |
skipEvaluation |
Opcional. Se definido como "true", essa expectativa específica não será avaliada. |
expectationLevelMetricsThresholdsOverride |
Opcional. Substitui as métricas no nível da etapa. |
agentResponseSemanticSimilarityMetricsConfigOverride |
Opcional. Substituições para métricas de similaridade semântica agentResponse. |
agentResponseHallucinationMetricsConfigOverride |
Opcional. Substituições das métricas de alucinação de agentResponse. |
comparisonType |
Opcional. O tipo de comparação a ser usado na verificação de expectativa. |
| A verificação real a ser realizada. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta: | |
toolCall |
Opcional. Verifique se uma ferramenta específica foi chamada com os parâmetros. |
toolResponse |
Opcional. Verifique se uma ferramenta específica teve a resposta esperada. |
agentResponse |
Opcional. Verifique se o agente respondeu corretamente. A função "agente" está implícita. |
agentTransfer |
Opcional. Verifique se o agente transferiu a conversa para outro agente. |
updatedVariables |
Opcional. Verifique se o agente atualizou as variáveis de sessão para os valores esperados. Usado também para capturar atualizações de variáveis do agente para avaliações de ouro. |
mockToolResponse |
Opcional. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM. |
noToolCalls |
Opcional. Verifique se nenhuma ferramenta foi chamada durante essa interação. |
| Fim dos campos mutuamente exclusivos. | |
EvaluationMetricsConfig.HallucinationMetricsConfig
Configuração das métricas de alucinação para a avaliação. Para desativar a métrica, defina a mensagem, mas não defina o campo enableHallucinationMetrics como verdadeiro (ou defina explicitamente como falso). Para cancelar a configuração e voltar ao comportamento padrão, omita a mensagem completamente.
| Representação JSON |
|---|
{ "enableHallucinationMetrics": boolean } |
| Campos | |
|---|---|
enableHallucinationMetrics |
Opcional. Se as métricas de alucinação serão calculadas para a avaliação. |
EvaluationMetricsConfig.ComparisonType
Tipos de comparação compatíveis para verificar a resposta do agente.
| Tipos enumerados | |
|---|---|
COMPARISON_TYPE_UNSPECIFIED |
Tipo de comparação não especificado. O comportamento padrão é SEMANTIC_SIMILARITY para respostas do agente e chamadas de ferramentas. |
EQUALS |
Correspondência exata de string. |
CONTAINS |
Correspondência de substring (verifica se a string esperada está contida na resposta real). |
SEMANTIC_SIMILARITY |
Correspondência de similaridade semântica (avalia a similaridade de significado usando um LLM). |