Evaluation.GoldenExpectation

Representa um único requisito que pode ser verificado.

Representação JSON
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (EvaluationMetricsConfig.HallucinationMetricsConfig)
  },
  "comparisonType": enum (EvaluationMetricsConfig.ComparisonType),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of mutually exclusive fields.
}
Campos
note

string

Opcional. Uma observação para esse requisito, útil ao informar quando verificações específicas falham. Por exemplo, "Check_Payment_Tool_Called".

skipEvaluation

boolean

Opcional. Se definido como "true", essa expectativa específica não será avaliada.

expectationLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)

Opcional. Substitui as métricas no nível da etapa.

agentResponseSemanticSimilarityMetricsConfigOverride

object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)

Opcional. Substituições para métricas de similaridade semântica agentResponse.

agentResponseHallucinationMetricsConfigOverride

object (EvaluationMetricsConfig.HallucinationMetricsConfig)

Opcional. Substituições das métricas de alucinação de agentResponse.

comparisonType

enum (EvaluationMetricsConfig.ComparisonType)

Opcional. O tipo de comparação a ser usado na verificação de expectativa.

A verificação real a ser realizada. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta:
toolCall

object (ToolCall)

Opcional. Verifique se uma ferramenta específica foi chamada com os parâmetros.

toolResponse

object (ToolResponse)

Opcional. Verifique se uma ferramenta específica teve a resposta esperada.

agentResponse

object (Message)

Opcional. Verifique se o agente respondeu corretamente. A função "agente" está implícita.

agentTransfer

object (AgentTransfer)

Opcional. Verifique se o agente transferiu a conversa para outro agente.

updatedVariables

object (Struct format)

Opcional. Verifique se o agente atualizou as variáveis de sessão para os valores esperados. Usado também para capturar atualizações de variáveis do agente para avaliações de ouro.

mockToolResponse

object (ToolResponse)

Opcional. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.

noToolCalls

boolean

Opcional. Verifique se nenhuma ferramenta foi chamada durante essa interação.

Fim dos campos mutuamente exclusivos.

EvaluationMetricsConfig.HallucinationMetricsConfig

Configuração das métricas de alucinação para a avaliação. Para desativar a métrica, defina a mensagem, mas não defina o campo enableHallucinationMetrics como verdadeiro (ou defina explicitamente como falso). Para cancelar a configuração e voltar ao comportamento padrão, omita a mensagem completamente.

Representação JSON
{
  "enableHallucinationMetrics": boolean
}
Campos
enableHallucinationMetrics

boolean

Opcional. Se as métricas de alucinação serão calculadas para a avaliação.

EvaluationMetricsConfig.ComparisonType

Tipos de comparação compatíveis para verificar a resposta do agente.

Tipos enumerados
COMPARISON_TYPE_UNSPECIFIED Tipo de comparação não especificado. O comportamento padrão é SEMANTIC_SIMILARITY para respostas do agente e chamadas de ferramentas.
EQUALS Correspondência exata de string.
CONTAINS Correspondência de substring (verifica se a string esperada está contida na resposta real).
SEMANTIC_SIMILARITY Correspondência de similaridade semântica (avalia a similaridade de significado usando um LLM).