Evaluation.GoldenExpectation

Rappresenta un singolo requisito selezionabile.

Rappresentazione JSON 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (EvaluationMetricsConfig.HallucinationMetricsConfig)
  },
  "comparisonType": enum (EvaluationMetricsConfig.ComparisonType),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of mutually exclusive fields.
}
Campi
note

string

Facoltativo. Una nota per questo requisito, utile per la generazione di report quando controlli specifici non vanno a buon fine. Ad esempio, "Check_Payment_Tool_Called".
skipEvaluation

boolean

Facoltativo. Se impostato su true, questa aspettativa specifica non verrà valutata.
expectationLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.ExpectationLevelMetricsThresholds)

Facoltativo. Esegue l'override delle metriche a livello di passaggio.
agentResponseSemanticSimilarityMetricsConfigOverride

object (EvaluationMetricsConfig.SemanticSimilarityMetricsConfig)

Facoltativo. Override per le metriche di similarità semantica agentResponse.
agentResponseHallucinationMetricsConfigOverride

object (EvaluationMetricsConfig.HallucinationMetricsConfig)

Facoltativo. Override per le metriche di allucinazione di agentResponse.
comparisonType

enum (EvaluationMetricsConfig.ComparisonType)

Facoltativo. Il tipo di confronto da utilizzare per il controllo delle aspettative.
Il controllo effettivo da eseguire. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi:
toolCall

object (ToolCall)

Facoltativo. Verifica che uno strumento specifico sia stato chiamato con i parametri.
toolResponse

object (ToolResponse)

Facoltativo. Verifica che uno strumento specifico abbia avuto la risposta prevista.
agentResponse

object (Message)

Facoltativo. Controlla che l'agente abbia risposto con la risposta corretta. Il ruolo "agente" è implicito.
agentTransfer

object (AgentTransfer)

Facoltativo. Controlla che l'agente abbia trasferito la conversazione a un altro agente.
updatedVariables

object (Struct format)

Facoltativo. Verifica che l'agente abbia aggiornato le variabili di sessione ai valori previsti. Utilizzato anche per acquisire gli aggiornamenti delle variabili dell'agente per le valutazioni di riferimento.
mockToolResponse

object (ToolResponse)

Facoltativo. La risposta dello strumento alla simulazione, con i parametri di interesse specificati. Eventuali parametri non specificati verranno inventati dal modello LLM.
noToolCalls

boolean

Facoltativo. Controlla che non siano stati chiamati strumenti durante questo turno.
Fine dei campi che si escludono a vicenda.

EvaluationMetricsConfig.HallucinationMetricsConfig

Configurazione delle metriche di allucinazione per la valutazione. Per disattivare la metrica, imposta il messaggio, ma non impostare il campo enableHallucinationMetrics su true (o impostalo esplicitamente su false). Per annullare la configurazione e ripristinare il comportamento predefinito, ometti completamente il messaggio.

Rappresentazione JSON 
{
  "enableHallucinationMetrics": boolean
}
Campi
enableHallucinationMetrics

boolean

Facoltativo. Indica se calcolare le metriche di allucinazione per la valutazione.

EvaluationMetricsConfig.ComparisonType

Tipi di confronto supportati per il controllo della risposta dell'agente.

Enum
COMPARISON_TYPE_UNSPECIFIED Tipo di confronto non specificato. Il comportamento predefinito è SEMANTIC_SIMILARITY per le risposte dell'agente e le chiamate di strumenti.
EQUALS Corrispondenza esatta della stringa.
CONTAINS Corrispondenza della sottostringa (controlla se la stringa prevista è contenuta nella risposta effettiva).
SEMANTIC_SIMILARITY Corrispondenza di similarità semantica (valuta la somiglianza di significato utilizzando un LLM).