Ressource : EvaluationMatcher
Un outil de mise en correspondance d'évaluation.
| Représentation JSON |
|---|
{ "name": string, "displayName": string, "description": string, // Union field |
| Champs | |
|---|---|
name |
Identifiant. Nom de ressource de l'outil de mise en correspondance d'évaluation. |
displayName |
Obligatoire. Nom lisible par l'humain de l'outil de mise en correspondance d'évaluation. |
description |
Facultatif. Description de l'outil de mise en correspondance d'évaluation. |
Champ d'union matcher. Outil de mise en correspondance à utiliser pour l'outil de mise en correspondance d'évaluation. Le matcher doit produire un résultat booléen indiquant si le matcher d'évaluation a réussi ou non. matcher ne peut être qu'un des éléments suivants : |
|
orderResultMatcher |
Facultatif. Outil de mise en correspondance d'évaluation pour un résultat de commande. |
agentUtteranceStringMatcher |
Facultatif. Outil de mise en correspondance d'évaluation pour une chaîne d'énoncé d'agent. |
llmJudgementMatcher |
Facultatif. Outil de mise en correspondance d'évaluation utilisant le jugement LLM. |
OrderResultMatcher
Outil de mise en correspondance d'évaluation pour un résultat de commande.
| Représentation JSON |
|---|
{
"expectedOrder": {
object ( |
| Champs | |
|---|---|
expectedOrder |
Obligatoire. Ordre attendu pour la correspondance. L'ordre réel doit correspondre à l'ordre attendu après la normalisation. L'évaluation est réussie si tous les champs et toutes les quantités correspondent. Les quantités par défaut de 1 sont ignorées lors de la comparaison afin de gérer l'omission de champ de manière cohérente. |
expectedLegacyOrder |
Facultatif. État de l'ancienne commande attendu à mettre en correspondance. Utilisé lorsque le contexte d'évaluation a défini useLegacyOrderState sur "true". |
AgentUtteranceStringMatcher
Outil de mise en correspondance d'évaluation pour une chaîne d'énoncé d'agent.
| Représentation JSON |
|---|
{ "invert": boolean, // Union field |
| Champs | |
|---|---|
invert |
Facultatif. Si la valeur est "true", la condition de correspondance est inversée (par exemple, "ne contient pas" ou "ne correspond pas"). |
Champ d'union
|
|
contains |
Facultatif. L'énoncé de l'agent doit contenir cette sous-chaîne. |
regex |
Facultatif. L'énoncé de l'agent doit correspondre à cette expression régulière. |
LLMJudgementMatcher
Un outil de mise en correspondance d'évaluation utilisant le jugement d'un LLM avec le prompt suivant : "Tu es un assistant serviable qui aide les utilisateurs à commander des repas dans un restaurant. Vous recevrez des entrées utilisateur et des réponses de l'agent. Your task is to determine if the agent response satisfies the following criteria: {criteria}"
| Représentation JSON |
|---|
{ "criteria": string, "invert": boolean } |
| Champs | |
|---|---|
criteria |
Obligatoire. Critères que le LLM doit prendre en compte pour déterminer si une réponse d'agent réussit la vérification. |
invert |
Facultatif. Si la valeur est "true", la condition de correspondance est inversée (par exemple, "ne contient pas"). |
Méthodes |
|
|---|---|
|
Crée un EvaluationMatcher. |
|
Supprime l'EvaluationMatcher spécifié. |
|
Récupère un EvaluationMatcher. |
|
Répertorie les EvaluationMatchers. |
|
Met à jour l'EvaluationMatcher spécifié. |