REST Resource: projects.locations.brands.evaluationCases

Ressource : EvaluationCase

Cas d'évaluation individuel.

Représentation JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "evaluationContext": string,
  "evaluationMatchers": [
    string
  ],

  // Union field test_case can be only one of the following:
  "staticTextTurnCase": {
    object (StaticTextTurnCase)
  },
  "dynamicTextTurnCase": {
    object (DynamicTextTurnCase)
  }
  // End of list of possible types for union field test_case.
}
Champs
name

string

Identifiant. Nom de ressource du cas d'évaluation. Format : projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase}
displayName

string

Obligatoire. Nom lisible par l'humain du cas d'évaluation.
description

string

Facultatif. Description du cas d'évaluation.
evaluationContext

string

Obligatoire. Nom de ressource du contexte d'évaluation auquel cette demande est associée. Format : projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext}
evaluationMatchers[]

string

Facultatif. Liste des outils de mise en correspondance d'évaluation à utiliser pour le cas d'évaluation. L'évaluation est effectuée une fois à la fin de la session BidiProcessOrder. Chaque outil de mise en correspondance produit un résultat booléen indiquant si l'outil de mise en correspondance de l'évaluation a réussi ou échoué.
Champ d'union test_case. Scénario de test à utiliser pour le cas d'évaluation. test_case ne peut être qu'un des éléments suivants :
staticTextTurnCase

object (StaticTextTurnCase)

Facultatif. Scénario de test dans lequel les tours de texte de l'utilisateur et de l'agent sont statiques.
dynamicTextTurnCase

object (DynamicTextTurnCase)

Facultatif. Scénario de test dans lequel les entrées de texte de l'utilisateur sont générées de manière dynamique à l'aide d'un LLM avec une instruction de commande.

StaticTextTurnCase

Cas d'évaluation où les entrées utilisateur sont des entrées de texte statiques.

Représentation JSON 
{
  "textTurns": [
    {
      object (TextTurn)
    }
  ]
}
Champs
textTurns[]

object (TextTurn)

Obligatoire. Liste des tours de texte dans le cas d'évaluation.

TextTurn

Un seul tour de texte dans le cas d'évaluation, composé de l'entrée utilisateur et de la réponse de l'agent.

Représentation JSON 
{
  "userTextInput": string,
  "exampleAgentResponse": string
}
Champs
userTextInput

string

Obligatoire. Saisie de texte de l'utilisateur pour ce tour.
exampleAgentResponse

string

Facultatif. Exemple de réponse de l'agent pour ce tour. Notez qu'il ne s'agit pas de la réponse finale de l'agent. La réponse réelle de l'agent peut différer de cet exemple de réponse. L'exemple de réponse n'est PAS utilisé pour l'évaluation, mais uniquement à des fins d'affichage pour faciliter la compréhension du cas d'évaluation.

DynamicTextTurnCase

Cas d'évaluation dans lequel les entrées utilisateur sont générées de manière dynamique à l'aide d'un LLM avec une instruction de tri.

Représentation JSON 
{
  "orderingInstruction": string
}
Champs
orderingInstruction

string

Obligatoire. Instruction de commande permettant à l'utilisateur d'interagir avec l'agent de commande de repas. Le LLM génère dynamiquement les entrées de texte de l'utilisateur en fonction de l'instruction de commande. Il peut s'agir des articles ciblés à commander, des préférences et des contraintes de l'utilisateur, ainsi que des actions spécifiques que l'utilisateur doit indiquer à l'agent de commande.

Méthodes

batchCreate

 Crée des EvaluationCases par lot.

batchUpdate

 Met à jour par lot des EvaluationCases.

create

 Crée un EvaluationCase.

delete

 Supprime l'EvaluationCase spécifié.

get

 Récupère un EvaluationCase.

list

 Répertorie les EvaluationCases.

patch

 Met à jour l'EvaluationCase spécifié.

run

 Exécute un cas d'évaluation.