Recurso: EvaluationCase
Es un caso de evaluación individual.
| Representación JSON |
|---|
{ "name": string, "displayName": string, "description": string, "evaluationContext": string, "evaluationMatchers": [ string ], // Union field |
| Campos | |
|---|---|
name |
Es el identificador. Es el nombre del recurso del caso de evaluación. Formato: projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase} |
displayName |
Obligatorio. Es el nombre legible por humanos del caso de evaluación. |
description |
Es opcional. Es la descripción del caso de evaluación. |
evaluationContext |
Obligatorio. Es el nombre del recurso del contexto de evaluación con el que está asociado este caso. Formato: projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext} |
evaluationMatchers[] |
Es opcional. Es la lista de comparadores de evaluación que se usarán para el caso de evaluación. La evaluación se realiza una vez al final de la sesión de BidiProcessOrder. Cada comparador produce un resultado booleano que indica si el comparador de evaluación se aprobó o falló. |
Campo de unión test_case. Es el caso de prueba que se usará para el caso de evaluación. test_case puede ser solo uno de los parámetros siguientes: |
|
staticTextTurnCase |
Es opcional. Un caso de prueba en el que los turnos de texto del usuario y del agente son estáticos. |
dynamicTextTurnCase |
Es opcional. Es un caso de prueba en el que las entradas de texto del usuario se generan de forma dinámica con un LLM con una instrucción de orden. |
StaticTextTurnCase
Es un caso de evaluación en el que las entradas del usuario son entradas de texto estáticas.
| Representación JSON |
|---|
{
"textTurns": [
{
object ( |
| Campos | |
|---|---|
textTurns[] |
Obligatorio. Es la lista de turnos de texto en el caso de evaluación. |
TextTurn
Un solo turno de texto en el caso de evaluación, que consiste en la entrada del usuario y la respuesta del agente.
| Representación JSON |
|---|
{ "userTextInput": string, "exampleAgentResponse": string } |
| Campos | |
|---|---|
userTextInput |
Obligatorio. Es la entrada de texto del usuario para este turno. |
exampleAgentResponse |
Es opcional. Es la respuesta de ejemplo del agente para este turno. Ten en cuenta que esta no es la respuesta real del agente. La respuesta real del agente puede diferir de esta respuesta de ejemplo. La respuesta de ejemplo NO se usa para la evaluación, sino solo con fines de visualización para que el caso de evaluación sea más fácil de entender. |
DynamicTextTurnCase
Es un caso de evaluación en el que las entradas del usuario se generan de forma dinámica con un LLM con una instrucción de orden.
| Representación JSON |
|---|
{ "orderingInstruction": string } |
| Campos | |
|---|---|
orderingInstruction |
Obligatorio. Es la instrucción de pedido para que el usuario interactúe con el agente de Pedidos de comida. El LLM genera de forma dinámica las entradas de texto del usuario según la instrucción de pedido. Esto puede incluir los elementos objetivo que se deben pedir, las preferencias y restricciones del usuario, y las acciones específicas que el usuario debe informar al agente de pedidos. |
Métodos |
|
|---|---|
|
Crea EvaluationCases por lotes. |
|
Actualiza EvaluationCases por lotes. |
|
Crea un EvaluationCase. |
|
Borra el EvaluationCase especificado. |
|
Obtiene un EvaluationCase. |
|
Enumera los EvaluationCases. |
|
Actualiza el EvaluationCase especificado. |
|
Ejecuta un caso de evaluación. |