REST Resource: projects.locations.brands.evaluationCases

Recurso: EvaluationCase

Es un caso de evaluación individual.

Representación JSON
{
  "name": string,
  "displayName": string,
  "description": string,
  "evaluationContext": string,
  "evaluationMatchers": [
    string
  ],

  // Union field test_case can be only one of the following:
  "staticTextTurnCase": {
    object (StaticTextTurnCase)
  },
  "dynamicTextTurnCase": {
    object (DynamicTextTurnCase)
  }
  // End of list of possible types for union field test_case.
}
Campos
name

string

Es el identificador. Es el nombre del recurso del caso de evaluación. Formato: projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase}

displayName

string

Obligatorio. Es el nombre legible por humanos del caso de evaluación.

description

string

Es opcional. Es la descripción del caso de evaluación.

evaluationContext

string

Obligatorio. Es el nombre del recurso del contexto de evaluación con el que está asociado este caso. Formato: projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext}

evaluationMatchers[]

string

Es opcional. Es la lista de comparadores de evaluación que se usarán para el caso de evaluación. La evaluación se realiza una vez al final de la sesión de BidiProcessOrder. Cada comparador produce un resultado booleano que indica si el comparador de evaluación se aprobó o falló.

Campo de unión test_case. Es el caso de prueba que se usará para el caso de evaluación. test_case puede ser solo uno de los parámetros siguientes:
staticTextTurnCase

object (StaticTextTurnCase)

Es opcional. Un caso de prueba en el que los turnos de texto del usuario y del agente son estáticos.

dynamicTextTurnCase

object (DynamicTextTurnCase)

Es opcional. Es un caso de prueba en el que las entradas de texto del usuario se generan de forma dinámica con un LLM con una instrucción de orden.

StaticTextTurnCase

Es un caso de evaluación en el que las entradas del usuario son entradas de texto estáticas.

Representación JSON
{
  "textTurns": [
    {
      object (TextTurn)
    }
  ]
}
Campos
textTurns[]

object (TextTurn)

Obligatorio. Es la lista de turnos de texto en el caso de evaluación.

TextTurn

Un solo turno de texto en el caso de evaluación, que consiste en la entrada del usuario y la respuesta del agente.

Representación JSON
{
  "userTextInput": string,
  "exampleAgentResponse": string
}
Campos
userTextInput

string

Obligatorio. Es la entrada de texto del usuario para este turno.

exampleAgentResponse

string

Es opcional. Es la respuesta de ejemplo del agente para este turno. Ten en cuenta que esta no es la respuesta real del agente. La respuesta real del agente puede diferir de esta respuesta de ejemplo. La respuesta de ejemplo NO se usa para la evaluación, sino solo con fines de visualización para que el caso de evaluación sea más fácil de entender.

DynamicTextTurnCase

Es un caso de evaluación en el que las entradas del usuario se generan de forma dinámica con un LLM con una instrucción de orden.

Representación JSON
{
  "orderingInstruction": string
}
Campos
orderingInstruction

string

Obligatorio. Es la instrucción de pedido para que el usuario interactúe con el agente de Pedidos de comida. El LLM genera de forma dinámica las entradas de texto del usuario según la instrucción de pedido. Esto puede incluir los elementos objetivo que se deben pedir, las preferencias y restricciones del usuario, y las acciones específicas que el usuario debe informar al agente de pedidos.

Métodos

batchCreate

Crea EvaluationCases por lotes.

batchUpdate

Actualiza EvaluationCases por lotes.

create

Crea un EvaluationCase.

delete

Borra el EvaluationCase especificado.

get

Obtiene un EvaluationCase.

list

Enumera los EvaluationCases.

patch

Actualiza el EvaluationCase especificado.

run

Ejecuta un caso de evaluación.