REST Resource: projects.locations.brands.evaluationCases

Risorsa: EvaluationCase

Un singolo caso di valutazione.

Rappresentazione JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "evaluationContext": string,
  "evaluationMatchers": [
    string
  ],

  // Union field test_case can be only one of the following:
  "staticTextTurnCase": {
    object (StaticTextTurnCase)
  },
  "dynamicTextTurnCase": {
    object (DynamicTextTurnCase)
  }
  // End of list of possible types for union field test_case.
}
Campi
name

string

Identificatore. Il nome della risorsa della richiesta di valutazione. Formato: projects/{project}/locations/{location}/brands/{brand}/evaluationCases/{evaluationCase}
displayName

string

Obbligatorio. Il nome leggibile del caso di valutazione.
description

string

Facoltativo. La descrizione del caso di valutazione.
evaluationContext

string

Obbligatorio. Il nome della risorsa del contesto di valutazione a cui è associata questa richiesta. Formato: projects/{project}/locations/{location}/brands/{brand}/evaluationContexts/{evaluationContext}
evaluationMatchers[]

string

Facoltativo. L'elenco dei matcher di valutazione da utilizzare per il caso di valutazione. La valutazione viene eseguita una volta al termine della sessione BidiProcessOrder. Ogni matcher produce un risultato booleano che indica se il matcher di valutazione ha superato o meno il test.
Campo unione test_case. Lo scenario di test da utilizzare per il caso di valutazione. test_case può essere solo uno dei seguenti tipi:
staticTextTurnCase

object (StaticTextTurnCase)

Facoltativo. Uno scenario di test in cui i turni di testo dell'utente e dell'agente sono statici.
dynamicTextTurnCase

object (DynamicTextTurnCase)

Facoltativo. Uno scenario di test in cui gli input di testo dell'utente vengono generati dinamicamente utilizzando l'LLM con un'istruzione di ordinamento.

StaticTextTurnCase

Un caso di valutazione in cui gli input dell'utente sono input di testo statici.

Rappresentazione JSON 
{
  "textTurns": [
    {
      object (TextTurn)
    }
  ]
}
Campi
textTurns[]

object (TextTurn)

Obbligatorio. L'elenco dei turni di testo nel caso di valutazione.

TextTurn

Un singolo turno di testo nel caso di valutazione, composto dall'input utente e dalla risposta dell'agente.

Rappresentazione JSON 
{
  "userTextInput": string,
  "exampleAgentResponse": string
}
Campi
userTextInput

string

Obbligatorio. L'input di testo dell'utente per questo turno.
exampleAgentResponse

string

Facoltativo. La risposta dell'agente di esempio per questo turno. Tieni presente che questa non è la risposta effettiva dell'agente. La risposta effettiva dell'agente potrebbe essere diversa da questa risposta di esempio. La risposta di esempio NON viene utilizzata per la valutazione, ma solo a scopo di visualizzazione per facilitare la comprensione del caso di valutazione.

DynamicTextTurnCase

Un caso di valutazione in cui gli input dell'utente vengono generati dinamicamente utilizzando l'LLM con un'istruzione di ordinamento.

Rappresentazione JSON 
{
  "orderingInstruction": string
}
Campi
orderingInstruction

string

Obbligatorio. L'istruzione di ordinazione per l'utente per interagire con l'agente di Ordinazione di cibo. L'LLM genera dinamicamente gli input di testo dell'utente in base all'istruzione di ordinamento. Queste possono includere gli articoli da ordinare, le preferenze e i vincoli dell'utente e le azioni specifiche che l'utente deve comunicare all'agente di ordinazione.

Metodi

batchCreate

 Crea EvaluationCase in batch.

batchUpdate

 Aggiorna in batch gli EvaluationCase.

create

 Crea un EvaluationCase.

delete

 Elimina l'EvaluationCase specificato.

get

 Recupera un EvaluationCase.

list

 Elenca gli EvaluationCase.

patch

 Aggiorna l'oggetto EvaluationCase specificato.

run

 Esegue un caso di valutazione.