Strumento: list_evaluations
Elenca le valutazioni.
Il seguente esempio di codice mostra come utilizzare curl per chiamare lo strumento MCP list_evaluations.
| Richiesta curl |
|---|
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "list_evaluations", "arguments": { // Provide these details according to the MCP tool specification. } }, "jsonrpc": "2.0", "id": 1 }' |
Schema di input
Messaggio di richiesta per EvaluationService.ListEvaluations.
ListEvaluationsRequest
| Rappresentazione JSON |
|---|
{ "parent": string, "pageSize": integer, "pageToken": string, "filter": string, "evaluationFilter": string, "evaluationRunFilter": string, "orderBy": string, "lastTenResults": boolean } |
| Campi | |
|---|---|
parent |
Obbligatorio. Il nome della risorsa dell'app da cui elencare le valutazioni. |
pageSize |
Facoltativo. Dimensioni della pagina richiesta. Il server potrebbe restituire meno elementi di quelli richiesti. Se non specificato, il server sceglierà un valore predefinito appropriato. |
pageToken |
Facoltativo. Il valore |
filter |
Facoltativo. Ritirato: utilizza evaluation_filter ed evaluation_run_filter. |
evaluationFilter |
Facoltativo. Filtro da applicare alla valutazione quando vengono elencate le valutazioni. Per maggiori dettagli, visita la pagina https://google.aip.dev/160. Campi supportati: evaluation_datasets |
evaluationRunFilter |
Facoltativo. Stringa di filtro per i campi delle risorse EvaluationRun associate. Per maggiori dettagli, visita la pagina https://google.aip.dev/160. Campi supportati: create_time, initiated_by, app_version_display_name |
orderBy |
Facoltativo. Campo in base al quale ordinare. Sono supportati solo "name", "create_time" e "update_time". I campi relativi all'ora sono ordinati in ordine decrescente, mentre il campo del nome è ordinato in ordine crescente. Se non è incluso, il valore predefinito sarà "update_time". Per maggiori dettagli, consulta https://google.aip.dev/132#ordering. |
lastTenResults |
Facoltativo. Indica se includere nella risposta gli ultimi 10 risultati di valutazione per ogni valutazione. |
Schema di output
Messaggio di risposta per EvaluationService.ListEvaluations.
ListEvaluationsResponse
| Rappresentazione JSON |
|---|
{
"evaluations": [
{
object ( |
| Campi | |
|---|---|
evaluations[] |
L'elenco delle valutazioni. |
nextPageToken |
Un token che può essere inviato come |
Valutazione
| Rappresentazione JSON |
|---|
{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object ( |
| Campi | |
|---|---|
name |
Identificatore. L'identificatore univoco di questa valutazione. Formato: |
displayName |
Obbligatorio. Nome visualizzato della valutazione definito dall'utente. Univoco all'interno di un'app. |
description |
Facoltativo. Descrizione della valutazione definita dall'utente. |
tags[] |
Facoltativo. Tag definiti dall'utente per categorizzare la valutazione. |
evaluationDatasets[] |
Solo output. Elenco dei set di dati di valutazione a cui appartiene la valutazione. Formato: |
createTime |
Solo output. Timestamp della creazione della valutazione. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
createdBy |
Solo output. L'utente che ha creato la valutazione. |
updateTime |
Solo output. Timestamp dell'ultimo aggiornamento della valutazione. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
lastUpdatedBy |
Solo output. L'utente che ha aggiornato la valutazione per ultimo. |
evaluationRuns[] |
Solo output. Gli EvaluationRun a cui è associata questa valutazione. |
etag |
Solo output. Etag utilizzato per garantire che l'oggetto non sia cambiato durante un'operazione di lettura, modifica e scrittura. Se l'etag è vuoto, l'aggiornamento sovrascriverà eventuali modifiche simultanee. |
aggregatedMetrics |
Solo output. Le metriche aggregate per questa valutazione in tutte le esecuzioni. |
lastCompletedResult |
Solo output. L'ultimo risultato della valutazione. |
invalid |
Solo output. Indica se la valutazione non è valida. Questo può accadere se una valutazione fa riferimento a uno strumento, un set di strumenti o un agente che è stato eliminato. |
lastTenResults[] |
Solo output. Gli ultimi 10 risultati di questa valutazione. Questo campo viene compilato solo se include_last_ten_results è impostato su true in ListEvaluationsRequest o GetEvaluationRequest. |
evaluationMetricsThresholdOverride |
Facoltativo. Sostituisce le soglie delle metriche per questa valutazione specifica. |
evaluationMetricsConfigOverride |
Facoltativo. Esegue l'override della configurazione delle metriche per questa valutazione specifica. |
Campo unione inputs. Gli input per la valutazione inputs possono essere solo uno dei seguenti: |
|
golden |
Facoltativo. I passaggi golden da valutare. |
scenario |
Facoltativo. La configurazione di uno scenario. |
Golden
| Rappresentazione JSON |
|---|
{
"turns": [
{
object ( |
| Campi | |
|---|---|
turns[] |
Obbligatorio. I turni d'oro necessari per riprodurre una conversazione d'oro. Il numero massimo di turni consentiti è 100. |
evaluationExpectations[] |
Facoltativo. Le aspettative di valutazione rispetto alle quali valutare la conversazione riprodotta. Formato: |
GoldenTurn
| Rappresentazione JSON |
|---|
{ "steps": [ { object ( |
| Campi | |
|---|---|
steps[] |
Obbligatorio. I passaggi necessari per riprodurre una conversazione d'oro. |
rootSpan |
Facoltativo. Lo span radice della golden turn per l'elaborazione e la conservazione delle informazioni audio. L'URI dell'audio deve contenere l'audio salvato con una frequenza di campionamento di 16 kHz. |
turnLevelMetricsThresholdsOverride |
Facoltativo. Override per le soglie delle metriche a livello di turno. |
hallucinationMetricBehaviorOverride |
Facoltativo. Override per il comportamento della metrica delle allucinazioni a livello di turno. |
Passaggio
| Rappresentazione JSON |
|---|
{ // Union field |
| Campi | |
|---|---|
Campo unione step. Il passaggio da eseguire. step può essere solo uno dei seguenti tipi: |
|
userInput |
Facoltativo. Input dell'utente per la conversazione. |
agentTransfer |
Facoltativo. Trasferire la conversazione a un altro agente. |
expectation |
Facoltativo. Esegue un'aspettativa sul turno corrente. |
SessionInput
| Rappresentazione JSON |
|---|
{ "willContinue": boolean, "recordingControl": enum ( |
| Campi | |
|---|---|
willContinue |
Facoltativo. Un flag che indica se il messaggio corrente è un frammento di un input più grande nella sessione di streaming bidirezionale. Se impostato su NOTA: questo campo non si applica agli input audio e DTMF, in quanto vengono sempre elaborati automaticamente in base all'indicatore di endpointing. |
recordingControl |
Facoltativo. Se la conversazione può essere registrata e archiviata da questo momento in poi. Utilizza questa opzione quando è l'app, anziché l'agente, a decidere cosa può essere conservato, ad esempio quando l'utente finale deve acconsentire alla registrazione prima che qualsiasi informazione sulla chiamata possa essere memorizzata. Il valore rimane attivo finché il client non ne invia uno diverso, quindi deve essere inviato solo quando la risposta cambia. Ciò che è attivo al termine di un turno determina se l'audio di quel turno raggiunge il bucket di registrazione e se la trascrizione raggiunge la cronologia delle conversazioni, BigQuery e Cloud Logging. Copre sia il turno dell'agente sia quello dell'utente finale. I turni che terminano prima che il client invii questo campo per la prima volta vengono registrati in base alle impostazioni di registrazione dell'app, come se il campo non esistesse. Se più input nella stessa richiesta lo impostano, l'ultimo ha la precedenza. |
Campo unione input_type. Il tipo di input. input_type può essere solo uno dei seguenti tipi: |
|
text |
Facoltativo. Dati di testo dell'utente finale. |
dtmf |
Facoltativo. Cifre DTMF dell'utente finale. |
audio |
Facoltativo. Dati audio dell'utente finale. Una stringa con codifica in base64. |
toolResponses |
Facoltativo. Risultati dell'esecuzione delle chiamate allo strumento dal client. |
image |
Facoltativo. Dati delle immagini dell'utente finale. |
blob |
Facoltativo. Dati blob dell'utente finale. |
variables |
Facoltativo. Variabili contestuali per la sessione, con chiave per nome. L'agente CES utilizzerà solo le variabili dichiarate nell'app. Le variabili non riconosciute verranno comunque inviate all'[agente Dialogflow][Agent.RemoteDialogflowAgent] come parametri di sessione aggiuntivi. |
event |
Facoltativo. Input dell'evento. |
ToolResponses
| Rappresentazione JSON |
|---|
{
"toolResponses": [
{
object ( |
| Campi | |
|---|---|
toolResponses[] |
Facoltativo. L'elenco dei risultati dell'esecuzione dello strumento. |
ToolResponse
| Rappresentazione JSON |
|---|
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field |
| Campi | |
|---|---|
id |
Facoltativo. L'ID corrispondenza della |
displayName |
Solo output. Nome visualizzato dello strumento. |
response |
Obbligatorio. Il risultato dell'esecuzione dello strumento in formato oggetto JSON. Utilizza la chiave "output" per specificare la risposta dello strumento e la chiave "error" per specificare i dettagli dell'errore (se presenti). Se le chiavi "output" ed "error" non sono specificate, l'intera "response" viene trattata come risultato dell'esecuzione dello strumento. |
parentToolCallId |
Solo output. L'ID della chiamata allo strumento che ha causato questa chiamata, quando è stata emessa da un sub-agente che lavora per conto di una chiamata principale. Vuoto per le chiamate di primo livello. Consente a un client di raggruppare il lavoro di un sub-agente sotto la chiamata che lo ha avviato, anziché visualizzare ogni passaggio come elemento di pari livello. |
agentName |
Solo output. Nome leggibile dell'agente che ha emesso questa chiamata, ad esempio "Contract Architect". Vuoto quando è stato emesso dall'agente principale. |
targetApp |
Solo output. L'app scelta come target dallo strumento eseguito; rispecchia |
Campo unione tool_identifier. L'identificatore dello strumento eseguito. Potrebbe essere uno strumento persistente o uno strumento di un set di strumenti. tool_identifier può essere solo uno dei seguenti tipi: |
|
tool |
Facoltativo. Il nome dello strumento da eseguire. Formato: |
toolsetTool |
Facoltativo. Lo strumento del set di strumenti che è stato eseguito. |
ToolsetTool
| Rappresentazione JSON |
|---|
{ "toolset": string, "toolId": string } |
| Campi | |
|---|---|
toolset |
Obbligatorio. Il nome della risorsa del set di strumenti da cui deriva questo strumento. Formato: |
toolId |
Facoltativo. L'ID dello strumento per filtrare gli strumenti per cui recuperare lo schema. |
Struct
| Rappresentazione JSON |
|---|
{ "fields": { string: value, ... } } |
| Campi | |
|---|---|
fields |
Mappa non ordinata di valori con tipo dinamico. Un oggetto contenente un elenco di coppie |
FieldsEntry
| Rappresentazione JSON |
|---|
{ "key": string, "value": value } |
| Campi | |
|---|---|
key |
|
value |
|
Valore
| Rappresentazione JSON |
|---|
{ // Union field |
| Campi | |
|---|---|
Campo unione kind. Il tipo di valore. kind può essere solo uno dei seguenti tipi: |
|
nullValue |
Rappresenta un |
numberValue |
Rappresenta un numero JSON. Non deve essere |
stringValue |
Rappresenta una stringa JSON. |
boolValue |
Rappresentano un valore booleano JSON (valore letterale |
structValue |
Rappresenta un oggetto JSON. |
listValue |
Rappresenta un array JSON. |
ListValue
| Rappresentazione JSON |
|---|
{ "values": [ value ] } |
| Campi | |
|---|---|
values[] |
Campo ripetuto di valori con tipo dinamico. |
Immagine
| Rappresentazione JSON |
|---|
{ "mimeType": string, "data": string, "altText": string } |
| Campi | |
|---|---|
mimeType |
Obbligatorio. Il tipo MIME standard IANA dei dati di origine. I tipi di immagini supportati includono: * image/png * image/jpeg * image/webp |
data |
Obbligatorio. Byte non elaborati dell'immagine. Una stringa con codifica in base64. |
altText |
Facoltativo. Il testo alternativo dell'immagine. |
Blob
| Rappresentazione JSON |
|---|
{ "mimeType": string, "data": string } |
| Campi | |
|---|---|
mimeType |
Obbligatorio. Il tipo MIME standard IANA dei dati di origine. |
data |
Obbligatorio. Byte non elaborati del blob. Una stringa con codifica in base64. |
Evento
| Rappresentazione JSON |
|---|
{ "event": string, "variables": { object } } |
| Campi | |
|---|---|
event |
Obbligatorio. Il nome dell'evento. |
variables |
Facoltativo. Variabili aggiuntive associate all'evento. |
AgentTransfer
| Rappresentazione JSON |
|---|
{ "targetAgent": string, "displayName": string } |
| Campi | |
|---|---|
targetAgent |
Obbligatorio. L'agente a cui viene trasferita la conversazione. L'agente gestirà la conversazione da questo momento in poi. Formato: |
displayName |
Solo output. Nome visualizzato dell'agente. |
GoldenExpectation
| Rappresentazione JSON |
|---|
{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object ( |
| Campi | |
|---|---|
note |
Facoltativo. Una nota per questo requisito, utile per i report quando controlli specifici non vanno a buon fine. Ad esempio, "Check_Payment_Tool_Called". |
skipEvaluation |
Facoltativo. Se impostata su true, questa aspettativa specifica non verrà valutata. |
expectationLevelMetricsThresholdsOverride |
Facoltativo. Esegue l'override delle metriche a livello di passaggio. |
agentResponseSemanticSimilarityMetricsConfigOverride |
Facoltativo. Override per le metriche di similarità semantica di agent_response. |
agentResponseHallucinationMetricsConfigOverride |
Facoltativo. Override per le metriche di allucinazione di agent_response. |
comparisonType |
Facoltativo. Il tipo di confronto da utilizzare per il controllo delle aspettative. |
Campo unione condition. Il controllo effettivo da eseguire. condition può essere solo uno dei seguenti tipi: |
|
toolCall |
Facoltativo. Verifica che uno strumento specifico sia stato chiamato con i parametri. |
toolResponse |
Facoltativo. Verifica che uno strumento specifico abbia fornito la risposta prevista. |
agentResponse |
Facoltativo. Verifica che l'agente abbia risposto con la risposta corretta. Il ruolo "agent" è implicito. |
agentTransfer |
Facoltativo. Verifica che l'agente abbia trasferito la conversazione a un altro agente. |
updatedVariables |
Facoltativo. Verifica che l'agente abbia aggiornato le variabili di sessione ai valori previsti. Utilizzato anche per acquisire gli aggiornamenti delle variabili dell'agente per le valutazioni d'oro. |
mockToolResponse |
Facoltativo. La risposta dello strumento da simulare, con i parametri di interesse specificati. Eventuali parametri non specificati verranno allucinati dall'LLM. |
noToolCalls |
Facoltativo. Verifica che non siano stati chiamati strumenti durante questo turno. |
ToolCall
| Rappresentazione JSON |
|---|
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, "targetApp": string, // Union field |
| Campi | |
|---|---|
id |
Facoltativo. L'identificatore univoco della chiamata allo strumento. Se compilato, il client deve restituire il risultato dell'esecuzione con l'ID corrispondenza in |
displayName |
Solo output. Nome visualizzato dello strumento. |
args |
Facoltativo. I parametri e i valori di input per lo strumento in formato oggetto JSON. |
parentToolCallId |
Solo output. L'ID della chiamata allo strumento che ha causato questa chiamata, quando è stata emessa da un sub-agente che lavora per conto di una chiamata principale. Vuoto per le chiamate di primo livello. Consente a un client di raggruppare il lavoro di un sub-agente sotto la chiamata che lo ha avviato, anziché visualizzare ogni passaggio come elemento di pari livello. |
agentName |
Solo output. Nome leggibile dell'agente che ha emesso questa chiamata, ad esempio "Contract Architect". Vuoto quando è stato emesso dall'agente principale. |
targetApp |
Solo output. L'app a cui è destinata questa chiamata, derivata dall'assistente dagli argomenti della risorsa della chiamata: un nome della risorsa dell'app, |
Campo unione tool_identifier. L'identificatore dello strumento da eseguire. Potrebbe essere uno strumento persistente o uno strumento di un set di strumenti. tool_identifier può essere solo uno dei seguenti tipi: |
|
tool |
Facoltativo. Il nome dello strumento da eseguire. Formato: |
toolsetTool |
Facoltativo. Lo strumento del set di strumenti da eseguire. |
Messaggio
| Rappresentazione JSON |
|---|
{
"role": string,
"chunks": [
{
object ( |
| Campi | |
|---|---|
role |
Facoltativo. Il ruolo all'interno della conversazione, ad esempio utente, agente. |
chunks[] |
Facoltativo. Contenuto del messaggio sotto forma di serie di blocchi. |
eventTime |
Facoltativo. Timestamp di invio o ricezione del messaggio. Non deve essere utilizzato se il messaggio fa parte di un Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
Chunk
| Rappresentazione JSON |
|---|
{ // Union field |
| Campi | |
|---|---|
Campo unione data. Dati in blocchi. data può essere solo uno dei seguenti tipi: |
|
text |
Facoltativo. Dati di testo. |
transcript |
Facoltativo. Trascrizione associata all'audio. |
blob |
Facoltativo. Dati blob. |
payload |
Facoltativo. Dati di payload personalizzati. |
image |
Facoltativo. Dati immagine. |
toolCall |
Facoltativo. Richiesta di esecuzione dello strumento. |
toolResponse |
Facoltativo. Risposta dell'esecuzione dello strumento. |
agentTransfer |
Facoltativo. Evento di trasferimento dell'agente. |
updatedVariables |
Uno struct rappresenta le variabili aggiornate nella conversazione, con i nomi delle variabili come chiavi. |
defaultVariables |
Una struttura rappresenta le variabili predefinite all'inizio della conversazione, con i nomi delle variabili come chiavi. |
Timestamp
| Rappresentazione JSON |
|---|
{ "seconds": string, "nanos": integer } |
| Campi | |
|---|---|
seconds |
Rappresenta i secondi dell'ora UTC dall'epoca di Unix 1970-01-01T00:00:00Z. Deve essere compreso tra -62135596800 e 253402300799 inclusi (che corrispondono a un intervallo compreso tra 0001-01-01T00:00:00Z e 9999-12-31T23:59:59Z). |
nanos |
Frazioni di secondo non negative con risoluzione in nanosecondi. Questo campo è la parte in nanosecondi della durata, non un'alternativa ai secondi. I valori dei secondi negativi con frazioni devono comunque avere valori di nanosecondi non negativi che avanzano nel tempo. Deve essere un valore compreso tra 0 e 999.999.999 inclusi. |
ExpectationLevelMetricsThresholds
| Rappresentazione JSON |
|---|
{ // Union field |
| Campi | |
|---|---|
Campo unione
|
|
toolInvocationParameterCorrectnessThreshold |
Facoltativo. La soglia di successo per la correttezza dei singoli parametri di chiamata dello strumento. Deve essere un numero in virgola mobile compreso tra 0 e 1. Il valore predefinito è 1.0. |
SemanticSimilarityMetricsConfig
| Rappresentazione JSON |
|---|
{ "enableSemanticSimilarityMetrics": boolean } |
| Campi | |
|---|---|
enableSemanticSimilarityMetrics |
Facoltativo. Indica se calcolare le metriche di somiglianza semantica per la valutazione. |
HallucinationMetricsConfig
| Rappresentazione JSON |
|---|
{ "enableHallucinationMetrics": boolean } |
| Campi | |
|---|---|
enableHallucinationMetrics |
Facoltativo. Indica se calcolare le metriche delle allucinazioni per la valutazione. |
Intervallo
| Rappresentazione JSON |
|---|
{
"name": string,
"startTime": string,
"endTime": string,
"duration": string,
"attributes": {
object
},
"childSpans": [
{
object ( |
| Campi | |
|---|---|
name |
Solo output. Il nome dello span. |
startTime |
Solo output. L'ora di inizio dello span. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
endTime |
Solo output. L'ora di fine dell'intervallo. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
duration |
Solo output. La durata dello span. Una durata in secondi con un massimo di nove cifre frazionarie, che termina con " |
attributes |
Solo output. Attributi coppia chiave-valore associati allo span. |
childSpans[] |
Solo output. Gli intervalli secondari nidificati in questo intervallo. |
Durata
| Rappresentazione JSON |
|---|
{ "seconds": string, "nanos": integer } |
| Campi | |
|---|---|
seconds |
Secondi con segno dell'intervallo di tempo. Deve essere compreso tra -315.576.000.000 e +315.576.000.000 inclusi. Nota: questi limiti sono calcolati da: 60 sec/min * 60 min/ora * 24 ore/giorno * 365,25 giorni/anno * 10.000 anni |
nanos |
Frazioni di secondo con segno con risoluzione in nanosecondi dell'intervallo di tempo. Le durate inferiori a un secondo sono rappresentate con un campo |
TurnLevelMetricsThresholds
| Rappresentazione JSON |
|---|
{ "semanticSimilarityChannel": enum ( |
| Campi | |
|---|---|
semanticSimilarityChannel |
Facoltativo. Il canale di somiglianza semantica da utilizzare per la valutazione. |
Campo unione
|
|
semanticSimilaritySuccessThreshold |
Facoltativo. La soglia di successo per la somiglianza semantica. Deve essere un numero intero compreso tra 0 e 4. Il valore predefinito è >= 3. |
Campo unione
|
|
overallToolInvocationCorrectnessThreshold |
Facoltativo. La soglia di successo per la correttezza complessiva della chiamata dello strumento. Deve essere un numero in virgola mobile compreso tra 0 e 1. Il valore predefinito è 1.0. |
Scenario
| Rappresentazione JSON |
|---|
{ "task": string, "userFacts": [ { object ( |
| Campi | |
|---|---|
task |
Obbligatorio. L'attività da scegliere come target dello scenario. |
userFacts[] |
Facoltativo. I dati dell'utente da utilizzare nello scenario. |
maxTurns |
Facoltativo. Il numero massimo di turni da simulare. Il valore massimo consentito è 100. Il valore predefinito è 100. |
rubrics[] |
Obbligatorio. Le griglie di valutazione in base alle quali valutare lo scenario. |
scenarioExpectations[] |
Obbligatorio. ScenarioExpectations per valutare la conversazione prodotta dalla simulazione dell'utente. |
variableOverrides |
Facoltativo. Variabili/parametri di sessione come contesto per la sessione, con chiave in base ai nomi delle variabili. I membri di questa struttura sostituiranno i valori predefiniti impostati dal sistema. Tieni presente che questi sono diversi dai fatti dell'utente, che sono fatti noti all'utente. Le variabili sono parametri noti all'agente, ad esempio l'MDN (numero di telefono) trasmesso dal sistema di telefonia. |
taskCompletionBehavior |
Facoltativo. Deprecato. Utilizza invece user_goal_behavior. |
userGoalBehavior |
Facoltativo. Il comportamento previsto dell'obiettivo dell'utente. |
evaluationExpectations[] |
Facoltativo. Le aspettative di valutazione in base alle quali valutare la conversazione prodotta dalla simulazione. Formato: |
milestones[] |
Facoltativo. I traguardi per questo scenario. |
scenarioExecutionMode |
Facoltativo. La modalità di esecuzione per le valutazioni degli scenari. |
UserFact
| Rappresentazione JSON |
|---|
{ "name": string, "value": string } |
| Campi | |
|---|---|
name |
Obbligatorio. Il nome del fatto utente. |
value |
Obbligatorio. Il valore del fatto relativo all'utente. |
ScenarioExpectation
| Rappresentazione JSON |
|---|
{ // Union field |
| Campi | |
|---|---|
Campo unione expectation. L'aspettativa per valutare la conversazione prodotta dalla simulazione. expectation può essere solo uno dei seguenti tipi: |
|
toolExpectation |
Facoltativo. La coppia di chiamata allo strumento e risposta da valutare. |
agentResponse |
Facoltativo. La risposta dell'agente da valutare. |
ToolExpectation
| Rappresentazione JSON |
|---|
{ "expectedToolCall": { object ( |
| Campi | |
|---|---|
expectedToolCall |
Obbligatorio. La chiamata allo strumento prevista, con i parametri di interesse specificati. Eventuali parametri non specificati verranno allucinati dall'LLM. |
mockToolResponse |
Obbligatorio. La risposta dello strumento da simulare, con i parametri di interesse specificati. Eventuali parametri non specificati verranno allucinati dall'LLM. |
Obiettivo
| Rappresentazione JSON |
|---|
{
"goal": string,
"maxTurnCount": integer,
"successCriteria": string,
"protocol": string,
"staticUtterance": string,
"event": {
object ( |
| Campi | |
|---|---|
goal |
Obbligatorio. L'obiettivo del traguardo. |
maxTurnCount |
Facoltativo. Il numero massimo di turni per questo traguardo. |
successCriteria |
Facoltativo. I criteri di successo della milestone. |
protocol |
Facoltativo. Le linee guida che l'agente deve seguire durante la conversazione. |
staticUtterance |
Facoltativo. Un enunciato statico che il simulatore invierà esattamente, anziché generare dinamicamente l'input utente'utente. |
event |
Facoltativo. Un input di evento da inviare anziché la generazione dinamica. |
AggregatedMetrics
| Rappresentazione JSON |
|---|
{
"metricsByAppVersion": [
{
object ( |
| Campi | |
|---|---|
metricsByAppVersion[] |
Solo output. Metriche aggregate, raggruppate per ID versione dell'app. |
MetricsByAppVersion
| Rappresentazione JSON |
|---|
{ "appVersionId": string, "toolMetrics": [ { object ( |
| Campi | |
|---|---|
appVersionId |
Solo output. L'ID della versione dell'app. |
toolMetrics[] |
Solo output. Metriche per ogni strumento all'interno di questa versione dell'app. |
semanticSimilarityMetrics[] |
Solo output. Metriche per la somiglianza semantica all'interno di questa versione dell'app. |
hallucinationMetrics[] |
Solo output. Metriche per le allucinazioni in questa versione dell'app. |
toolCallLatencyMetrics[] |
Solo output. Metriche per la latenza delle chiamate allo strumento all'interno di questa versione dell'app. |
turnLatencyMetrics[] |
Solo output. Metriche per la latenza dei turni in questa versione dell'app. |
passCount |
Solo output. Il numero di volte in cui la valutazione è stata superata. |
failCount |
Solo output. Il numero di volte in cui la valutazione non è riuscita. |
metricsByTurn[] |
Solo output. Metriche aggregate per turno all'interno di questa versione dell'app. |
ToolMetrics
| Rappresentazione JSON |
|---|
{ "tool": string, "passCount": integer, "failCount": integer } |
| Campi | |
|---|---|
tool |
Solo output. Il nome dello strumento. |
passCount |
Solo output. Il numero di volte in cui lo strumento ha superato il test. |
failCount |
Solo output. Il numero di volte in cui lo strumento non è riuscito. |
SemanticSimilarityMetrics
| Rappresentazione JSON |
|---|
{ "score": number } |
| Campi | |
|---|---|
score |
Solo output. Il punteggio medio di somiglianza semantica (0-4). |
HallucinationMetrics
| Rappresentazione JSON |
|---|
{ "score": number } |
| Campi | |
|---|---|
score |
Solo output. Il punteggio medio di allucinazione (da 0 a 1). |
ToolCallLatencyMetrics
| Rappresentazione JSON |
|---|
{ "tool": string, "averageLatency": string } |
| Campi | |
|---|---|
tool |
Solo output. Il nome dello strumento. |
averageLatency |
Solo output. La latenza media delle chiamate allo strumento. Una durata in secondi con un massimo di nove cifre frazionarie, che termina con " |
TurnLatencyMetrics
| Rappresentazione JSON |
|---|
{ "averageLatency": string } |
| Campi | |
|---|---|
averageLatency |
Solo output. La latenza media dei turni. Una durata in secondi con un massimo di nove cifre frazionarie, che termina con " |
MetricsByTurn
| Rappresentazione JSON |
|---|
{ "turnIndex": integer, "toolMetrics": [ { object ( |
| Campi | |
|---|---|
turnIndex |
Solo output. L'indice della svolta (a base 0). |
toolMetrics[] |
Solo output. Metriche per ogni strumento all'interno di questo turno. |
semanticSimilarityMetrics[] |
Solo output. Metriche per la somiglianza semantica all'interno di questo turno. |
hallucinationMetrics[] |
Solo output. Metriche per le allucinazioni in questo turno. |
toolCallLatencyMetrics[] |
Solo output. Metriche per la latenza delle chiamate allo strumento in questo turno. |
turnLatencyMetrics[] |
Solo output. Metriche per la latenza di turno all'interno di questo turno. |
EvaluationResult
| Rappresentazione JSON |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| Campi | |
|---|---|
name |
Identificatore. L'identificatore univoco del risultato della valutazione. Formato: |
displayName |
Obbligatorio. Nome visualizzato del risultato della valutazione. Univoco all'interno di una valutazione. Per impostazione predefinita, ha il seguente formato: " |
createTime |
Solo output. Timestamp di creazione del risultato della valutazione. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
evaluationStatus |
Solo output. Il risultato della valutazione. Compilato solo se execution_state è COMPLETE. |
evaluationRun |
Solo output. L'esecuzione della valutazione che ha prodotto questo risultato. Formato: |
persona |
Solo output. La persona utilizzata per generare la conversazione per il risultato della valutazione. |
errorInfo |
Solo output. Informazioni sull'errore per il risultato della valutazione. |
error |
Solo output. Ritirato: utilizza invece |
initiatedBy |
Solo output. L'utente che ha avviato l'esecuzione della valutazione che ha generato questo risultato. |
appVersion |
Solo output. La versione dell'app utilizzata per generare la conversazione che ha portato a questo risultato. Formato: |
appVersionDisplayName |
Solo output. Il nome visualizzato di |
changelog |
Solo output. Il log delle modifiche della versione dell'app su cui è stata eseguita la valutazione. Questo campo viene compilato se l'utente esegue la valutazione sulla versione più recente/bozza. |
changelogCreateTime |
Solo output. L'ora di creazione del log delle modifiche della versione dell'app su cui è stata eseguita la valutazione. Questo campo viene compilato se l'utente esegue la valutazione sulla versione più recente/bozza. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
executionState |
Solo output. Lo stato dell'esecuzione del risultato della valutazione. |
evaluationMetricsThresholds |
Solo output. Le soglie di valutazione per il risultato. |
config |
Solo output. La configurazione utilizzata nell'esecuzione della valutazione che ha generato questo risultato. |
goldenRunMethod |
Solo output. Il metodo utilizzato per eseguire la valutazione golden. |
rootSpan |
Solo output. Lo span radice dell'esecuzione della valutazione, che include informazioni su ogni passaggio della valutazione. |
outcomeMetadata |
Solo output. I metadati dei risultati della valutazione. Compilato solo se execution_state è COMPLETE. |
Campo unione result. Il risultato della valutazione. Compilato solo quando execution_state è COMPLETED. result può essere solo uno dei seguenti tipi: |
|
goldenResult |
Solo output. Il risultato di una valutazione golden. |
scenarioResult |
Solo output. Il risultato della valutazione di uno scenario. |
GoldenResult
| Rappresentazione JSON |
|---|
{ "turnReplayResults": [ { object ( |
| Campi | |
|---|---|
turnReplayResults[] |
Solo output. Il risultato dell'esecuzione di ogni turno della conversazione golden. |
evaluationExpectationResults[] |
Solo output. I risultati delle aspettative di valutazione. |
TurnReplayResult
| Rappresentazione JSON |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| Campi | |
|---|---|
conversation |
Solo output. La conversazione generata per questo turno. |
expectationOutcome[] |
Solo output. Il risultato di ogni aspettativa. |
hallucinationResult |
Solo output. Il risultato del controllo delle allucinazioni. |
toolInvocationScore |
Solo output. Deprecato. Utilizza invece OverallToolInvocationResult. |
turnLatency |
Solo output. Durata della svolta. Una durata in secondi con un massimo di nove cifre frazionarie, che termina con " |
toolCallLatencies[] |
Solo output. La latenza di ogni chiamata allo strumento nel turno. |
semanticSimilarityResult |
Solo output. Il risultato del controllo della somiglianza semantica. |
overallToolInvocationResult |
Solo output. Il risultato del controllo complessivo della chiamata dello strumento. |
errorInfo |
Solo output. Informazioni sull'errore che si è verificato durante questo turno. |
spanLatencies[] |
Solo output. La latenza degli intervalli nel turno. |
Campo unione
|
|
toolOrderedInvocationScore |
Solo output. Il punteggio complessivo della chiamata ordinata dello strumento per questo turno. Indica la percentuale complessiva di strumenti del turno previsto che sono stati effettivamente richiamati nell'ordine previsto. |
GoldenExpectationOutcome
| Rappresentazione JSON |
|---|
{ "expectation": { object ( |
| Campi | |
|---|---|
expectation |
Solo output. L'aspettativa che è stata valutata. |
outcome |
Solo output. Il risultato dell'aspettativa. |
semanticSimilarityResult |
Solo output. Il risultato del controllo della somiglianza semantica. |
toolInvocationResult |
Solo output. Il risultato del controllo della chiamata dello strumento. |
Campo unione result. Il risultato dell'aspettativa. result può essere solo uno dei seguenti tipi: |
|
observedToolCall |
Solo output. Il risultato dell'aspettativa della chiamata allo strumento. |
observedToolResponse |
Solo output. Il risultato dell'aspettativa della risposta dello strumento. |
observedAgentResponse |
Solo output. Il risultato dell'aspettativa di risposta dell'agente. |
observedAgentTransfer |
Solo output. Il risultato dell'aspettativa di trasferimento dell'agente. |
observedPayload |
Solo output. Un payload personalizzato osservato. Non sono previste aspettative per i payload personalizzati. Questo valore viene utilizzato solo per il calcolo delle metriche. L'esito è sempre SKIPPED. |
SemanticSimilarityResult
| Rappresentazione JSON |
|---|
{ "label": string, "explanation": string, "outcome": enum ( |
| Campi | |
|---|---|
label |
Solo output. L'etichetta associata a ogni punteggio. Punteggio 4: completamente coerente Punteggio 3: per lo più coerente Punteggio 2: parzialmente coerente (omissioni minori) Punteggio 1: ampiamente incoerente (omissioni maggiori) Punteggio 0: completamente incoerente/contraddittorio |
explanation |
Solo output. La spiegazione del punteggio di somiglianza semantica. |
outcome |
Solo output. Il risultato del controllo della somiglianza semantica. Questo viene determinato confrontando il punteggio con semantic_similarity_success_threshold. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL. |
Campo unione
|
|
score |
Solo output. Il punteggio di somiglianza semantica. Può essere 0, 1, 2, 3 o 4. |
ToolInvocationResult
| Rappresentazione JSON |
|---|
{ "outcome": enum ( |
| Campi | |
|---|---|
outcome |
Solo output. Il risultato del controllo della chiamata dello strumento. Questo viene determinato confrontando il valore di parameter_correctness_score con la soglia. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL. |
explanation |
Solo output. Una spiegazione in formato libero del risultato della chiamata dello strumento. |
Campo unione
|
|
parameterCorrectnessScore |
Solo output. Il punteggio di correttezza dei parametri di chiamata dello strumento. Indica la percentuale di parametri della chiamata allo strumento prevista che erano presenti anche nella chiamata allo strumento effettiva. |
HallucinationResult
| Rappresentazione JSON |
|---|
{ "label": string, "explanation": string, // Union field |
| Campi | |
|---|---|
label |
Solo output. L'etichetta associata a ogni punteggio. Punteggio 1: giustificato Punteggio 0: non giustificato Punteggio -1: nessuna affermazione da valutare |
explanation |
Solo output. La spiegazione del punteggio di allucinazione. |
Campo unione
|
|
score |
Solo output. Il punteggio di allucinazione. Può essere -1, 0, 1. |
ToolCallLatency
| Rappresentazione JSON |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| Campi | |
|---|---|
tool |
Solo output. Il nome dello strumento eseguito. Formato: |
displayName |
Solo output. Il nome visualizzato dello strumento. |
startTime |
Solo output. L'ora di inizio dell'esecuzione della chiamata allo strumento. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
endTime |
Solo output. L'ora di fine dell'esecuzione della chiamata allo strumento. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
executionLatency |
Solo output. La latenza dell'esecuzione della chiamata allo strumento. Una durata in secondi con un massimo di nove cifre frazionarie, che termina con " |
OverallToolInvocationResult
| Rappresentazione JSON |
|---|
{ "outcome": enum ( |
| Campi | |
|---|---|
outcome |
Solo output. Il risultato del controllo della chiamata dello strumento. Questo viene determinato confrontando tool_invocation_score con overall_tool_invocation_correctness_threshold. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL. |
Campo unione
|
|
toolInvocationScore |
Il punteggio complessivo della chiamata dello strumento per questo turno. Indica la percentuale complessiva di strumenti del turno previsto che sono stati effettivamente richiamati. |
EvaluationErrorInfo
| Rappresentazione JSON |
|---|
{
"errorType": enum ( |
| Campi | |
|---|---|
errorType |
Solo output. Il tipo di errore. |
errorMessage |
Solo output. Il messaggio di errore. |
sessionId |
Solo output. L'ID sessione della conversazione che ha causato l'errore. |
userFacingErrorMessage |
Solo output. Il messaggio di errore rivolto agli utenti. |
SpanLatency
| Rappresentazione JSON |
|---|
{ "type": enum ( |
| Campi | |
|---|---|
type |
Solo output. Il tipo di intervallo. |
displayName |
Solo output. Il nome visualizzato dello span. Applicabile agli intervalli di strumenti e guardrail. |
startTime |
Solo output. L'ora di inizio dello span. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
endTime |
Solo output. L'ora di fine dell'intervallo. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
executionLatency |
Solo output. La latenza dello span. Una durata in secondi con un massimo di nove cifre frazionarie, che termina con " |
Campo unione identifier. L'identificatore dell'elemento specifico in base al tipo. identifier può essere solo uno dei seguenti tipi: |
|
resource |
Solo output. Il nome della risorsa degli span di guardrail o strumenti. |
toolset |
Solo output. L'identificatore dello strumento del set di strumenti. |
model |
Solo output. Il nome dello span LLM. |
callback |
Solo output. Il nome dell'intervallo di callback dell'utente. |
EvaluationExpectationResult
| Rappresentazione JSON |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| Campi | |
|---|---|
evaluationExpectation |
Solo output. L'aspettativa di valutazione. Formato: |
prompt |
Solo output. Il prompt utilizzato per la valutazione. |
outcome |
Solo output. Il risultato dell'aspettativa di valutazione. |
explanation |
Solo output. La spiegazione del risultato. |
ScenarioResult
| Rappresentazione JSON |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| Campi | |
|---|---|
conversation |
Solo output. La conversazione generata nello scenario. |
task |
Solo output. L'attività utilizzata durante l'esecuzione dello scenario per questo risultato. |
userFacts[] |
Solo output. I dati dell'utente utilizzati dallo scenario per questo risultato. |
expectationOutcomes[] |
Solo output. Il risultato di ogni aspettativa. |
rubricOutcomes[] |
Solo output. Il risultato della griglia. |
hallucinationResult[] |
Solo output. Il risultato del controllo delle allucinazioni. Verrà visualizzato un risultato di allucinazione per ogni turno della conversazione. |
taskCompletionResult |
Solo output. Il risultato del controllo di completamento dell'attività. |
toolCallLatencies[] |
Solo output. La latenza di ogni esecuzione di chiamata allo strumento nella conversazione. |
userGoalSatisfactionResult |
Solo output. Il risultato del controllo della soddisfazione degli obiettivi dell'utente. |
spanLatencies[] |
Solo output. La latenza degli intervalli nella conversazione. |
evaluationExpectationResults[] |
Solo output. I risultati delle aspettative di valutazione. |
milestoneResults[] |
Solo output. I risultati di ogni milestone nello scenario. |
Campo unione
|
|
allExpectationsSatisfied |
Solo output. Indica se tutte le aspettative sono state soddisfatte per questo turno. |
Campo unione
|
|
taskCompleted |
Solo output. Se l'attività è stata completata per questo turno. Si tratta di una combinazione di tutte le aspettative soddisfatte, nessuna allucinazione e soddisfazione degli obiettivi dell'utente. |
ScenarioExpectationOutcome
| Rappresentazione JSON |
|---|
{ "expectation": { object ( |
| Campi | |
|---|---|
expectation |
Solo output. L'aspettativa che è stata valutata. |
outcome |
Solo output. Il risultato di ScenarioExpectation. |
Campo unione result. Il risultato dell'aspettativa. result può essere solo uno dei seguenti tipi: |
|
observedToolCall |
Solo output. La chiamata allo strumento osservata. |
observedAgentResponse |
Solo output. La risposta dell'agente osservata. |
ObservedToolCall
| Rappresentazione JSON |
|---|
{ "toolCall": { object ( |
| Campi | |
|---|---|
toolCall |
Solo output. La chiamata allo strumento osservata. |
toolResponse |
Solo output. La risposta dello strumento osservata. |
ScenarioRubricOutcome
| Rappresentazione JSON |
|---|
{ "rubric": string, "scoreExplanation": string, // Union field |
| Campi | |
|---|---|
rubric |
Solo output. La griglia utilizzata per valutare la conversazione. |
scoreExplanation |
Solo output. La risposta del valutatore alla griglia. |
Campo unione
|
|
score |
Solo output. Il punteggio della conversazione rispetto alla griglia. |
TaskCompletionResult
| Rappresentazione JSON |
|---|
{ "label": string, "explanation": string, // Union field |
| Campi | |
|---|---|
label |
Solo output. L'etichetta associata a ogni punteggio. Punteggio 1: attività completata Punteggio 0: attività non completata Punteggio -1: obiettivo dell'utente non definito |
explanation |
Solo output. La spiegazione del punteggio di completamento dell'attività. |
Campo unione
|
|
score |
Solo output. Il punteggio di completamento dell'attività. Può essere -1, 0, 1 |
UserGoalSatisfactionResult
| Rappresentazione JSON |
|---|
{ "label": string, "explanation": string, // Union field |
| Campi | |
|---|---|
label |
Solo output. L'etichetta associata a ogni punteggio. Punteggio 2: passaggio di consegne fluido Punteggio 1: attività dell'utente soddisfatta Punteggio 0: attività dell'utente non soddisfatta Punteggio -1: attività dell'utente non specificata |
explanation |
Solo output. La spiegazione del punteggio di soddisfazione dell'utente per l'attività. |
Campo unione
|
|
score |
Solo output. Il punteggio di soddisfazione dell'utente per l'attività. Può essere -1, 0, 1, 2. |
MilestoneResult
| Rappresentazione JSON |
|---|
{ "milestone": { object ( |
| Campi | |
|---|---|
milestone |
Solo output. Il traguardo monitorato. |
status |
Solo output. Lo stato attuale del traguardo. |
justification |
Solo output. La motivazione dello stato attuale. |
EvaluationPersona
| Rappresentazione JSON |
|---|
{
"name": string,
"description": string,
"displayName": string,
"personality": string,
"speechConfig": {
object ( |
| Campi | |
|---|---|
name |
Obbligatorio. L'identificatore univoco della persona. Formato: |
description |
Facoltativo. La descrizione della persona. |
displayName |
Obbligatorio. Il nome visualizzato della persona. Univoco all'interno di un'app. |
personality |
Obbligatorio. Un'istruzione per l'agente su come comportarsi nella valutazione. |
speechConfig |
Facoltativo. Configurazione del suono della persona (impostazioni TTS). |
SpeechConfig
| Rappresentazione JSON |
|---|
{
"speakingRate": number,
"environment": enum ( |
| Campi | |
|---|---|
speakingRate |
Facoltativo. La velocità del parlato. 1,0 è normale. Un valore più basso indica una velocità inferiore (ad es. 0,8), mentre un valore più alto indica una velocità superiore (ad es. 1,5). Utile per testare il modo in cui l'agente gestisce le persone che parlano velocemente. |
environment |
Facoltativo. L'ambiente audio simulato. |
voiceId |
Facoltativo. L'identificatore/accento della voce specifico da utilizzare. Esempio: "en-US-Wavenet-D" o "en-GB-Standard-A" |
Stato
| Rappresentazione JSON |
|---|
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] } |
| Campi | |
|---|---|
code |
Il codice di stato, che deve essere un valore enum di |
message |
Un messaggio di errore rivolto agli sviluppatori, che deve essere in inglese. Qualsiasi messaggio di errore rivolto agli utenti deve essere localizzato e inviato nel campo |
details[] |
Un elenco di messaggi contenenti i dettagli dell'errore. Esiste un insieme comune di tipi di messaggi da utilizzare per le API. Un oggetto contenente campi di tipo arbitrario. Un campo aggiuntivo |
Qualsiasi
| Rappresentazione JSON |
|---|
{ "typeUrl": string, "value": string } |
| Campi | |
|---|---|
typeUrl |
Identifica il tipo di messaggio Protobuf serializzato con un riferimento URI costituito da un prefisso che termina con una barra e dal nome del tipo completo. Esempio: type.googleapis.com/google.protobuf.StringValue Questa stringa deve contenere almeno un carattere Il prefisso è arbitrario e le implementazioni di Protobuf dovrebbero semplicemente rimuovere tutto fino all'ultimo Tutte le stringhe URL del tipo devono essere riferimenti URI validi con l'ulteriore limitazione (per il formato di testo) che i contenuti del riferimento devono essere costituiti solo da caratteri alfanumerici, escape con codifica percentuale e caratteri nel seguente insieme (esclusi gli apici inversi esterni): Nel design originale di |
value |
Contiene una serializzazione Protobuf del tipo descritto da type_url. Una stringa con codifica in base64. |
EvaluationMetricsThresholds
| Rappresentazione JSON |
|---|
{ "goldenEvaluationMetricsThresholds": { object ( |
| Campi | |
|---|---|
goldenEvaluationMetricsThresholds |
Facoltativo. Le soglie delle metriche di valutazione secondo regole d'oro. |
hallucinationMetricBehavior |
Facoltativo. Ritirato: utilizza invece |
goldenHallucinationMetricBehavior |
Facoltativo. Il comportamento della metrica delle allucinazioni per le valutazioni golden. |
scenarioHallucinationMetricBehavior |
Facoltativo. Il comportamento della metrica delle allucinazioni per le valutazioni degli scenari. |
GoldenEvaluationMetricsThresholds
| Rappresentazione JSON |
|---|
{ "turnLevelMetricsThresholds": { object ( |
| Campi | |
|---|---|
turnLevelMetricsThresholds |
Facoltativo. Le soglie delle metriche a livello di turno. |
expectationLevelMetricsThresholds |
Facoltativo. Le soglie delle metriche a livello di aspettativa. |
toolMatchingSettings |
Facoltativo. Le impostazioni di corrispondenza dello strumento. Una chiamata allo strumento aggiuntiva è una chiamata allo strumento presente nell'esecuzione, ma che non corrisponde a nessuna chiamata allo strumento nell'aspettativa golden. |
ToolMatchingSettings
| Rappresentazione JSON |
|---|
{
"extraToolCallBehavior": enum ( |
| Campi | |
|---|---|
extraToolCallBehavior |
Facoltativo. Comportamento per le chiamate allo strumento aggiuntive. Il valore predefinito è FAIL. |
EvaluationConfig
| Rappresentazione JSON |
|---|
{ "inputAudioConfig": { object ( |
| Campi | |
|---|---|
inputAudioConfig |
Facoltativo. Configurazione per l'elaborazione dell'audio di input. |
outputAudioConfig |
Facoltativo. Configurazione per la generazione dell'audio di output. |
evaluationChannel |
Facoltativo. Il canale da valutare. |
toolCallBehaviour |
Facoltativo. Specifica se la valutazione deve utilizzare chiamate allo strumento reali o strumenti fittizi. |
InputAudioConfig
| Rappresentazione JSON |
|---|
{
"audioEncoding": enum ( |
| Campi | |
|---|---|
audioEncoding |
Obbligatorio. La codifica dei dati audio di input. |
sampleRateHertz |
Obbligatorio. La frequenza di campionamento (in hertz) dei dati audio di input. |
noiseSuppressionLevel |
Facoltativo. Se attivare l'eliminazione dei rumori nell'audio di input. I valori disponibili sono "low", "moderate", "high", "very_high". |
OutputAudioConfig
| Rappresentazione JSON |
|---|
{
"audioEncoding": enum ( |
| Campi | |
|---|---|
audioEncoding |
Obbligatorio. La codifica dei dati audio di output. |
sampleRateHertz |
Obbligatorio. La frequenza di campionamento (in hertz) dei dati audio di output. |
EvaluationMetricsConfig
| Rappresentazione JSON |
|---|
{ "goldenMetricsConfig": { object ( |
| Campi | |
|---|---|
goldenMetricsConfig |
Facoltativo. Configurazione delle metriche d'oro per la valutazione. |
scenarioMetricsConfig |
Facoltativo. Configurazione delle metriche dello scenario per la valutazione. |
GoldenMetricsConfig
| Rappresentazione JSON |
|---|
{ "semanticSimilarityMetricsConfig": { object ( |
| Campi | |
|---|---|
semanticSimilarityMetricsConfig |
Facoltativo. Configurazione globale per le metriche di somiglianza semantica. |
toolCorrectnessMetricsConfig |
Facoltativo. Configurazione per le metriche di correttezza dello strumento a livello di turno. |
stepToolCorrectnessMetricsConfig |
Facoltativo. Configurazione per le metriche di correttezza dello strumento a livello di passaggio. |
ToolCorrectnessMetricsConfig
| Rappresentazione JSON |
|---|
{ "enableToolCorrectnessMetrics": boolean } |
| Campi | |
|---|---|
enableToolCorrectnessMetrics |
Facoltativo. Indica se calcolare le metriche di correttezza dello strumento per la valutazione. |
ScenarioMetricsConfig
| Rappresentazione JSON |
|---|
{ "userGoalMetMetricsConfig": { object ( |
| Campi | |
|---|---|
userGoalMetMetricsConfig |
Facoltativo. Configurazione per le metriche relative agli obiettivi degli utenti raggiunti. |
expectationsMetMetricsConfig |
Facoltativo. Configurazione per le metriche a livello di aspettativa. |
UserGoalMetMetricsConfig
| Rappresentazione JSON |
|---|
{ "enableUserGoalMetMetrics": boolean } |
| Campi | |
|---|---|
enableUserGoalMetMetrics |
Facoltativo. Indica se calcolare le metriche relative al raggiungimento degli obiettivi degli utenti per la valutazione. |
ExpectationsMetMetricsConfig
| Rappresentazione JSON |
|---|
{ "enableExpectationsMetMetrics": boolean } |
| Campi | |
|---|---|
enableExpectationsMetMetrics |
Facoltativo. Indica se calcolare le metriche del livello di aspettativa per la valutazione. |
NullValue
Rappresenta un null JSON.
NullValue è un sentinel che utilizza un enum con un solo valore per rappresentare il valore null per l'unione di tipi Value.
Un campo di tipo NullValue con un valore diverso da 0 è considerato non valido. La maggior parte dei serializzatori ProtoJSON emetterà un Value con un null_value impostato come null JSON indipendentemente dal valore intero, quindi eseguirà un round trip a un valore 0.
| Enum | |
|---|---|
NULL_VALUE |
Valore null. |
RecordingControl
La decisione dell'app potrebbe essere registrata e inserita nei log.
Questo enum è estensibile; in futuro potrebbero essere aggiunti nuovi valori.
| Enum | |
|---|---|
RECORDING_CONTROL_UNSPECIFIED |
L'app non controlla la registrazione. Le impostazioni di logging dell'app decidono, come fanno per ogni sessione che non imposta mai questo campo. |
RECORDING_ENABLED |
Da questo momento in poi, la conversazione potrebbe essere registrata e archiviata. |
RECORDING_DISABLED |
Da questo momento in poi, la conversazione potrebbe non essere registrata o archiviata. |
ComparisonType
Tipi di confronto supportati per il controllo della risposta dell'agente.
| Enum | |
|---|---|
COMPARISON_TYPE_UNSPECIFIED |
Tipo di confronto non specificato. Il comportamento predefinito è SEMANTIC_SIMILARITY per le risposte dell'agente e le chiamate agli strumenti. |
EQUALS |
Corrispondenza esatta della stringa. |
CONTAINS |
Corrispondenza di sottostringa (controlla se la stringa prevista è contenuta nella risposta effettiva). |
SEMANTIC_SIMILARITY |
Corrispondenza di somiglianza semantica (valuta la somiglianza del significato utilizzando un LLM). |
SemanticSimilarityChannel
Canale di similarità semantica da utilizzare.
| Enum | |
|---|---|
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED |
Metrica non specificata. Il valore predefinito è TEXT. |
TEXT |
Utilizza la somiglianza semantica del testo. |
AUDIO |
Utilizza la somiglianza semantica dell'audio. |
HallucinationMetricBehavior
Il comportamento della metrica delle allucinazioni. Indipendentemente dal comportamento, la metrica verrà sempre calcolata. La differenza è che, se disattivata, la metrica non viene utilizzata per calcolare il punteggio di valutazione complessivo.
| Enum | |
|---|---|
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED |
Comportamento della metrica delle allucinazioni non specificato. |
DISABLED |
Disabilita la metrica delle allucinazioni. |
ENABLED |
Abilita la metrica delle allucinazioni. |
TaskCompletionBehavior
Il comportamento previsto dell'attività utente. Questo valore viene utilizzato per determinare se lo scenario ha esito positivo.
| Enum | |
|---|---|
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED |
Comportamento non specificato. Per impostazione predefinita, verrà utilizzato TASK_SATISFIED. |
TASK_SATISFIED |
L'attività utente deve essere completata correttamente. |
TASK_REJECTED |
L'attività dell'utente deve essere rifiutata. |
UserGoalBehavior
Il comportamento previsto dell'obiettivo dell'utente. Questo valore viene utilizzato per determinare se lo scenario ha esito positivo.
| Enum | |
|---|---|
USER_GOAL_BEHAVIOR_UNSPECIFIED |
Comportamento non specificato. Il valore predefinito è USER_GOAL_SATISFIED. |
USER_GOAL_SATISFIED |
L'obiettivo dell'utente deve essere completato correttamente. |
USER_GOAL_REJECTED |
L'obiettivo dell'utente deve essere rifiutato. |
USER_GOAL_IGNORED |
Ignora lo stato dell'obiettivo dell'utente. |
ScenarioExecutionMode
La modalità di esecuzione per le valutazioni degli scenari.
| Enum | |
|---|---|
SCENARIO_EXECUTION_MODE_UNSPECIFIED |
Modalità di esecuzione non specificata. Il valore predefinito è QUALITY_OPTIMIZED. |
QUALITY_OPTIMIZED |
Modalità ottimizzata per la qualità. |
SPEED_OPTIMIZED |
Modalità ottimizzata per la velocità. |
Risultato
Il risultato della valutazione o dell'aspettativa.
| Enum | |
|---|---|
OUTCOME_UNSPECIFIED |
Il risultato della valutazione non è specificato. |
PASS |
Valutazione/aspettativa superata. Nel caso di una valutazione, ciò significa che tutte le aspettative sono state soddisfatte. |
FAIL |
Valutazione/aspettativa non riuscita. Nel caso di una valutazione, ciò significa che almeno un'aspettativa non è stata soddisfatta. |
SKIPPED |
La valutazione/aspettativa è stata saltata. |
ErrorType
Il tipo di errore
| Enum | |
|---|---|
ERROR_TYPE_UNSPECIFIED |
Tipo di errore non specificato. |
RUNTIME_FAILURE |
Errore durante l'esecuzione del runtime. |
CONVERSATION_RETRIEVAL_FAILURE |
Impossibile recuperare la conversazione dal runtime CES. |
METRIC_CALCULATION_FAILURE |
Mancato calcolo di una metrica/un risultato. |
EVALUATION_UPDATE_FAILURE |
Impossibile aggiornare la valutazione. |
QUOTA_EXHAUSTED |
Quota esaurita. |
USER_SIMULATION_FAILURE |
Errore durante la simulazione utente. |
Tipo
Il tipo di intervallo. In futuro potrebbero essere aggiunti altri valori.
| Enum | |
|---|---|
TYPE_UNSPECIFIED |
Valore predefinito. Questo valore non viene utilizzato. |
TOOL |
Intervallo di chiamata allo strumento. |
USER_CALLBACK |
Intervallo di callback dell'utente. |
GUARDRAIL |
Intervallo di protezione. |
LLM |
Intervallo LLM. |
MilestoneStatus
Lo stato della tappa.
| Enum | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
Stato non specificato. |
NOT_STARTED |
La milestone non è ancora iniziata. |
IN_PROGRESS |
La milestone è attualmente in corso. |
COMPLETED |
La milestone è stata completata correttamente. |
BackgroundEnvironment
Ambiente audio simulato.
| Enum | |
|---|---|
BACKGROUND_ENVIRONMENT_UNSPECIFIED |
Ambiente di sfondo non specificato. |
CALL_CENTER |
Ambiente di call center. |
TRAFFIC |
Ambiente con rumore del traffico. |
KIDS_NOISE |
Ambiente rumoroso con bambini. |
CAFE |
Ambiente di un bar. |
ExecutionState
Lo stato dell'esecuzione del risultato della valutazione.
| Enum | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
Lo stato di esecuzione del risultato della valutazione non è specificato. |
QUEUED |
L'esecuzione del risultato della valutazione è in coda. |
RUNNING |
L'esecuzione del risultato della valutazione è in corso. |
COMPLETED |
L'esecuzione del risultato della valutazione è stata completata. |
ERROR |
Esecuzione del risultato della valutazione non riuscita a causa di un errore interno. |
CANCELLED |
L'esecuzione del risultato della valutazione è stata annullata. |
ExtraToolCallBehavior
Definisce il comportamento quando viene rilevata una chiamata allo strumento aggiuntiva. Una chiamata allo strumento aggiuntiva è una chiamata allo strumento presente nell'esecuzione, ma che non corrisponde a nessuna chiamata allo strumento nell'aspettativa golden.
| Enum | |
|---|---|
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED |
Comportamento non specificato. Il valore predefinito è FAIL. |
FAIL |
La valutazione non va a buon fine se viene rilevata una chiamata allo strumento aggiuntiva. |
ALLOW |
Consenti la chiamata allo strumento aggiuntiva. |
AudioEncoding
AudioEncoding specifica il formato di codifica per i dati audio.
| Enum | |
|---|---|
AUDIO_ENCODING_UNSPECIFIED |
Codifica audio non specificata. |
LINEAR16 |
Codifica audio PCM lineare a 16 bit. |
MULAW |
Campioni a 8 bit che comprimono campioni audio a 14 bit utilizzando G.711 PCMU/mu-law. |
ALAW |
Campioni a 8 bit che comprimono campioni audio a 14 bit utilizzando G.711 PCMU/A-law. |
EvaluationChannel
Il canale da valutare.
| Enum | |
|---|---|
EVALUATION_CHANNEL_UNSPECIFIED |
Canale di valutazione non specificato. |
TEXT |
Canale di valutazione solo testo. |
AUDIO |
Canale di valutazione audio. |
EvaluationToolCallBehaviour
Configura il comportamento della chiamata allo strumento per le esecuzioni della valutazione.
| Enum | |
|---|---|
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED |
Comportamento della chiamata allo strumento non specificato. Per impostazione predefinita, verranno utilizzate chiamate allo strumento reali. |
REAL |
Utilizza chiamate allo strumento reali. |
FAKE |
Utilizza chiamate allo strumento fittizie. |
GoldenRunMethod
Il metodo utilizzato per eseguire la valutazione.
| Enum | |
|---|---|
GOLDEN_RUN_METHOD_UNSPECIFIED |
Il metodo di esecuzione non è specificato. |
STABLE |
Esegui la valutazione come replay stabile, in cui ogni turno è una sessione univoca con i turni previsti precedenti inseriti come contesto. |
NAIVE |
Esegui la valutazione come riproduzione semplice, in cui l'esecuzione è una singola sessione senza contesto inserito. |
OutcomeMetadata
Metadati sull'esito della valutazione.
| Enum | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
Metadati dei risultati non specificati. |
GRACEFUL_HANDOFF |
La valutazione ha portato a un passaggio fluido a un rappresentante umano. |
Annotazioni dello strumento
Le annotazioni degli strumenti vengono inviate ai client MCP per descrivere il rischio di base di un determinato strumento. La maggior parte dei client considera questi suggerimenti non attendibili, ma possono essere utilizzati per decidere quando inviare una richiesta di conferma a un utente.
Oltre alla stringa del titolo, i seguenti suggerimenti booleani sono definiti come segue:
readOnlyHint: se true, lo strumento non modifica il suo ambiente. Valore predefinito: false.destructiveHint: se true, lo strumento può eseguire azioni distruttive. Se è false, lo strumento può eseguire solo azioni additive. Valore predefinito: true.idempotentHint: se true, la chiamata ripetuta dello strumento con gli stessi argomenti non avrà alcun effetto aggiuntivo sul suo ambiente. Valore predefinito: false.openWorldHint: se true, lo strumento può interagire con un "open world" di entità esterne. Se è false, lo strumento può interagire solo con entità interne. Ad esempio, uno strumento di ricerca web sarebbe open world, mentre uno strumento di memoria non lo sarebbe.
Suggerimento distruttivo: ❌ | Suggerimento idempotente: ✅ | Suggerimento di sola lettura: ✅ | Suggerimento open world: ❌