MCP Tools Reference: ces.googleapis.com

Strumento: list_evaluation_results

Elenca i risultati della valutazione.

Il seguente esempio di codice mostra come utilizzare curl per chiamare lo strumento MCP list_evaluation_results.

Richiesta curl 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "list_evaluation_results",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Schema di input

Messaggio di richiesta per EvaluationService.ListEvaluationResults.

ListEvaluationResultsRequest

Rappresentazione JSON 
{
  "parent": string,
  "pageSize": integer,
  "pageToken": string,
  "filter": string,
  "orderBy": string
}
Campi
parent

string

Obbligatorio. Il nome della risorsa della valutazione da cui elencare i risultati della valutazione. Per filtrare in base all'esecuzione della valutazione, utilizza - come ID valutazione e specifica l'ID esecuzione della valutazione nel filtro. Ad esempio: projects/{project}/locations/{location}/apps/{app}/evaluations/-
pageSize

integer

Facoltativo. Dimensioni della pagina richiesta. Il server potrebbe restituire meno elementi di quelli richiesti. Se non specificato, il server sceglierà un valore predefinito appropriato.
pageToken

string

Facoltativo. Il valore next_page_token restituito da una chiamata EvaluationService.ListEvaluationResults dell'elenco precedente.
filter

string

Facoltativo. Filtro da applicare quando vengono elencati i risultati della valutazione. Per maggiori dettagli, visita la pagina https://google.aip.dev/160.
orderBy

string

Facoltativo. Campo in base al quale ordinare. Sono supportati solo "name", "create_time" e "update_time". I campi relativi all'ora sono ordinati in ordine decrescente, mentre il campo del nome è ordinato in ordine crescente. Se non è incluso, il valore predefinito sarà "update_time". Per maggiori dettagli, consulta https://google.aip.dev/132#ordering.

Schema di output

Messaggio di risposta per EvaluationService.ListEvaluationResults.

ListEvaluationResultsResponse

Rappresentazione JSON 
{
  "evaluationResults": [
    {
      object (EvaluationResult)
    }
  ],
  "nextPageToken": string
}
Campi
evaluationResults[]

object (EvaluationResult)

L'elenco dei risultati della valutazione.
nextPageToken

string

Un token che può essere inviato come ListEvaluationResultsRequest.page_token per recuperare la pagina successiva. L'assenza di questo campo indica che non sono presenti pagine successive.

EvaluationResult

Rappresentazione JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Campi
name

string

Identificatore. L'identificatore univoco del risultato della valutazione. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Obbligatorio. Nome visualizzato del risultato della valutazione. Univoco all'interno di una valutazione. Per impostazione predefinita, ha il seguente formato: " result - ".
createTime

string (Timestamp format)

Solo output. Timestamp di creazione del risultato della valutazione.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

Solo output. Il risultato della valutazione. Compilato solo se execution_state è COMPLETE.
evaluationRun

string

Solo output. L'esecuzione della valutazione che ha prodotto questo risultato. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Solo output. La persona utilizzata per generare la conversazione per il risultato della valutazione.
errorInfo

object (EvaluationErrorInfo)

Solo output. Informazioni sull'errore per il risultato della valutazione.
error
(deprecated)

object (Status)

Solo output. Ritirato: utilizza invece error_info. Si sono verificati errori durante l'esecuzione.
initiatedBy

string

Solo output. L'utente che ha avviato l'esecuzione della valutazione che ha generato questo risultato.
appVersion

string

Solo output. La versione dell'app utilizzata per generare la conversazione che ha portato a questo risultato. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Solo output. Il nome visualizzato di app_version su cui è stata eseguita la valutazione.
changelog

string

Solo output. Il log delle modifiche della versione dell'app su cui è stata eseguita la valutazione. Questo campo viene compilato se l'utente esegue la valutazione sulla versione più recente/bozza.
changelogCreateTime

string (Timestamp format)

Solo output. L'ora di creazione del log delle modifiche della versione dell'app su cui è stata eseguita la valutazione. Questo campo viene compilato se l'utente esegue la valutazione sulla versione più recente/bozza.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

Solo output. Lo stato dell'esecuzione del risultato della valutazione.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Solo output. Le soglie di valutazione per il risultato.
config

object (EvaluationConfig)

Solo output. La configurazione utilizzata nell'esecuzione della valutazione che ha generato questo risultato.
goldenRunMethod

enum (GoldenRunMethod)

Solo output. Il metodo utilizzato per eseguire la valutazione golden.
rootSpan

object (Span)

Solo output. Lo span radice dell'esecuzione della valutazione, che include informazioni su ogni passaggio della valutazione.
outcomeMetadata

enum (OutcomeMetadata)

Solo output. I metadati dei risultati della valutazione. Compilato solo se execution_state è COMPLETE.
Campo unione result. Il risultato della valutazione. Compilato solo quando execution_state è COMPLETED. result può essere solo uno dei seguenti tipi:
goldenResult

object (GoldenResult)

Solo output. Il risultato di una valutazione golden.
scenarioResult

object (ScenarioResult)

Solo output. Il risultato della valutazione di uno scenario.

GoldenResult

Rappresentazione JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Campi
turnReplayResults[]

object (TurnReplayResult)

Solo output. Il risultato dell'esecuzione di ogni turno della conversazione golden.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Solo output. I risultati delle aspettative di valutazione.

TurnReplayResult

Rappresentazione JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Campi
conversation

string

Solo output. La conversazione generata per questo turno.
expectationOutcome[]

object (GoldenExpectationOutcome)

Solo output. Il risultato di ogni aspettativa.
hallucinationResult

object (HallucinationResult)

Solo output. Il risultato del controllo delle allucinazioni.
toolInvocationScore
(deprecated)

number

Solo output. Deprecato. Utilizza invece OverallToolInvocationResult.
turnLatency

string (Duration format)

Solo output. Durata della svolta.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Solo output. La latenza di ogni chiamata allo strumento nel turno.
semanticSimilarityResult

object (SemanticSimilarityResult)

Solo output. Il risultato del controllo della somiglianza semantica.
overallToolInvocationResult

object (OverallToolInvocationResult)

Solo output. Il risultato del controllo complessivo della chiamata dello strumento.
errorInfo

object (EvaluationErrorInfo)

Solo output. Informazioni sull'errore che si è verificato durante questo turno.
spanLatencies[]

object (SpanLatency)

Solo output. La latenza degli intervalli nel turno.

Campo unione _tool_ordered_invocation_score.

_tool_ordered_invocation_score può essere solo uno dei seguenti tipi:
toolOrderedInvocationScore

number

Solo output. Il punteggio complessivo della chiamata ordinata dello strumento per questo turno. Indica la percentuale complessiva di strumenti del turno previsto che sono stati effettivamente richiamati nell'ordine previsto.

GoldenExpectationOutcome

Rappresentazione JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
Campi
expectation

object (GoldenExpectation)

Solo output. L'aspettativa che è stata valutata.
outcome

enum (Outcome)

Solo output. Il risultato dell'aspettativa.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Solo output. Il risultato del controllo della somiglianza semantica.
toolInvocationResult

object (ToolInvocationResult)

Solo output. Il risultato del controllo della chiamata dello strumento.
Campo unione result. Il risultato dell'aspettativa. result può essere solo uno dei seguenti tipi:
observedToolCall

object (ToolCall)

Solo output. Il risultato dell'aspettativa della chiamata allo strumento.
observedToolResponse

object (ToolResponse)

Solo output. Il risultato dell'aspettativa della risposta dello strumento.
observedAgentResponse

object (Message)

Solo output. Il risultato dell'aspettativa di risposta dell'agente.
observedAgentTransfer

object (AgentTransfer)

Solo output. Il risultato dell'aspettativa di trasferimento dell'agente.
observedPayload

object (Struct format)

Solo output. Un payload personalizzato osservato. Non sono previste aspettative per i payload personalizzati. Questo valore viene utilizzato solo per il calcolo delle metriche. L'esito è sempre SKIPPED.

ToolCall

Rappresentazione JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campi
id

string

Facoltativo. L'identificatore univoco della chiamata allo strumento. Se compilato, il client deve restituire il risultato dell'esecuzione con l'ID corrispondenza in ToolResponse.
displayName

string

Solo output. Nome visualizzato dello strumento.
args

object (Struct format)

Facoltativo. I parametri e i valori di input per lo strumento in formato oggetto JSON.
parentToolCallId

string

Solo output. L'ID della chiamata allo strumento che ha causato questa chiamata, quando è stata emessa da un sub-agente che lavora per conto di una chiamata principale. Vuoto per le chiamate di primo livello. Consente a un client di raggruppare il lavoro di un sub-agente sotto la chiamata che lo ha avviato, anziché visualizzare ogni passaggio come elemento di pari livello.
agentName

string

Solo output. Nome leggibile dell'agente che ha emesso questa chiamata, ad esempio "Contract Architect". Vuoto quando è stato emesso dall'agente principale.
targetApp

string

Solo output. L'app a cui è destinata questa chiamata, derivata dall'assistente dagli argomenti della risorsa della chiamata: un nome della risorsa dell'app, PROJECT per gli strumenti con ambito di località o vuoto per gli strumenti locali della sessione. Impostato solo nelle sessioni dell'assistente con ambito di progetto.
Campo unione tool_identifier. L'identificatore dello strumento da eseguire. Potrebbe essere uno strumento persistente o uno strumento di un set di strumenti. tool_identifier può essere solo uno dei seguenti tipi:
tool

string

Facoltativo. Il nome dello strumento da eseguire. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Facoltativo. Lo strumento del set di strumenti da eseguire.

ToolsetTool

Rappresentazione JSON 
{
  "toolset": string,
  "toolId": string
}
Campi
toolset

string

Obbligatorio. Il nome della risorsa del set di strumenti da cui deriva questo strumento. Formato: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Facoltativo. L'ID dello strumento per filtrare gli strumenti per cui recuperare lo schema.

Struct

Rappresentazione JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Campi
fields

map (key: string, value: value (Value format))

Mappa non ordinata di valori con tipo dinamico.

Un oggetto contenente un elenco di coppie "key": value. Esempio: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Rappresentazione JSON 
{
  "key": string,
  "value": value
}
Campi
key

string
value

value (Value format)

Valore

Rappresentazione JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Campi
Campo unione kind. Il tipo di valore. kind può essere solo uno dei seguenti tipi:
nullValue

null

Rappresenta un null JSON.
numberValue

number

Rappresenta un numero JSON. Non deve essere NaN, Infinity o -Infinity, poiché questi valori non sono supportati in JSON. Inoltre, non può rappresentare valori Int64 di grandi dimensioni, poiché il formato JSON in genere non li supporta nel tipo di numero.
stringValue

string

Rappresenta una stringa JSON.
boolValue

boolean

Rappresentano un valore booleano JSON (valore letterale true o false in JSON).
structValue

object (Struct format)

Rappresenta un oggetto JSON.
listValue

array (ListValue format)

Rappresenta un array JSON.

ListValue

Rappresentazione JSON 
{
  "values": [
    value
  ]
}
Campi
values[]

value (Value format)

Campo ripetuto di valori con tipo dinamico.

ToolResponse

Rappresentazione JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campi
id

string

Facoltativo. L'ID corrispondenza della tool call a cui si riferisce la risposta.
displayName

string

Solo output. Nome visualizzato dello strumento.
response

object (Struct format)

Obbligatorio. Il risultato dell'esecuzione dello strumento in formato oggetto JSON. Utilizza la chiave "output" per specificare la risposta dello strumento e la chiave "error" per specificare i dettagli dell'errore (se presenti). Se le chiavi "output" ed "error" non sono specificate, l'intera "response" viene trattata come risultato dell'esecuzione dello strumento.
parentToolCallId

string

Solo output. L'ID della chiamata allo strumento che ha causato questa chiamata, quando è stata emessa da un sub-agente che lavora per conto di una chiamata principale. Vuoto per le chiamate di primo livello. Consente a un client di raggruppare il lavoro di un sub-agente sotto la chiamata che lo ha avviato, anziché visualizzare ogni passaggio come elemento di pari livello.
agentName

string

Solo output. Nome leggibile dell'agente che ha emesso questa chiamata, ad esempio "Contract Architect". Vuoto quando è stato emesso dall'agente principale.
targetApp

string

Solo output. L'app scelta come target dallo strumento eseguito; rispecchia ToolCall.target_app.
Campo unione tool_identifier. L'identificatore dello strumento eseguito. Potrebbe essere uno strumento persistente o uno strumento di un set di strumenti. tool_identifier può essere solo uno dei seguenti tipi:
tool

string

Facoltativo. Il nome dello strumento da eseguire. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Facoltativo. Lo strumento del set di strumenti che è stato eseguito.

Messaggio

Rappresentazione JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Campi
role

string

Facoltativo. Il ruolo all'interno della conversazione, ad esempio utente, agente.
chunks[]

object (Chunk)

Facoltativo. Contenuto del messaggio sotto forma di serie di blocchi.
eventTime

string (Timestamp format)

Facoltativo. Timestamp di invio o ricezione del messaggio. Non deve essere utilizzato se il messaggio fa parte di un example.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

Chunk

Rappresentazione JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Campi
Campo unione data. Dati in blocchi. data può essere solo uno dei seguenti tipi:
text

string

Facoltativo. Dati di testo.
transcript

string

Facoltativo. Trascrizione associata all'audio.
blob

object (Blob)

Facoltativo. Dati blob.
payload

object (Struct format)

Facoltativo. Dati di payload personalizzati.
image

object (Image)

Facoltativo. Dati immagine.
toolCall

object (ToolCall)

Facoltativo. Richiesta di esecuzione dello strumento.
toolResponse

object (ToolResponse)

Facoltativo. Risposta dell'esecuzione dello strumento.
agentTransfer

object (AgentTransfer)

Facoltativo. Evento di trasferimento dell'agente.
updatedVariables

object (Struct format)

Uno struct rappresenta le variabili aggiornate nella conversazione, con i nomi delle variabili come chiavi.
defaultVariables

object (Struct format)

Una struttura rappresenta le variabili predefinite all'inizio della conversazione, con i nomi delle variabili come chiavi.

Blob

Rappresentazione JSON 
{
  "mimeType": string,
  "data": string
}
Campi
mimeType

string

Obbligatorio. Il tipo MIME standard IANA dei dati di origine.
data

string (bytes format)

Obbligatorio. Byte non elaborati del blob.

Una stringa con codifica in base64.

Immagine

Rappresentazione JSON 
{
  "mimeType": string,
  "data": string,
  "altText": string
}
Campi
mimeType

string

Obbligatorio. Il tipo MIME standard IANA dei dati di origine. I tipi di immagini supportati includono: * image/png * image/jpeg * image/webp
data

string (bytes format)

Obbligatorio. Byte non elaborati dell'immagine.

Una stringa con codifica in base64.
altText

string

Facoltativo. Il testo alternativo dell'immagine.

AgentTransfer

Rappresentazione JSON 
{
  "targetAgent": string,
  "displayName": string
}
Campi
targetAgent

string

Obbligatorio. L'agente a cui viene trasferita la conversazione. L'agente gestirà la conversazione da questo momento in poi. Formato: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Solo output. Nome visualizzato dell'agente.

Timestamp

Rappresentazione JSON 
{
  "seconds": string,
  "nanos": integer
}
Campi
seconds

string (int64 format)

Rappresenta i secondi dell'ora UTC dall'epoca di Unix 1970-01-01T00:00:00Z. Deve essere compreso tra -62135596800 e 253402300799 inclusi (che corrispondono a un intervallo compreso tra 0001-01-01T00:00:00Z e 9999-12-31T23:59:59Z).
nanos

integer

Frazioni di secondo non negative con risoluzione in nanosecondi. Questo campo è la parte in nanosecondi della durata, non un'alternativa ai secondi. I valori dei secondi negativi con frazioni devono comunque avere valori di nanosecondi non negativi che avanzano nel tempo. Deve essere un valore compreso tra 0 e 999.999.999 inclusi.

GoldenExpectation

Rappresentazione JSON 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
Campi
note

string

Facoltativo. Una nota per questo requisito, utile per i report quando controlli specifici non vanno a buon fine. Ad esempio, "Check_Payment_Tool_Called".
skipEvaluation

boolean

Facoltativo. Se impostata su true, questa aspettativa specifica non verrà valutata.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

Facoltativo. Esegue l'override delle metriche a livello di passaggio.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

Facoltativo. Override per le metriche di similarità semantica di agent_response.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

Facoltativo. Override per le metriche di allucinazione di agent_response.
comparisonType

enum (ComparisonType)

Facoltativo. Il tipo di confronto da utilizzare per il controllo delle aspettative.
Campo unione condition. Il controllo effettivo da eseguire. condition può essere solo uno dei seguenti tipi:
toolCall

object (ToolCall)

Facoltativo. Verifica che uno strumento specifico sia stato chiamato con i parametri.
toolResponse

object (ToolResponse)

Facoltativo. Verifica che uno strumento specifico abbia fornito la risposta prevista.
agentResponse

object (Message)

Facoltativo. Verifica che l'agente abbia risposto con la risposta corretta. Il ruolo "agent" è implicito.
agentTransfer

object (AgentTransfer)

Facoltativo. Verifica che l'agente abbia trasferito la conversazione a un altro agente.
updatedVariables

object (Struct format)

Facoltativo. Verifica che l'agente abbia aggiornato le variabili di sessione ai valori previsti. Utilizzato anche per acquisire gli aggiornamenti delle variabili dell'agente per le valutazioni d'oro.
mockToolResponse

object (ToolResponse)

Facoltativo. La risposta dello strumento da simulare, con i parametri di interesse specificati. Eventuali parametri non specificati verranno allucinati dall'LLM.
noToolCalls

boolean

Facoltativo. Verifica che non siano stati chiamati strumenti durante questo turno.

ExpectationLevelMetricsThresholds

Rappresentazione JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Campi

Campo unione _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold può essere solo uno dei seguenti tipi:
toolInvocationParameterCorrectnessThreshold

number

Facoltativo. La soglia di successo per la correttezza dei singoli parametri di chiamata dello strumento. Deve essere un numero in virgola mobile compreso tra 0 e 1. Il valore predefinito è 1.0.

SemanticSimilarityMetricsConfig

Rappresentazione JSON 
{
  "enableSemanticSimilarityMetrics": boolean
}
Campi
enableSemanticSimilarityMetrics

boolean

Facoltativo. Indica se calcolare le metriche di somiglianza semantica per la valutazione.

HallucinationMetricsConfig

Rappresentazione JSON 
{
  "enableHallucinationMetrics": boolean
}
Campi
enableHallucinationMetrics

boolean

Facoltativo. Indica se calcolare le metriche delle allucinazioni per la valutazione.

SemanticSimilarityResult

Rappresentazione JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campi
label

string

Solo output. L'etichetta associata a ogni punteggio. Punteggio 4: completamente coerente Punteggio 3: per lo più coerente Punteggio 2: parzialmente coerente (omissioni minori) Punteggio 1: ampiamente incoerente (omissioni maggiori) Punteggio 0: completamente incoerente/contraddittorio
explanation

string

Solo output. La spiegazione del punteggio di somiglianza semantica.
outcome

enum (Outcome)

Solo output. Il risultato del controllo della somiglianza semantica. Questo viene determinato confrontando il punteggio con semantic_similarity_success_threshold. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL.

Campo unione _score.

_score può essere solo uno dei seguenti tipi:
score

integer

Solo output. Il punteggio di somiglianza semantica. Può essere 0, 1, 2, 3 o 4.

ToolInvocationResult

Rappresentazione JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Campi
outcome

enum (Outcome)

Solo output. Il risultato del controllo della chiamata dello strumento. Questo viene determinato confrontando il valore di parameter_correctness_score con la soglia. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL.
explanation

string

Solo output. Una spiegazione in formato libero del risultato della chiamata dello strumento.

Campo unione _parameter_correctness_score.

_parameter_correctness_score può essere solo uno dei seguenti tipi:
parameterCorrectnessScore

number

Solo output. Il punteggio di correttezza dei parametri di chiamata dello strumento. Indica la percentuale di parametri della chiamata allo strumento prevista che erano presenti anche nella chiamata allo strumento effettiva.

HallucinationResult

Rappresentazione JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campi
label

string

Solo output. L'etichetta associata a ogni punteggio. Punteggio 1: giustificato Punteggio 0: non giustificato Punteggio -1: nessuna affermazione da valutare
explanation

string

Solo output. La spiegazione del punteggio di allucinazione.

Campo unione _score.

_score può essere solo uno dei seguenti tipi:
score

integer

Solo output. Il punteggio di allucinazione. Può essere -1, 0, 1.

Durata

Rappresentazione JSON 
{
  "seconds": string,
  "nanos": integer
}
Campi
seconds

string (int64 format)

Secondi con segno dell'intervallo di tempo. Deve essere compreso tra -315.576.000.000 e +315.576.000.000 inclusi. Nota: questi limiti sono calcolati da: 60 sec/min * 60 min/ora * 24 ore/giorno * 365,25 giorni/anno * 10.000 anni
nanos

integer

Frazioni di secondo con segno con risoluzione in nanosecondi dell'intervallo di tempo. Le durate inferiori a un secondo sono rappresentate con un campo seconds pari a 0 e un campo nanos positivo o negativo. Per durate di un secondo o più, un valore diverso da zero per il campo nanos deve avere lo stesso segno del campo seconds. Deve essere compreso tra -999.999.999 e +999.999.999 inclusi.

ToolCallLatency

Rappresentazione JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Campi
tool

string

Solo output. Il nome dello strumento eseguito. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Solo output. Il nome visualizzato dello strumento.
startTime

string (Timestamp format)

Solo output. L'ora di inizio dell'esecuzione della chiamata allo strumento.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Solo output. L'ora di fine dell'esecuzione della chiamata allo strumento.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Solo output. La latenza dell'esecuzione della chiamata allo strumento.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".

OverallToolInvocationResult

Rappresentazione JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Campi
outcome

enum (Outcome)

Solo output. Il risultato del controllo della chiamata dello strumento. Questo viene determinato confrontando tool_invocation_score con overall_tool_invocation_correctness_threshold. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL.

Campo unione _tool_invocation_score.

_tool_invocation_score può essere solo uno dei seguenti tipi:
toolInvocationScore

number

Il punteggio complessivo della chiamata dello strumento per questo turno. Indica la percentuale complessiva di strumenti del turno previsto che sono stati effettivamente richiamati.

EvaluationErrorInfo

Rappresentazione JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
Campi
errorType

enum (ErrorType)

Solo output. Il tipo di errore.
errorMessage

string

Solo output. Il messaggio di errore.
sessionId

string

Solo output. L'ID sessione della conversazione che ha causato l'errore.
userFacingErrorMessage

string

Solo output. Il messaggio di errore rivolto agli utenti.

SpanLatency

Rappresentazione JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Campi
type

enum (Type)

Solo output. Il tipo di intervallo.
displayName

string

Solo output. Il nome visualizzato dello span. Applicabile agli intervalli di strumenti e guardrail.
startTime

string (Timestamp format)

Solo output. L'ora di inizio dello span.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Solo output. L'ora di fine dell'intervallo.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Solo output. La latenza dello span.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".
Campo unione identifier. L'identificatore dell'elemento specifico in base al tipo. identifier può essere solo uno dei seguenti tipi:
resource

string

Solo output. Il nome della risorsa degli span di guardrail o strumenti.
toolset

object (ToolsetTool)

Solo output. L'identificatore dello strumento del set di strumenti.
model

string

Solo output. Il nome dello span LLM.
callback

string

Solo output. Il nome dell'intervallo di callback dell'utente.

EvaluationExpectationResult

Rappresentazione JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Campi
evaluationExpectation

string

Solo output. L'aspettativa di valutazione. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Solo output. Il prompt utilizzato per la valutazione.
outcome

enum (Outcome)

Solo output. Il risultato dell'aspettativa di valutazione.
explanation

string

Solo output. La spiegazione del risultato.

ScenarioResult

Rappresentazione JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (MilestoneResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Campi
conversation

string

Solo output. La conversazione generata nello scenario.
task

string

Solo output. L'attività utilizzata durante l'esecuzione dello scenario per questo risultato.
userFacts[]

object (UserFact)

Solo output. I dati dell'utente utilizzati dallo scenario per questo risultato.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Solo output. Il risultato di ogni aspettativa.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Solo output. Il risultato della griglia.
hallucinationResult[]

object (HallucinationResult)

Solo output. Il risultato del controllo delle allucinazioni. Verrà visualizzato un risultato di allucinazione per ogni turno della conversazione.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Solo output. Il risultato del controllo di completamento dell'attività.
toolCallLatencies[]

object (ToolCallLatency)

Solo output. La latenza di ogni esecuzione di chiamata allo strumento nella conversazione.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Solo output. Il risultato del controllo della soddisfazione degli obiettivi dell'utente.
spanLatencies[]

object (SpanLatency)

Solo output. La latenza degli intervalli nella conversazione.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Solo output. I risultati delle aspettative di valutazione.
milestoneResults[]

object (MilestoneResult)

Solo output. I risultati di ogni milestone nello scenario.

Campo unione _all_expectations_satisfied.

_all_expectations_satisfied può essere solo uno dei seguenti tipi:
allExpectationsSatisfied

boolean

Solo output. Indica se tutte le aspettative sono state soddisfatte per questo turno.

Campo unione _task_completed.

_task_completed può essere solo uno dei seguenti tipi:
taskCompleted

boolean

Solo output. Se l'attività è stata completata per questo turno. Si tratta di una combinazione di tutte le aspettative soddisfatte, nessuna allucinazione e soddisfazione degli obiettivi dell'utente.

UserFact

Rappresentazione JSON 
{
  "name": string,
  "value": string
}
Campi
name

string

Obbligatorio. Il nome del fatto utente.
value

string

Obbligatorio. Il valore del fatto relativo all'utente.

ScenarioExpectationOutcome

Rappresentazione JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Campi
expectation

object (ScenarioExpectation)

Solo output. L'aspettativa che è stata valutata.
outcome

enum (Outcome)

Solo output. Il risultato di ScenarioExpectation.
Campo unione result. Il risultato dell'aspettativa. result può essere solo uno dei seguenti tipi:
observedToolCall

object (ObservedToolCall)

Solo output. La chiamata allo strumento osservata.
observedAgentResponse

object (Message)

Solo output. La risposta dell'agente osservata.

ObservedToolCall

Rappresentazione JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Campi
toolCall

object (ToolCall)

Solo output. La chiamata allo strumento osservata.
toolResponse

object (ToolResponse)

Solo output. La risposta dello strumento osservata.

ScenarioExpectation

Rappresentazione JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Campi
Campo unione expectation. L'aspettativa per valutare la conversazione prodotta dalla simulazione. expectation può essere solo uno dei seguenti tipi:
toolExpectation

object (ToolExpectation)

Facoltativo. La coppia di chiamata allo strumento e risposta da valutare.
agentResponse

object (Message)

Facoltativo. La risposta dell'agente da valutare.

ToolExpectation

Rappresentazione JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Campi
expectedToolCall

object (ToolCall)

Obbligatorio. La chiamata allo strumento prevista, con i parametri di interesse specificati. Eventuali parametri non specificati verranno allucinati dall'LLM.
mockToolResponse

object (ToolResponse)

Obbligatorio. La risposta dello strumento da simulare, con i parametri di interesse specificati. Eventuali parametri non specificati verranno allucinati dall'LLM.

ScenarioRubricOutcome

Rappresentazione JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Campi
rubric

string

Solo output. La griglia utilizzata per valutare la conversazione.
scoreExplanation

string

Solo output. La risposta del valutatore alla griglia.

Campo unione _score.

_score può essere solo uno dei seguenti tipi:
score

number

Solo output. Il punteggio della conversazione rispetto alla griglia.

TaskCompletionResult

Rappresentazione JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campi
label

string

Solo output. L'etichetta associata a ogni punteggio. Punteggio 1: attività completata Punteggio 0: attività non completata Punteggio -1: obiettivo dell'utente non definito
explanation

string

Solo output. La spiegazione del punteggio di completamento dell'attività.

Campo unione _score.

_score può essere solo uno dei seguenti tipi:
score

integer

Solo output. Il punteggio di completamento dell'attività. Può essere -1, 0, 1

UserGoalSatisfactionResult

Rappresentazione JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campi
label

string

Solo output. L'etichetta associata a ogni punteggio. Punteggio 2: passaggio di consegne fluido Punteggio 1: attività dell'utente soddisfatta Punteggio 0: attività dell'utente non soddisfatta Punteggio -1: attività dell'utente non specificata
explanation

string

Solo output. La spiegazione del punteggio di soddisfazione dell'utente per l'attività.

Campo unione _score.

_score può essere solo uno dei seguenti tipi:
score

integer

Solo output. Il punteggio di soddisfazione dell'utente per l'attività. Può essere -1, 0, 1, 2.

MilestoneResult

Rappresentazione JSON 
{
  "milestone": {
    object (Milestone)
  },
  "status": enum (MilestoneStatus),
  "justification": string
}
Campi
milestone

object (Milestone)

Solo output. Il traguardo monitorato.
status

enum (MilestoneStatus)

Solo output. Lo stato attuale del traguardo.
justification

string

Solo output. La motivazione dello stato attuale.

Obiettivo

Rappresentazione JSON 
{
  "goal": string,
  "maxTurnCount": integer,
  "successCriteria": string,
  "protocol": string,
  "staticUtterance": string,
  "event": {
    object (Event)
  }
}
Campi
goal

string

Obbligatorio. L'obiettivo del traguardo.
maxTurnCount

integer

Facoltativo. Il numero massimo di turni per questo traguardo.
successCriteria

string

Facoltativo. I criteri di successo della milestone.
protocol

string

Facoltativo. Le linee guida che l'agente deve seguire durante la conversazione.
staticUtterance

string

Facoltativo. Un enunciato statico che il simulatore invierà esattamente, anziché generare dinamicamente l'input utente'utente.
event

object (Event)

Facoltativo. Un input di evento da inviare anziché la generazione dinamica.

Evento

Rappresentazione JSON 
{
  "event": string,
  "variables": {
    object
  }
}
Campi
event

string

Obbligatorio. Il nome dell'evento.
variables

object (Struct format)

Facoltativo. Variabili aggiuntive associate all'evento.

EvaluationPersona

Rappresentazione JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Campi
name

string

Obbligatorio. L'identificatore univoco della persona. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Facoltativo. La descrizione della persona.
displayName

string

Obbligatorio. Il nome visualizzato della persona. Univoco all'interno di un'app.
personality

string

Obbligatorio. Un'istruzione per l'agente su come comportarsi nella valutazione.
speechConfig

object (SpeechConfig)

Facoltativo. Configurazione del suono della persona (impostazioni TTS).

SpeechConfig

Rappresentazione JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Campi
speakingRate

number

Facoltativo. La velocità del parlato. 1,0 è normale. Un valore più basso indica una velocità inferiore (ad es. 0,8), mentre un valore più alto indica una velocità superiore (ad es. 1,5). Utile per testare il modo in cui l'agente gestisce le persone che parlano velocemente.
environment

enum (BackgroundEnvironment)

Facoltativo. L'ambiente audio simulato.
voiceId

string

Facoltativo. L'identificatore/accento della voce specifico da utilizzare. Esempio: "en-US-Wavenet-D" o "en-GB-Standard-A"

Stato

Rappresentazione JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Campi
code

integer

Il codice di stato, che deve essere un valore enum di google.rpc.Code.
message

string

Un messaggio di errore rivolto agli sviluppatori, che deve essere in inglese. Qualsiasi messaggio di errore rivolto agli utenti deve essere localizzato e inviato nel campo google.rpc.Status.details o localizzato dal client.
details[]

object

Un elenco di messaggi contenenti i dettagli dell'errore. Esiste un insieme comune di tipi di messaggi da utilizzare per le API.

Un oggetto contenente campi di tipo arbitrario. Un campo aggiuntivo "@type" contenente un URI che identifica il tipo. Esempio: { "id": 1234, "@type": "types.example.com/standard/id" }.

Qualsiasi

Rappresentazione JSON 
{
  "typeUrl": string,
  "value": string
}
Campi
typeUrl

string

Identifica il tipo di messaggio Protobuf serializzato con un riferimento URI costituito da un prefisso che termina con una barra e dal nome del tipo completo.

Esempio: type.googleapis.com/google.protobuf.StringValue

Questa stringa deve contenere almeno un carattere / e il contenuto dopo l'ultimo / deve essere il nome completo del tipo in formato canonico, senza un punto iniziale. Non scrivere uno schema su questi riferimenti URI in modo che i client non tentino di contattarli.

Il prefisso è arbitrario e le implementazioni di Protobuf dovrebbero semplicemente rimuovere tutto fino all'ultimo / incluso per identificare il tipo. type.googleapis.com/ è un prefisso predefinito comune richiesto da alcune implementazioni legacy. Questo prefisso non indica l'origine del tipo e non è previsto che gli URI che lo contengono rispondano alle richieste.

Tutte le stringhe URL del tipo devono essere riferimenti URI validi con l'ulteriore limitazione (per il formato di testo) che i contenuti del riferimento devono essere costituiti solo da caratteri alfanumerici, escape con codifica percentuale e caratteri nel seguente insieme (esclusi gli apici inversi esterni): /-.~_!$&()*+,;=. Sebbene consentiamo le codifiche percentuali, le implementazioni non devono rimuovere l'escape per evitare confusione con i parser esistenti. Ad esempio, type.googleapis.com%2FFoo deve essere rifiutato.

Nel design originale di Any, è stata presa in considerazione la possibilità di lanciare un servizio di risoluzione dei tipi in questi URL di tipo, ma Protobuf non ne ha mai implementato uno e considera problematico contattare questi URL, oltre che un potenziale problema di sicurezza. Non tentare di contattare gli URL dei tipi.
value

string (bytes format)

Contiene una serializzazione Protobuf del tipo descritto da type_url.

Una stringa con codifica in base64.

EvaluationMetricsThresholds

Rappresentazione JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Campi
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Facoltativo. Le soglie delle metriche di valutazione secondo regole d'oro.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Facoltativo. Ritirato: utilizza invece golden_hallucination_metric_behavior. Il comportamento della metrica delle allucinazioni è attualmente utilizzato per le valutazioni golden.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Facoltativo. Il comportamento della metrica delle allucinazioni per le valutazioni golden.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Facoltativo. Il comportamento della metrica delle allucinazioni per le valutazioni degli scenari.

GoldenEvaluationMetricsThresholds

Rappresentazione JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Campi
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Facoltativo. Le soglie delle metriche a livello di turno.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Facoltativo. Le soglie delle metriche a livello di aspettativa.
toolMatchingSettings

object (ToolMatchingSettings)

Facoltativo. Le impostazioni di corrispondenza dello strumento. Una chiamata allo strumento aggiuntiva è una chiamata allo strumento presente nell'esecuzione, ma che non corrisponde a nessuna chiamata allo strumento nell'aspettativa golden.

TurnLevelMetricsThresholds

Rappresentazione JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Campi
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Facoltativo. Il canale di somiglianza semantica da utilizzare per la valutazione.

Campo unione _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold può essere solo uno dei seguenti tipi:
semanticSimilaritySuccessThreshold

integer

Facoltativo. La soglia di successo per la somiglianza semantica. Deve essere un numero intero compreso tra 0 e 4. Il valore predefinito è >= 3.

Campo unione _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold può essere solo uno dei seguenti tipi:
overallToolInvocationCorrectnessThreshold

number

Facoltativo. La soglia di successo per la correttezza complessiva della chiamata dello strumento. Deve essere un numero in virgola mobile compreso tra 0 e 1. Il valore predefinito è 1.0.

ToolMatchingSettings

Rappresentazione JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Campi
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Facoltativo. Comportamento per le chiamate allo strumento aggiuntive. Il valore predefinito è FAIL.

EvaluationConfig

Rappresentazione JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Campi
inputAudioConfig

object (InputAudioConfig)

Facoltativo. Configurazione per l'elaborazione dell'audio di input.
outputAudioConfig

object (OutputAudioConfig)

Facoltativo. Configurazione per la generazione dell'audio di output.
evaluationChannel

enum (EvaluationChannel)

Facoltativo. Il canale da valutare.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Facoltativo. Specifica se la valutazione deve utilizzare chiamate allo strumento reali o strumenti fittizi.

InputAudioConfig

Rappresentazione JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Campi
audioEncoding

enum (AudioEncoding)

Obbligatorio. La codifica dei dati audio di input.
sampleRateHertz

integer

Obbligatorio. La frequenza di campionamento (in hertz) dei dati audio di input.
noiseSuppressionLevel

string

Facoltativo. Se attivare l'eliminazione dei rumori nell'audio di input. I valori disponibili sono "low", "moderate", "high", "very_high".

OutputAudioConfig

Rappresentazione JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Campi
audioEncoding

enum (AudioEncoding)

Obbligatorio. La codifica dei dati audio di output.
sampleRateHertz

integer

Obbligatorio. La frequenza di campionamento (in hertz) dei dati audio di output.

Intervallo

Rappresentazione JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Campi
name

string

Solo output. Il nome dello span.
startTime

string (Timestamp format)

Solo output. L'ora di inizio dello span.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Solo output. L'ora di fine dell'intervallo.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

Solo output. La durata dello span.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".
attributes

object (Struct format)

Solo output. Attributi coppia chiave-valore associati allo span.
childSpans[]

object (Span)

Solo output. Gli intervalli secondari nidificati in questo intervallo.

NullValue

Rappresenta un null JSON.

NullValue è un sentinel che utilizza un enum con un solo valore per rappresentare il valore null per l'unione di tipi Value.

Un campo di tipo NullValue con un valore diverso da 0 è considerato non valido. La maggior parte dei serializzatori ProtoJSON emetterà un Value con un null_value impostato come null JSON indipendentemente dal valore intero, quindi eseguirà un round trip a un valore 0.

Enum
NULL_VALUE Valore null.

ComparisonType

Tipi di confronto supportati per il controllo della risposta dell'agente.

Enum
COMPARISON_TYPE_UNSPECIFIED Tipo di confronto non specificato. Il comportamento predefinito è SEMANTIC_SIMILARITY per le risposte dell'agente e le chiamate agli strumenti.
EQUALS Corrispondenza esatta della stringa.
CONTAINS Corrispondenza di sottostringa (controlla se la stringa prevista è contenuta nella risposta effettiva).
SEMANTIC_SIMILARITY Corrispondenza di somiglianza semantica (valuta la somiglianza del significato utilizzando un LLM).

Risultato

Il risultato della valutazione o dell'aspettativa.

Enum
OUTCOME_UNSPECIFIED Il risultato della valutazione non è specificato.
PASS Valutazione/aspettativa superata. Nel caso di una valutazione, ciò significa che tutte le aspettative sono state soddisfatte.
FAIL Valutazione/aspettativa non riuscita. Nel caso di una valutazione, ciò significa che almeno un'aspettativa non è stata soddisfatta.
SKIPPED La valutazione/aspettativa è stata saltata.

ErrorType

Il tipo di errore

Enum
ERROR_TYPE_UNSPECIFIED Tipo di errore non specificato.
RUNTIME_FAILURE Errore durante l'esecuzione del runtime.
CONVERSATION_RETRIEVAL_FAILURE Impossibile recuperare la conversazione dal runtime CES.
METRIC_CALCULATION_FAILURE Mancato calcolo di una metrica/un risultato.
EVALUATION_UPDATE_FAILURE Impossibile aggiornare la valutazione.
QUOTA_EXHAUSTED Quota esaurita.
USER_SIMULATION_FAILURE Errore durante la simulazione utente.

Tipo

Il tipo di intervallo. In futuro potrebbero essere aggiunti altri valori.

Enum
TYPE_UNSPECIFIED Valore predefinito. Questo valore non viene utilizzato.
TOOL Intervallo di chiamata allo strumento.
USER_CALLBACK Intervallo di callback dell'utente.
GUARDRAIL Intervallo di protezione.
LLM Intervallo LLM.

MilestoneStatus

Lo stato della tappa.

Enum
MILESTONE_STATUS_UNSPECIFIED Stato non specificato.
NOT_STARTED La milestone non è ancora iniziata.
IN_PROGRESS La milestone è attualmente in corso.
COMPLETED La milestone è stata completata correttamente.

BackgroundEnvironment

Ambiente audio simulato.

Enum
BACKGROUND_ENVIRONMENT_UNSPECIFIED Ambiente di sfondo non specificato.
CALL_CENTER Ambiente di call center.
TRAFFIC Ambiente con rumore del traffico.
KIDS_NOISE Ambiente rumoroso con bambini.
CAFE Ambiente di un bar.

ExecutionState

Lo stato dell'esecuzione del risultato della valutazione.

Enum
EXECUTION_STATE_UNSPECIFIED Lo stato di esecuzione del risultato della valutazione non è specificato.
QUEUED L'esecuzione del risultato della valutazione è in coda.
RUNNING L'esecuzione del risultato della valutazione è in corso.
COMPLETED L'esecuzione del risultato della valutazione è stata completata.
ERROR Esecuzione del risultato della valutazione non riuscita a causa di un errore interno.
CANCELLED L'esecuzione del risultato della valutazione è stata annullata.

SemanticSimilarityChannel

Canale di similarità semantica da utilizzare.

Enum
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED Metrica non specificata. Il valore predefinito è TEXT.
TEXT Utilizza la somiglianza semantica del testo.
AUDIO Utilizza la somiglianza semantica dell'audio.

ExtraToolCallBehavior

Definisce il comportamento quando viene rilevata una chiamata allo strumento aggiuntiva. Una chiamata allo strumento aggiuntiva è una chiamata allo strumento presente nell'esecuzione, ma che non corrisponde a nessuna chiamata allo strumento nell'aspettativa golden.

Enum
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED Comportamento non specificato. Il valore predefinito è FAIL.
FAIL La valutazione non va a buon fine se viene rilevata una chiamata allo strumento aggiuntiva.
ALLOW Consenti la chiamata allo strumento aggiuntiva.

HallucinationMetricBehavior

Il comportamento della metrica delle allucinazioni. Indipendentemente dal comportamento, la metrica verrà sempre calcolata. La differenza è che, se disattivata, la metrica non viene utilizzata per calcolare il punteggio di valutazione complessivo.

Enum
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED Comportamento della metrica delle allucinazioni non specificato.
DISABLED Disabilita la metrica delle allucinazioni.
ENABLED Abilita la metrica delle allucinazioni.

AudioEncoding

AudioEncoding specifica il formato di codifica per i dati audio.

Enum
AUDIO_ENCODING_UNSPECIFIED Codifica audio non specificata.
LINEAR16 Codifica audio PCM lineare a 16 bit.
MULAW Campioni a 8 bit che comprimono campioni audio a 14 bit utilizzando G.711 PCMU/mu-law.
ALAW Campioni a 8 bit che comprimono campioni audio a 14 bit utilizzando G.711 PCMU/A-law.

EvaluationChannel

Il canale da valutare.

Enum
EVALUATION_CHANNEL_UNSPECIFIED Canale di valutazione non specificato.
TEXT Canale di valutazione solo testo.
AUDIO Canale di valutazione audio.

EvaluationToolCallBehaviour

Configura il comportamento della chiamata allo strumento per le esecuzioni della valutazione.

Enum
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED Comportamento della chiamata allo strumento non specificato. Per impostazione predefinita, verranno utilizzate chiamate allo strumento reali.
REAL Utilizza chiamate allo strumento reali.
FAKE Utilizza chiamate allo strumento fittizie.

GoldenRunMethod

Il metodo utilizzato per eseguire la valutazione.

Enum
GOLDEN_RUN_METHOD_UNSPECIFIED Il metodo di esecuzione non è specificato.
STABLE Esegui la valutazione come replay stabile, in cui ogni turno è una sessione univoca con i turni previsti precedenti inseriti come contesto.
NAIVE Esegui la valutazione come riproduzione semplice, in cui l'esecuzione è una singola sessione senza contesto inserito.

OutcomeMetadata

Metadati sull'esito della valutazione.

Enum
OUTCOME_METADATA_UNSPECIFIED Metadati dei risultati non specificati.
GRACEFUL_HANDOFF La valutazione ha portato a un passaggio fluido a un rappresentante umano.

Annotazioni dello strumento

Le annotazioni degli strumenti vengono inviate ai client MCP per descrivere il rischio di base di un determinato strumento. La maggior parte dei client considera questi suggerimenti non attendibili, ma possono essere utilizzati per decidere quando inviare una richiesta di conferma a un utente.

Oltre alla stringa del titolo, i seguenti suggerimenti booleani sono definiti come segue:

  • readOnlyHint: Se vero, lo strumento non modifica il suo ambiente. Valore predefinito: false.
  • destructiveHint: se true, lo strumento può eseguire azioni distruttive. Se è false, lo strumento può eseguire solo azioni additive. Valore predefinito: true.
  • idempotentHint: se true, la chiamata ripetuta dello strumento con gli stessi argomenti non avrà alcun effetto aggiuntivo sul suo ambiente. Valore predefinito: false.
  • openWorldHint: se true, lo strumento può interagire con un "open world" di entità esterne. Se è false, lo strumento può interagire solo con entità interne. Ad esempio, uno strumento di ricerca web sarebbe open world, mentre uno strumento di memoria non lo sarebbe.

Suggerimento distruttivo: ❌ | Suggerimento idempotente: ✅ | Suggerimento di sola lettura: ✅ | Suggerimento open world: ❌