MCP Tools Reference: ces.googleapis.com

Strumento: get_evaluation_result

Recupera i dettagli del risultato della valutazione specificato.

Il seguente esempio mostra come utilizzare curl per richiamare lo strumento MCP get_evaluation_result.

Curl Request 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation_result",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Schema di input

Messaggio di richiesta per EvaluationService.GetEvaluationResult.

GetEvaluationResultRequest

Rappresentazione JSON 
{
  "name": string
}
Campi
name

string

Obbligatorio. Il nome della risorsa del risultato della valutazione da recuperare.

Schema di output

Un risultato di valutazione rappresenta l'output dell'esecuzione di una valutazione.

EvaluationResult

Rappresentazione JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Campi
name

string

Identificatore. L'identificatore univoco del risultato della valutazione. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Obbligatorio. Nome visualizzato del risultato della valutazione. Unico all'interno di una valutazione. Per impostazione predefinita, ha il seguente formato: " risultato - ".
createTime

string (Timestamp format)

Solo output. Timestamp di creazione del risultato della valutazione.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

Solo output. L'esito della valutazione. Compilato solo se execution_state è COMPLETE.
evaluationRun

string

Solo output. L'esecuzione della valutazione che ha prodotto questo risultato. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Solo output. La persona utilizzata per generare la conversazione per il risultato della valutazione.
errorInfo

object (EvaluationErrorInfo)

Solo output. Informazioni sull'errore per il risultato della valutazione.
error
(deprecated)

object (Status)

Solo output. Deprecato: utilizza error_info. Errori rilevati durante l'esecuzione.
initiatedBy

string

Solo output. L'utente che ha avviato l'esecuzione della valutazione che ha generato questo risultato.
appVersion

string

Solo output. La versione dell'app utilizzata per generare la conversazione che ha prodotto questo risultato. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Solo output. Il nome visualizzato del app_version rispetto al quale è stata eseguita la valutazione.
changelog

string

Solo output. Il log delle modifiche della versione dell'app su cui è stata eseguita la valutazione. Questo campo viene compilato se l'utente esegue la valutazione sull'ultima versione/bozza.
changelogCreateTime

string (Timestamp format)

Solo output. L'ora di creazione del log delle modifiche della versione dell'app su cui è stata eseguita la valutazione. Questo campo viene compilato se l'utente esegue la valutazione sull'ultima versione/bozza.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

Solo output. Lo stato di esecuzione del risultato della valutazione.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Solo output. Le soglie di valutazione per il risultato.
config

object (EvaluationConfig)

Solo output. La configurazione utilizzata nell'esecuzione della valutazione che ha generato questo risultato.
goldenRunMethod

enum (GoldenRunMethod)

Solo output. Il metodo utilizzato per eseguire la valutazione golden.
Campo unione result. Il risultato della valutazione. Viene compilato solo quando execution_state è COMPLETED. result può essere solo uno dei seguenti tipi:
goldenResult

object (GoldenResult)

Solo output. Il risultato di una valutazione di riferimento.
scenarioResult

object (ScenarioResult)

Solo output. Il risultato di una valutazione dello scenario.

GoldenResult

Rappresentazione JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Campi
turnReplayResults[]

object (TurnReplayResult)

Solo output. Il risultato dell'esecuzione di ogni turno della conversazione di riferimento.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Solo output. I risultati delle aspettative di valutazione.

TurnReplayResult

Rappresentazione JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Campi
conversation

string

Solo output. La conversazione generata per questo turno.
expectationOutcome[]

object (GoldenExpectationOutcome)

Solo output. Il risultato di ogni aspettativa.
hallucinationResult

object (HallucinationResult)

Solo output. Il risultato del controllo delle allucinazioni.
toolInvocationScore
(deprecated)

number

Solo output. Deprecato. Utilizza OverallToolInvocationResult.
turnLatency

string (Duration format)

Solo output. Durata del turno.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Solo output. La latenza di ogni chiamata allo strumento nel turno.
semanticSimilarityResult

object (SemanticSimilarityResult)

Solo output. Il risultato del controllo della somiglianza semantica.
overallToolInvocationResult

object (OverallToolInvocationResult)

Solo output. Il risultato del controllo complessivo dell'invocazione dello strumento.
errorInfo

object (EvaluationErrorInfo)

Solo output. Informazioni sull'errore che si è verificato durante questo turno.
spanLatencies[]

object (SpanLatency)

Solo output. La latenza degli span nel turno.

Campo unione _tool_ordered_invocation_score.

_tool_ordered_invocation_score può essere solo uno dei seguenti tipi:
toolOrderedInvocationScore

number

Solo output. Il punteggio complessivo di chiamata dello strumento ordinato per questo turno. Indica la percentuale complessiva di strumenti della svolta prevista che sono stati effettivamente richiamati nell'ordine previsto.

GoldenExpectationOutcome

Rappresentazione JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}
Campi
expectation

object (GoldenExpectation)

Solo output. L'aspettativa che è stata valutata.
outcome

enum (Outcome)

Solo output. Il risultato dell'aspettativa.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Solo output. Il risultato del controllo della somiglianza semantica.
toolInvocationResult

object (ToolInvocationResult)

Solo output. Il risultato del controllo di chiamata dello strumento.
Campo unione result. Il risultato dell'aspettativa. result può essere solo uno dei seguenti tipi:
observedToolCall

object (ToolCall)

Solo output. Il risultato dell'aspettativa di chiamata allo strumento.
observedToolResponse

object (ToolResponse)

Solo output. Il risultato dell'aspettativa di risposta dello strumento.
observedAgentResponse

object (Message)

Solo output. Il risultato dell'aspettativa di risposta dell'agente.
observedAgentTransfer

object (AgentTransfer)

Solo output. Il risultato dell'aspettativa di trasferimento dell'agente.

ToolCall

Rappresentazione JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campi
id

string

Facoltativo. L'identificatore univoco della chiamata allo strumento. Se compilato, il client deve restituire il risultato dell'esecuzione con l'ID corrispondenza in ToolResponse.
displayName

string

Solo output. Nome visualizzato dello strumento.
args

object (Struct format)

Facoltativo. I parametri e i valori di input per lo strumento in formato oggetto JSON.
Campo unione tool_identifier. L'identificatore dello strumento da eseguire. Può trattarsi di uno strumento persistente o di uno strumento di un insieme di strumenti. tool_identifier può essere solo uno dei seguenti tipi:
tool

string

Facoltativo. Il nome dello strumento da eseguire. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Facoltativo. Lo strumento del toolset da eseguire.

ToolsetTool

Rappresentazione JSON 
{
  "toolset": string,
  "toolId": string
}
Campi
toolset

string

Obbligatorio. Il nome della risorsa del Toolset da cui deriva questo strumento. Formato: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Facoltativo. L'ID dello strumento per filtrare gli strumenti per cui recuperare lo schema.

Struct

Rappresentazione JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Campi
fields

map (key: string, value: value (Value format))

Mappa non ordinata di valori con tipo dinamico.

Un oggetto contenente un elenco di coppie "key": value. Esempio: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Rappresentazione JSON 
{
  "key": string,
  "value": value
}
Campi
key

string
value

value (Value format)

Valore

Rappresentazione JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Campi
Campo unione kind. Il tipo di valore. kind può essere solo uno dei seguenti tipi:
nullValue

null

Rappresenta un valore null.
numberValue

number

Rappresenta un valore double.
stringValue

string

Rappresenta un valore stringa.
boolValue

boolean

Rappresenta un valore booleano.
structValue

object (Struct format)

Rappresenta un valore strutturato.
listValue

array (ListValue format)

Rappresenta un Value ripetuto.

ListValue

Rappresentazione JSON 
{
  "values": [
    value
  ]
}
Campi
values[]

value (Value format)

Campo ripetuto di valori con tipo dinamico.

ToolResponse

Rappresentazione JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campi
id

string

Facoltativo. L'ID corrispondente di tool call a cui si riferisce la risposta.
displayName

string

Solo output. Nome visualizzato dello strumento.
response

object (Struct format)

Obbligatorio. Il risultato dell'esecuzione dello strumento in formato oggetto JSON. Utilizza la chiave "output" per specificare la risposta dello strumento e la chiave "error" per specificare i dettagli dell'errore (se presenti). Se le chiavi "output" ed "error" non sono specificate, l'intera "response" viene trattata come risultato dell'esecuzione dello strumento.
Campo unione tool_identifier. L'identificatore dello strumento eseguito. Può trattarsi di uno strumento persistente o di uno strumento di un insieme di strumenti. tool_identifier può essere solo uno dei seguenti tipi:
tool

string

Facoltativo. Il nome dello strumento da eseguire. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Facoltativo. Lo strumento del toolset che è stato eseguito.

Messaggio

Rappresentazione JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Campi
role

string

Facoltativo. Il ruolo all'interno della conversazione, ad esempio utente, agente.
chunks[]

object (Chunk)

Facoltativo. Contenuto del messaggio come una serie di blocchi.
eventTime

string (Timestamp format)

Facoltativo. Timestamp di invio o ricezione del messaggio. Non deve essere utilizzato se il messaggio fa parte di un example.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".

Chunk

Rappresentazione JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Campi
Campo unione data. Dividi i dati in blocchi. data può essere solo uno dei seguenti tipi:
text

string

Facoltativo. Dati di testo.
transcript

string

Facoltativo. Trascrizione associata all'audio.
blob

object (Blob)

Facoltativo. Dati blob.
payload

object (Struct format)

Facoltativo. Dati di payload personalizzati.
image

object (Image)

Facoltativo. Dati immagine.
toolCall

object (ToolCall)

Facoltativo. Richiesta di esecuzione dello strumento.
toolResponse

object (ToolResponse)

Facoltativo. Risposta all'esecuzione dello strumento.
agentTransfer

object (AgentTransfer)

Facoltativo. Evento di trasferimento dell'agente.
updatedVariables

object (Struct format)

Una struct rappresenta le variabili aggiornate nella conversazione, identificate dai nomi delle variabili.
defaultVariables

object (Struct format)

Una struct rappresenta le variabili predefinite all'inizio della conversazione, identificate dai nomi delle variabili.

Blob

Rappresentazione JSON 
{
  "mimeType": string,
  "data": string
}
Campi
mimeType

string

Obbligatorio. Il tipo MIME standard IANA dei dati di origine.
data

string (bytes format)

Obbligatorio. Byte non elaborati del blob.

Una stringa con codifica in base64.

Immagine

Rappresentazione JSON 
{
  "mimeType": string,
  "data": string
}
Campi
mimeType

string

Obbligatorio. Il tipo MIME standard IANA dei dati di origine. I tipi di immagini supportati includono: * image/png * image/jpeg * image/webp
data

string (bytes format)

Obbligatorio. Byte non elaborati dell'immagine.

Una stringa con codifica in base64.

AgentTransfer

Rappresentazione JSON 
{
  "targetAgent": string,
  "displayName": string
}
Campi
targetAgent

string

Obbligatorio. L'agente a cui viene trasferita la conversazione. L'agente gestirà la conversazione da questo punto in poi. Formato: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Solo output. Il nome visualizzato dell'agente.

Timestamp

Rappresentazione JSON 
{
  "seconds": string,
  "nanos": integer
}
Campi
seconds

string (int64 format)

Rappresenta i secondi di tempo UTC a partire dall'epoca Unix 1970-01-01T00:00:00Z. Deve essere compreso tra -62135596800 e 253402300799 inclusi (corrispondenti a 0001-01-01T00:00:00Z e 9999-12-31T23:59:59Z).
nanos

integer

Frazioni di secondo non negative con risoluzione in nanosecondi. Questo campo è la parte in nanosecondi della durata, non un'alternativa ai secondi. I valori negativi dei secondi con frazioni devono comunque avere valori non negativi dei nanosecondi che vengono conteggiati in avanti nel tempo. Deve essere compreso tra 0 e 999.999.999 inclusi.

GoldenExpectation

Rappresentazione JSON 
{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}
Campi
note

string

Facoltativo. Una nota per questo requisito, utile per la generazione di report quando controlli specifici non vanno a buon fine. Ad esempio, "Check_Payment_Tool_Called".
Campo unione condition. Il controllo effettivo da eseguire. condition può essere solo uno dei seguenti tipi:
toolCall

object (ToolCall)

Facoltativo. Verifica che sia stato chiamato uno strumento specifico con i parametri.
toolResponse

object (ToolResponse)

Facoltativo. Controlla che uno strumento specifico abbia dato la risposta prevista.
agentResponse

object (Message)

Facoltativo. Controlla che l'agente abbia risposto con la risposta corretta. Il ruolo "agente" è implicito.
agentTransfer

object (AgentTransfer)

Facoltativo. Controlla che l'agente abbia trasferito la conversazione a un altro agente.
updatedVariables

object (Struct format)

Facoltativo. Verifica che l'agente abbia aggiornato le variabili di sessione ai valori previsti. Utilizzato anche per acquisire gli aggiornamenti delle variabili dell'agente per le valutazioni di riferimento.
mockToolResponse

object (ToolResponse)

Facoltativo. La risposta dello strumento alla simulazione, con i parametri di interesse specificati. Eventuali parametri non specificati verranno inventati dal LLM.

SemanticSimilarityResult

Rappresentazione JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campi
label

string

Solo output. L'etichetta associata a ogni punteggio. Punteggio 4: completamente coerente Punteggio 3: per lo più coerente Punteggio 2: parzialmente coerente (omissioni minori) Punteggio 1: in gran parte incoerente (omissioni maggiori) Punteggio 0: completamente incoerente / contraddittorio
explanation

string

Solo output. La spiegazione del punteggio di similarità semantica.
outcome

enum (Outcome)

Solo output. Il risultato del controllo della somiglianza semantica. Questo valore viene determinato confrontando il punteggio con semantic_similarity_success_threshold. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL.

Campo unione _score.

_score può essere solo uno dei seguenti tipi:
score

integer

Solo output. Il punteggio di similarità semantica. Può essere 0, 1, 2, 3 o 4.

ToolInvocationResult

Rappresentazione JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Campi
outcome

enum (Outcome)

Solo output. Il risultato del controllo di chiamata dello strumento. Questo valore viene determinato confrontando il punteggio di correttezza dei parametri con la soglia. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL.
explanation

string

Solo output. Una spiegazione in formato libero del risultato dell'invocazione dello strumento.

Campo unione _parameter_correctness_score.

_parameter_correctness_score può essere solo uno dei seguenti tipi:
parameterCorrectnessScore

number

Solo output. Il punteggio di correttezza del parametro di chiamata dello strumento. Indica la percentuale di parametri della chiamata allo strumento prevista che erano presenti anche nella chiamata allo strumento effettiva.

HallucinationResult

Rappresentazione JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campi
label

string

Solo output. L'etichetta associata a ogni punteggio. Punteggio 1: Punteggio giustificato Punteggio 0: Punteggio non giustificato Punteggio -1: Nessuna rivendicazione da valutare
explanation

string

Solo output. La spiegazione del punteggio di allucinazione.

Campo unione _score.

_score può essere solo uno dei seguenti tipi:
score

integer

Solo output. Il punteggio di allucinazione. Può essere -1, 0, 1.

Durata

Rappresentazione JSON 
{
  "seconds": string,
  "nanos": integer
}
Campi
seconds

string (int64 format)

Secondi firmati dell'intervallo di tempo. Deve essere compreso tra -315.576.000.000 e +315.576.000.000 inclusi. Nota: questi limiti vengono calcolati in base a: 60 sec/min * 60 min/ora * 24 ore/giorno * 365,25 giorni/anno * 10.000 anni
nanos

integer

Frazioni di secondo con segno con risoluzione in nanosecondi dell'intervallo di tempo. Le durate inferiori a un secondo sono rappresentate con un campo seconds pari a 0 e un campo nanos positivo o negativo. Per durate di un secondo o più, un valore diverso da zero per il campo nanos deve avere lo stesso segno del campo seconds. Deve essere compreso tra -999.999.999 e +999.999.999 inclusi.

ToolCallLatency

Rappresentazione JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Campi
tool

string

Solo output. Il nome dello strumento eseguito. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Solo output. Il nome visualizzato dello strumento.
startTime

string (Timestamp format)

Solo output. L'ora di inizio dell'esecuzione della chiamata allo strumento.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Solo output. L'ora di fine dell'esecuzione della chiamata allo strumento.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Solo output. La latenza dell'esecuzione della chiamata di funzione.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".

OverallToolInvocationResult

Rappresentazione JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Campi
outcome

enum (Outcome)

Solo output. Il risultato del controllo di chiamata dello strumento. Questo valore viene determinato confrontando tool_invocation_score con overall_tool_invocation_correctness_threshold. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL.

Campo unione _tool_invocation_score.

_tool_invocation_score può essere solo uno dei seguenti tipi:
toolInvocationScore

number

Il punteggio complessivo di invocazione dello strumento per questo turno. Indica la percentuale complessiva di strumenti dell'azione prevista che sono stati effettivamente richiamati.

EvaluationErrorInfo

Rappresentazione JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
Campi
errorType

enum (ErrorType)

Solo output. Il tipo di errore.
errorMessage

string

Solo output. Il messaggio di errore.
sessionId

string

Solo output. L'ID sessione della conversazione che ha causato l'errore.

SpanLatency

Rappresentazione JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Campi
type

enum (Type)

Solo output. Il tipo di intervallo.
displayName

string

Solo output. Il nome visualizzato dello span. Valido per gli intervalli di strumenti e sistemi di protezione.
startTime

string (Timestamp format)

Solo output. L'ora di inizio dell'intervallo.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Solo output. L'ora di fine dell'intervallo.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Solo output. La latenza dello span.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".
Campo unione identifier. L'identificatore dell'elemento specifico in base al suo tipo. identifier può essere solo uno dei seguenti tipi:
resource

string

Solo output. Il nome della risorsa degli intervalli di guardrail o strumenti.
toolset

object (ToolsetTool)

Solo output. L'identificatore dello strumento del toolset.
model

string

Solo output. Il nome dello span LLM.
callback

string

Solo output. Il nome dello span di callback dell'utente.

EvaluationExpectationResult

Rappresentazione JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Campi
evaluationExpectation

string

Solo output. L'aspettativa di valutazione. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Solo output. Il prompt utilizzato per la valutazione.
outcome

enum (Outcome)

Solo output. Il risultato dell'aspettativa di valutazione.
explanation

string

Solo output. La spiegazione del risultato.

ScenarioResult

Rappresentazione JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Campi
conversation

string

Solo output. La conversazione generata nello scenario.
task

string

Solo output. L'attività utilizzata durante l'esecuzione dello scenario per questo risultato.
userFacts[]

object (UserFact)

Solo output. I fatti sull'utente utilizzati dallo scenario per questo risultato.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Solo output. Il risultato di ogni aspettativa.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Solo output. Il risultato della griglia.
hallucinationResult[]

object (HallucinationResult)

Solo output. Il risultato del controllo delle allucinazioni. Verrà visualizzato un risultato di allucinazione per ogni turno della conversazione.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Solo output. Il risultato del controllo del completamento dell'attività.
toolCallLatencies[]

object (ToolCallLatency)

Solo output. La latenza di ogni esecuzione della chiamata allo strumento nella conversazione.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Solo output. Il risultato del controllo della soddisfazione dell'obiettivo dell'utente.
spanLatencies[]

object (SpanLatency)

Solo output. La latenza degli intervalli nella conversazione.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Solo output. I risultati delle aspettative di valutazione.

Campo unione _all_expectations_satisfied.

_all_expectations_satisfied può essere solo uno dei seguenti tipi:
allExpectationsSatisfied

boolean

Solo output. Indica se tutte le aspettative sono state soddisfatte per questo turno.

Campo unione _task_completed.

_task_completed può essere solo uno dei seguenti tipi:
taskCompleted

boolean

Solo output. Se l'attività è stata completata per questo turno. Si tratta di un insieme di tutte le aspettative soddisfatte, senza allucinazioni e con la soddisfazione dell'obiettivo dell'utente.

UserFact

Rappresentazione JSON 
{
  "name": string,
  "value": string
}
Campi
name

string

Obbligatorio. Il nome del fatto relativo all'utente.
value

string

Obbligatorio. Il valore del fatto utente.

ScenarioExpectationOutcome

Rappresentazione JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Campi
expectation

object (ScenarioExpectation)

Solo output. L'aspettativa che è stata valutata.
outcome

enum (Outcome)

Solo output. Il risultato di ScenarioExpectation.
Campo unione result. Il risultato dell'aspettativa. result può essere solo uno dei seguenti tipi:
observedToolCall

object (ObservedToolCall)

Solo output. La chiamata allo strumento osservata.
observedAgentResponse

object (Message)

Solo output. La risposta dell'agente osservata.

ObservedToolCall

Rappresentazione JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Campi
toolCall

object (ToolCall)

Solo output. La chiamata allo strumento osservata.
toolResponse

object (ToolResponse)

Solo output. La risposta dello strumento osservata.

ScenarioExpectation

Rappresentazione JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Campi
Campo unione expectation. L'aspettativa di valutare la conversazione prodotta dalla simulazione. expectation può essere solo uno dei seguenti tipi:
toolExpectation

object (ToolExpectation)

Facoltativo. La coppia di chiamata allo strumento e risposta da valutare.
agentResponse

object (Message)

Facoltativo. La risposta dell'agente da valutare.

ToolExpectation

Rappresentazione JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Campi
expectedToolCall

object (ToolCall)

Obbligatorio. La chiamata allo strumento prevista, con i parametri di interesse specificati. Eventuali parametri non specificati verranno inventati dal LLM.
mockToolResponse

object (ToolResponse)

Obbligatorio. La risposta dello strumento alla simulazione, con i parametri di interesse specificati. Eventuali parametri non specificati verranno inventati dal LLM.

ScenarioRubricOutcome

Rappresentazione JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Campi
rubric

string

Solo output. La rubrica utilizzata per valutare la conversazione.
scoreExplanation

string

Solo output. La risposta del valutatore alla rubrica.

Campo unione _score.

_score può essere solo uno dei seguenti tipi:
score

number

Solo output. Il punteggio della conversazione rispetto alla griglia.

TaskCompletionResult

Rappresentazione JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campi
label

string

Solo output. L'etichetta associata a ogni punteggio. Punteggio 1: attività completata. Punteggio 0: attività non completata. Punteggio -1: obiettivo utente non definito.
explanation

string

Solo output. La spiegazione del punteggio di completamento dell'attività.

Campo unione _score.

_score può essere solo uno dei seguenti tipi:
score

integer

Solo output. Il punteggio di completamento dell'attività. Può essere -1, 0, 1

UserGoalSatisfactionResult

Rappresentazione JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campi
label

string

Solo output. L'etichetta associata a ogni punteggio. Punteggio 1: attività utente soddisfatta Punteggio 0: attività utente non soddisfatta Punteggio -1: attività utente non specificata
explanation

string

Solo output. La spiegazione del punteggio di soddisfazione dell'attività dell'utente.

Campo unione _score.

_score può essere solo uno dei seguenti tipi:
score

integer

Solo output. Il punteggio di soddisfazione dell'attività dell'utente. Può essere -1, 0, 1.

EvaluationPersona

Rappresentazione JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Campi
name

string

Obbligatorio. L'identificatore univoco della persona. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Facoltativo. La descrizione della persona.
displayName

string

Obbligatorio. Il nome visualizzato della persona. Unico all'interno di un'app.
personality

string

Obbligatorio. Un'istruzione per l'agente su come comportarsi nella valutazione.
speechConfig

object (SpeechConfig)

Facoltativo. Configurazione del suono della persona (impostazioni TTS).

SpeechConfig

Rappresentazione JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Campi
speakingRate

number

Facoltativo. La velocità del parlato. 1,0 è il valore normale. I valori più bassi sono più lenti (ad es. 0,8), più alto è il valore, più veloce è la risposta (ad es. 1.5). Utile per testare il modo in cui l'agente gestisce le persone che parlano velocemente.
environment

enum (BackgroundEnvironment)

Facoltativo. L'ambiente audio simulato.
voiceId

string

Facoltativo. L'identificatore/l'accento della voce specifico da utilizzare. Esempio: "en-US-Wavenet-D" o "en-GB-Standard-A"

Stato

Rappresentazione JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Campi
code

integer

Il codice di stato, che deve essere un valore enum di google.rpc.Code.
message

string

Un messaggio di errore rivolto agli sviluppatori, che deve essere in inglese. Qualsiasi messaggio di errore rivolto agli utenti deve essere localizzato e inviato nel campo google.rpc.Status.details o localizzato dal client.
details[]

object

Un elenco di messaggi contenenti i dettagli dell'errore. Esiste un insieme comune di tipi di messaggi da utilizzare per le API.

Un oggetto contenente campi di tipo arbitrario. Un campo aggiuntivo "@type" contenente un URI che identifica il tipo. Esempio: { "id": 1234, "@type": "types.example.com/standard/id" }.

Qualsiasi

Rappresentazione JSON 
{
  "typeUrl": string,
  "value": string
}
Campi
typeUrl

string

Identifica il tipo di messaggio Protobuf serializzato con un riferimento URI costituito da un prefisso che termina con una barra e il nome del tipo completo.

Esempio: type.googleapis.com/google.protobuf.StringValue

Questa stringa deve contenere almeno un carattere / e il contenuto dopo l'ultimo / deve essere il nome completo del tipo in forma canonica, senza un punto iniziale. Non scrivere uno schema su questi riferimenti URI in modo che i client non tentino di contattarli.

Il prefisso è arbitrario e le implementazioni di Protobuf devono semplicemente rimuovere tutto fino all'ultimo / incluso per identificare il tipo. type.googleapis.com/ è un prefisso predefinito comune richiesto da alcune implementazioni legacy. Questo prefisso non indica l'origine del tipo e non è previsto che gli URI che lo contengono rispondano a richieste.

Tutte le stringhe URL di tipo devono essere riferimenti URI validi con l'ulteriore limitazione (per il formato di testo) che il contenuto del riferimento deve essere costituito solo da caratteri alfanumerici, sequenze di escape codificate in percentuale e caratteri del seguente insieme (esclusi i backtick esterni): /-.~_!$&()*+,;=. Nonostante consentiamo le codifiche in percentuale, le implementazioni non devono eseguirne l'escape per evitare confusione con i parser esistenti. Ad esempio, type.googleapis.com%2FFoo deve essere rifiutato.

Nella progettazione originale di Any, è stata presa in considerazione la possibilità di avviare un servizio di risoluzione dei tipi in questi URL di tipo, ma Protobuf non ne ha mai implementato uno e considera il contatto con questi URL problematico e un potenziale problema di sicurezza. Non tentare di contattare gli URL dei tipi.
value

string (bytes format)

Contiene una serializzazione Protobuf del tipo descritto da type_url.

Una stringa con codifica in base64.

EvaluationMetricsThresholds

Rappresentazione JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Campi
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Facoltativo. Le soglie delle metriche di valutazione secondo regole d'oro.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Facoltativo. Deprecato: utilizza golden_hallucination_metric_behavior. Il comportamento della metrica di allucinazione viene attualmente utilizzato per le valutazioni dorate.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Facoltativo. Il comportamento della metrica delle allucinazioni per le valutazioni di riferimento.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Facoltativo. Il comportamento della metrica di allucinazione per le valutazioni degli scenari.

GoldenEvaluationMetricsThresholds

Rappresentazione JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Campi
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Facoltativo. Le soglie delle metriche a livello di turno.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Facoltativo. Le soglie delle metriche del livello di aspettativa.
toolMatchingSettings

object (ToolMatchingSettings)

Facoltativo. Le impostazioni di corrispondenza dello strumento. Una chiamata allo strumento aggiuntiva è una chiamata allo strumento presente nell'esecuzione, ma che non corrisponde ad alcuna chiamata allo strumento nell'aspettativa di riferimento.

TurnLevelMetricsThresholds

Rappresentazione JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Campi
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Facoltativo. Il canale di similarità semantica da utilizzare per la valutazione.

Campo unione _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold può essere solo uno dei seguenti tipi:
semanticSimilaritySuccessThreshold

integer

Facoltativo. La soglia di successo per la somiglianza semantica. Deve essere un numero intero compreso tra 0 e 4. Il valore predefinito è >= 3.

Campo unione _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold può essere solo uno dei seguenti tipi:
overallToolInvocationCorrectnessThreshold

number

Facoltativo. La soglia di successo per la correttezza complessiva dell'invocazione dello strumento. Deve essere un numero in virgola mobile compreso tra 0 e 1. Il valore predefinito è 1.0.

ExpectationLevelMetricsThresholds

Rappresentazione JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Campi

Campo unione _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold può essere solo uno dei seguenti tipi:
toolInvocationParameterCorrectnessThreshold

number

Facoltativo. La soglia di successo per la correttezza dei parametri di chiamata dei singoli strumenti. Deve essere un numero in virgola mobile compreso tra 0 e 1. Il valore predefinito è 1.0.

ToolMatchingSettings

Rappresentazione JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Campi
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Facoltativo. Comportamento per le chiamate di strumenti aggiuntivi. Il valore predefinito è FAIL.

EvaluationConfig

Rappresentazione JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Campi
inputAudioConfig
(deprecated)

object (InputAudioConfig)

Facoltativo. Configurazione per l'elaborazione dell'audio di input.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

Facoltativo. Configurazione per la generazione dell'audio di output.
evaluationChannel

enum (EvaluationChannel)

Facoltativo. Il canale da valutare.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Facoltativo. Specifica se la valutazione deve utilizzare chiamate di strumenti reali o fittizi.

InputAudioConfig

Rappresentazione JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Campi
audioEncoding

enum (AudioEncoding)

Obbligatorio. La codifica dei dati audio di input.
sampleRateHertz

integer

Obbligatorio. La frequenza di campionamento (in hertz) dei dati audio di input.
noiseSuppressionLevel

string

Facoltativo. Indica se attivare la soppressione del rumore nell'audio di input. I valori disponibili sono "low", "moderate", "high", "very_high".

OutputAudioConfig

Rappresentazione JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Campi
audioEncoding

enum (AudioEncoding)

Obbligatorio. La codifica dei dati audio di output.
sampleRateHertz

integer

Obbligatorio. La frequenza di campionamento (in hertz) dei dati audio di output.

Annotazioni dello strumento

Suggerimento distruttivo: ❌ | Suggerimento idempotente: ✅ | Suggerimento di sola lettura: ✅ | Suggerimento open world: ❌