MCP Tools Reference: ces.googleapis.com

Ferramenta: create_evaluation

Cria uma nova avaliação.

O exemplo de código a seguir mostra como usar curl para chamar a ferramenta MCP create_evaluation.

Solicitação curl
curl --location 'https://ces.googleapis.com/mcp' \ --header 'content-type: application/json' \ --header 'accept: application/json, text/event-stream' \ --data '{ "method": "tools/call", "params": { "name": "create_evaluation", "arguments": { // provide these details according to the tool's MCP specification } }, "jsonrpc": "2.0", "id": 1 }'

Esquema de entrada

Mensagem de solicitação para EvaluationService.CreateEvaluation.

CreateEvaluationRequest

Representação JSON
{ "parent": string, "evaluationId": string, "evaluation": { object (Evaluation) } }

Campos
parent	string Obrigatório. O app para criar a avaliação. Formato: projects/{project}/locations/{location}/apps/{app}
evaluationId	string Opcional. O ID a ser usado na avaliação, que se tornará o componente final do nome do recurso da avaliação. Se não for fornecido, um ID exclusivo será atribuído automaticamente à avaliação.
evaluation	object (Evaluation) Obrigatório. A avaliação a ser criada.

Avaliação

Representação JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], "evaluationMetricsThresholdOverride": { object (EvaluationMetricsThresholds) }, "evaluationMetricsConfigOverride": { object (EvaluationMetricsConfig) }, // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

Campos
name	string Identificador. O identificador exclusivo desta avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string Obrigatório. Nome de exibição da avaliação definido pelo usuário. Exclusivo em um app.
description	string Opcional. Descrição da avaliação definida pelo usuário.
tags[]	string Opcional. Tags definidas pelo usuário para categorizar a avaliação.
evaluationDatasets[]	string Apenas saída. Lista de conjuntos de dados de avaliação a que a avaliação pertence. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) Apenas saída. Carimbo de data/hora em que a avaliação foi criada. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
createdBy	string Apenas saída. O usuário que criou a avaliação.
updateTime	string (Timestamp format) Apenas saída. Carimbo de data/hora da última atualização da avaliação. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string Apenas saída. O usuário que atualizou a avaliação por último.
evaluationRuns[]	string Apenas saída. As EvaluationRuns associadas a esta avaliação.
etag	string Apenas saída. Etag usada para garantir que o objeto não mudou durante uma operação de leitura-modificação-gravação. Se a ETag estiver vazia, a atualização vai substituir todas as mudanças simultâneas.
aggregatedMetrics	object (AggregatedMetrics) Apenas saída. As métricas agregadas dessa avaliação em todas as execuções.
lastCompletedResult	object (EvaluationResult) Apenas saída. O resultado mais recente da avaliação.
invalid	boolean Apenas saída. Se a avaliação é inválida. Isso pode acontecer se uma avaliação estiver fazendo referência a uma ferramenta, um conjunto de ferramentas ou um agente que foi excluído.
lastTenResults[]	object (EvaluationResult) Apenas saída. Os últimos 10 resultados de avaliação. Isso só será preenchido se include_last_ten_results estiver definido como "true" em ListEvaluationsRequest ou GetEvaluationRequest.
evaluationMetricsThresholdOverride	object (EvaluationMetricsThresholds) Opcional. Substitui os limites das métricas para essa avaliação específica.
evaluationMetricsConfigOverride	object (EvaluationMetricsConfig) Opcional. Substitui a configuração de métricas para essa avaliação específica.
Campo de união inputs. As entradas para a avaliação inputs podem ser apenas uma das seguintes opções:
golden	object (Golden) Opcional. As etapas de referência a serem avaliadas.
scenario	object (Scenario) Opcional. A configuração de um cenário.

Pôr do sol

Representação JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

Campos
turns[]	object (GoldenTurn) Obrigatório. As rodadas de ouro necessárias para reproduzir uma conversa de ouro. O número máximo de turnos permitidos é 100.
evaluationExpectations[]	string Opcional. As expectativas de avaliação para avaliar a conversa reproduzida. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representação JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) }, "turnLevelMetricsThresholdsOverride": { object (TurnLevelMetricsThresholds) }, "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior) }

Campos
steps[]	object (Step) Obrigatório. As etapas necessárias para reproduzir uma conversa de ouro.
rootSpan	object (Span) Opcional. O período raiz da rodada de ouro para processar e manter informações de áudio. O URI do áudio precisa conter áudio salvo com uma taxa de amostragem de 16 kHz.
turnLevelMetricsThresholdsOverride	object (TurnLevelMetricsThresholds) Opcional. Substituições para limites de métricas no nível da rodada.
hallucinationMetricBehaviorOverride	enum (HallucinationMetricBehavior) Opcional. Substituição do comportamento da métrica de alucinação no nível da vez.

Etapa

Representação JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

Campos
Campo de união step. A etapa a ser realizada. step pode ser apenas de um dos tipos a seguir:
userInput	object (SessionInput) Opcional. Entrada do usuário para a conversa.
agentTransfer	object (AgentTransfer) Opcional. Transfira a conversa para outro agente.
expectation	object (GoldenExpectation) Opcional. Executa uma expectativa no turno atual.

SessionInput

Representação JSON
{ "willContinue": boolean, // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

Campos
willContinue	boolean Opcional. Uma flag para indicar se a mensagem atual é um fragmento de uma entrada maior na sessão de streaming bidirecional. Quando definido como true, o agente adia o processamento até receber uma mensagem subsequente em que will_continue seja false ou até que o sistema detecte um endpoint na entrada de áudio. OBSERVAÇÃO: esse campo não se aplica a entradas de áudio e DTMF, já que elas são sempre processadas automaticamente com base no sinal de finalização.
Campo de união input_type. O tipo da entrada. input_type pode ser apenas de um dos tipos a seguir:
text	string Opcional. Dados de texto do usuário final.
dtmf	string Opcional. Dígitos DTMF do usuário final.
audio	string (bytes format) Opcional. Dados de áudio do usuário final. Uma string codificada em base64.
toolResponses	object (ToolResponses) Opcional. Resultados da execução das chamadas de função do cliente.
image	object (Image) Opcional. Dados de imagem do usuário final.
blob	object (Blob) Opcional. Dados de blob do usuário final.
variables	object (Struct format) Opcional. Variáveis contextuais da sessão, com chave pelo nome. Somente as variáveis declaradas no app serão usadas pelo agente da CES. Variáveis não reconhecidas ainda serão enviadas ao [agente do Dialogflow][Agent.RemoteDialogflowAgent] como parâmetros de sessão adicionais.
event	object (Event) Opcional. Entrada de evento.

ToolResponses

Representação JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

Campos
toolResponses[]	object (ToolResponse) Opcional. A lista de resultados da execução da ferramenta.

ToolResponse

Representação JSON
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Campos
id	string Opcional. O código correspondente do tool call a que a resposta se refere.
displayName	string Apenas saída. Nome de exibição da ferramenta.
response	object (Struct format) Obrigatório. O resultado da execução da ferramenta no formato de objeto JSON. Use a chave "output" para especificar a resposta da ferramenta e a chave "error" para especificar os detalhes do erro (se houver). Se as chaves "output" e "error" não forem especificadas, toda a "response" será tratada como resultado da execução da ferramenta.
parentToolCallId	string Apenas saída. O ID da chamada de função que causou esta, quando ela foi emitida por um subagente trabalhando em nome de uma chamada principal. Vazio para chamadas de nível superior. Permite que um cliente agrupe o trabalho de um subagente na chamada que o iniciou, em vez de renderizar cada etapa como um irmão.
agentName	string Apenas saída. Nome legível por humanos do agente que emitiu essa chamada, por exemplo, "Arquiteto de contratos". Fica vazio quando o agente raiz emite o token.
Campo de união tool_identifier. O identificador da ferramenta que foi executada. Ela pode ser uma ferramenta persistente ou de um conjunto de ferramentas. tool_identifier pode ser apenas de um dos tipos a seguir:
tool	string Opcional. O nome da ferramenta a ser executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Opcional. A ferramenta do conjunto de ferramentas que foi executada.

ToolsetTool

Representação JSON
{ "toolset": string, "toolId": string }

Campos
toolset	string Obrigatório. O nome do recurso do Toolset de que essa ferramenta deriva. Formato: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string Opcional. O ID da ferramenta para filtrar as ferramentas e recuperar o esquema.

Struct

Representação JSON
{ "fields": { string: value, ... } }

Campos
fields	map (key: string, value: value (Value format)) Mapa não ordenado de valores com tipagem dinâmica. Um objeto com uma lista de pares "key": value. Exemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representação JSON
{ "key": string, "value": value }

Campos
key	string
value	value (Value format)

Valor

Representação JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

Campos
Campo de união kind. O tipo de valor. kind pode ser apenas de um dos tipos a seguir:
nullValue	null Representa um null JSON.
numberValue	number Representa um número JSON. Não pode ser NaN, Infinity ou -Infinity, porque esses valores não são compatíveis com JSON. Isso também não pode representar valores Int64 grandes, já que o formato JSON geralmente não os aceita no tipo de número.
stringValue	string Representa uma string JSON.
boolValue	boolean Representa um booleano JSON (literal true ou false em JSON).
structValue	object (Struct format) Representa um objeto JSON.
listValue	array (ListValue format) Representa uma matriz JSON.

ListValue

Representação JSON
{ "values": [ value ] }

Campos
values[]	value (Value format) Campo repetido de valores digitados dinamicamente.

Imagem

Representação JSON
{ "mimeType": string, "data": string }

Campos
mimeType	string Obrigatório. O tipo MIME padrão da IANA dos dados de origem. Os tipos de imagem compatíveis incluem: * image/png * image/jpeg * image/webp
data	string (bytes format) Obrigatório. Bytes brutos da imagem. Uma string codificada em base64.

Blob

Representação JSON
{ "mimeType": string, "data": string }

Campos
mimeType	string Obrigatório. O tipo MIME padrão da IANA dos dados de origem.
data	string (bytes format) Obrigatório. Bytes brutos do blob. Uma string codificada em base64.

Evento

Representação JSON
{ "event": string }

Campos
event	string Obrigatório. O nome do evento.

AgentTransfer

Representação JSON
{ "targetAgent": string, "displayName": string }

Campos
targetAgent	string Obrigatório. O agente para quem a conversa está sendo transferida. O agente vai cuidar da conversa a partir desse ponto. Formato: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string Apenas saída. Nome de exibição do agente.

GoldenExpectation

Representação JSON

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

Campos
note	string Opcional. Uma observação para esse requisito, útil ao informar quando verificações específicas falham. Por exemplo, "Check_Payment_Tool_Called".
skipEvaluation	boolean Opcional. Se definido como "true", essa expectativa específica não será avaliada.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) Opcional. Substitui as métricas no nível da etapa.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) Opcional. Substituições para métricas de similaridade semântica agent_response.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) Opcional. Substituições para métricas de alucinação de agent_response.
comparisonType	enum (ComparisonType) Opcional. O tipo de comparação a ser usado na verificação de expectativa.
Campo de união condition. A verificação real a ser realizada. condition pode ser apenas de um dos tipos a seguir:
toolCall	object (ToolCall) Opcional. Verifique se uma ferramenta específica foi chamada com os parâmetros.
toolResponse	object (ToolResponse) Opcional. Verifique se uma ferramenta específica teve a resposta esperada.
agentResponse	object (Message) Opcional. Verifique se o agente respondeu corretamente. A função "agente" está implícita.
agentTransfer	object (AgentTransfer) Opcional. Verifique se o agente transferiu a conversa para outro agente.
updatedVariables	object (Struct format) Opcional. Verifique se o agente atualizou as variáveis de sessão para os valores esperados. Usado também para capturar atualizações de variáveis de agente para avaliações de ouro.
mockToolResponse	object (ToolResponse) Opcional. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.
noToolCalls	boolean Opcional. Verifique se nenhuma ferramenta foi chamada durante essa vez.

ToolCall

Representação JSON
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Campos
id	string Opcional. O identificador exclusivo da chamada de função. Se preenchido, o cliente vai retornar o resultado da execução com o código correspondente em ToolResponse.
displayName	string Apenas saída. Nome de exibição da ferramenta.
args	object (Struct format) Opcional. Os parâmetros e valores de entrada da ferramenta no formato de objeto JSON.
parentToolCallId	string Apenas saída. O ID da chamada de função que causou esta, quando ela foi emitida por um subagente trabalhando em nome de uma chamada principal. Vazio para chamadas de nível superior. Permite que um cliente agrupe o trabalho de um subagente na chamada que o iniciou, em vez de renderizar cada etapa como um irmão.
agentName	string Apenas saída. Nome legível por humanos do agente que emitiu essa chamada, por exemplo, "Arquiteto de contratos". Fica vazio quando o agente raiz emite o token.
Campo de união tool_identifier. O identificador da ferramenta a ser executada. Ela pode ser uma ferramenta persistente ou de um conjunto de ferramentas. tool_identifier pode ser apenas de um dos tipos a seguir:
tool	string Opcional. O nome da ferramenta a ser executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Opcional. A ferramenta do conjunto de ferramentas a ser executada.

Mensagem

Representação JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

Campos
role	string Opcional. A função na conversa, por exemplo, usuário, agente.
chunks[]	object (Chunk) Opcional. Conteúdo da mensagem como uma série de partes.
eventTime	string (Timestamp format) Opcional. Carimbo de data/hora em que a mensagem foi enviada ou recebida. Não pode ser usado se a mensagem fizer parte de um example. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

Chunk

Representação JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

Campos
Campo de união data. Divida os dados em blocos. data pode ser apenas de um dos tipos a seguir:
text	string Opcional. Dados de texto.
transcript	string Opcional. Transcrição associada ao áudio.
blob	object (Blob) Opcional. Dados de blob.
payload	object (Struct format) Opcional. Dados de payload personalizados.
image	object (Image) Opcional. Dados da imagem.
toolCall	object (ToolCall) Opcional. Solicitação de execução de ferramenta.
toolResponse	object (ToolResponse) Opcional. Resposta de execução da ferramenta.
agentTransfer	object (AgentTransfer) Opcional. Evento de transferência do agente.
updatedVariables	object (Struct format) Uma struct representa variáveis que foram atualizadas na conversa, com chaves pelos nomes das variáveis.
defaultVariables	object (Struct format) Uma struct representa variáveis padrão no início da conversa, com chaves de nomes de variáveis.

Carimbo de data/hora

Representação JSON
{ "seconds": string, "nanos": integer }

Campos
seconds	string (int64 format) Representa os segundos do horário UTC desde a época Unix 1970-01-01T00:00:00Z. Precisa estar entre -62135596800 e 253402300799 (o que corresponde a 0001-01-01T00:00:00Z a 9999-12-31T23:59:59Z).
nanos	integer Frações não negativas de um segundo com resolução de nanossegundos. Esse campo é a parte de nanossegundos da duração, não uma alternativa aos segundos. Os valores de segundos negativos com frações ainda precisam ter valores em nanossegundos não negativos que representam períodos posteriores. O valor precisa ser de 0 a 999.999.999 (inclusive).

ExpectationLevelMetricsThresholds

Representação JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

Campos
Campo de união _tool_invocation_parameter_correctness_threshold. _tool_invocation_parameter_correctness_threshold pode ser apenas de um dos tipos a seguir:
toolInvocationParameterCorrectnessThreshold	number Opcional. O limite de sucesso para a correção de parâmetros de invocação de ferramentas individuais. Precisa ser um número de ponto flutuante entre 0 e 1. O padrão é 1,0.

SemanticSimilarityMetricsConfig

Representação JSON
{ "enableSemanticSimilarityMetrics": boolean }

Campos
enableSemanticSimilarityMetrics	boolean Opcional. Se as métricas de similaridade semântica serão calculadas para a avaliação.

HallucinationMetricsConfig

Representação JSON
{ "enableHallucinationMetrics": boolean }

Campos
enableHallucinationMetrics	boolean Opcional. Se as métricas de alucinação serão calculadas para a avaliação.

Período

Representação JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

Campos
name	string Apenas saída. O nome do intervalo.
startTime	string (Timestamp format) Apenas saída. O horário de início do intervalo. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Apenas saída. O horário de término do período. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
duration	string (Duration format) Apenas saída. A duração do período. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
attributes	object (Struct format) Apenas saída. Atributos de chave-valor associados ao intervalo.
childSpans[]	object (Span) Apenas saída. Os intervalos filhos aninhados neste intervalo.

Duração

Representação JSON
{ "seconds": string, "nanos": integer }

Campos
seconds	string (int64 format) Segundos assinados do período. Precisa estar entre -315.576.000.000 e +315.576.000.000 (inclusive). Observação: esses limites são calculados com base em: 60 s/min * 60 min/h * 24 h/dia * 365,25 dias/ano * 10.000 anos
nanos	integer Frações assinadas de um segundo com resolução de nanossegundos do período. Durações menores que um segundo são representadas com um campo seconds 0 e um campo nanos positivo ou negativo. Para durações de um segundo ou mais, um valor diferente de zero para o campo nanos precisa ter o mesmo sinal do campo seconds. Precisa estar entre -999.999.999 e +999.999.999 (inclusive).

TurnLevelMetricsThresholds

Representação JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

Campos
semanticSimilarityChannel	enum (SemanticSimilarityChannel) Opcional. O canal de similaridade semântica a ser usado para avaliação.
Campo de união _semantic_similarity_success_threshold. _semantic_similarity_success_threshold pode ser apenas de um dos tipos a seguir:
semanticSimilaritySuccessThreshold	integer Opcional. O limite de sucesso para similaridade semântica. O valor precisa ser um número inteiro entre 0 e 4. O padrão é ">= 3".
Campo de união _overall_tool_invocation_correctness_threshold. _overall_tool_invocation_correctness_threshold pode ser apenas de um dos tipos a seguir:
overallToolInvocationCorrectnessThreshold	number Opcional. O limite de sucesso para a correção geral da invocação da ferramenta. Precisa ser um número de ponto flutuante entre 0 e 1. O padrão é 1,0.

Cenário

Representação JSON
{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ], "scenarioExecutionMode": enum (ScenarioExecutionMode) }

Campos
task	string Obrigatório. A tarefa que será afetada pelo cenário.
userFacts[]	object (UserFact) Opcional. Os fatos do usuário a serem usados pelo cenário.
maxTurns	integer Opcional. O número máximo de turnos a serem simulados. O valor máximo permitido é 100. O valor padrão é 100.
rubrics[]	string Obrigatório. As rubricas para pontuar o cenário.
scenarioExpectations[]	object (ScenarioExpectation) Obrigatório. O ScenarioExpectations para avaliar a conversa produzida pela simulação do usuário.
variableOverrides	object (Struct format) Opcional. Variáveis / parâmetros de sessão como contexto para a sessão, com chaves pelos nomes das variáveis. Os membros dessa struct vão substituir todos os valores padrão definidos pelo sistema. Observação: esses dados são diferentes dos fatos do usuário, que são informações conhecidas pelo usuário. Variáveis são parâmetros conhecidos pelo agente, ou seja, MDN (número de telefone) transmitido pelo sistema de telefonia.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) Este item foi descontinuado. Opcional. Obsoleto. Use user_goal_behavior.
userGoalBehavior	enum (UserGoalBehavior) Opcional. O comportamento esperado do objetivo do usuário.
evaluationExpectations[]	string Opcional. As expectativas de avaliação para avaliar a conversa produzida pela simulação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode	enum (ScenarioExecutionMode) Opcional. O modo de execução para avaliações de cenário.

UserFact

Representação JSON
{ "name": string, "value": string }

Campos
name	string Obrigatório. O nome do fato do usuário.
value	string Obrigatório. O valor do fato do usuário.

ScenarioExpectation

Representação JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

Campos
Campo de união expectation. A expectativa de avaliar a conversa produzida pela simulação. expectation pode ser apenas de um dos tipos a seguir:
toolExpectation	object (ToolExpectation) Opcional. O par de chamada e resposta da ferramenta que será avaliado.
agentResponse	object (Message) Opcional. A resposta do agente a ser avaliada.

ToolExpectation

Representação JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

Campos
expectedToolCall	object (ToolCall) Obrigatório. A chamada de ferramenta esperada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.
mockToolResponse	object (ToolResponse) Obrigatório. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.

AggregatedMetrics

Representação JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

Campos
metricsByAppVersion[]	object (MetricsByAppVersion) Apenas saída. Métricas agregadas, agrupadas por ID da versão do app.

MetricsByAppVersion

Representação JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

Campos
appVersionId	string Apenas saída. O ID da versão do app.
toolMetrics[]	object (ToolMetrics) Apenas saída. Métricas de cada ferramenta nesta versão do app.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Apenas saída. Métricas de similaridade semântica nesta versão do app.
hallucinationMetrics[]	object (HallucinationMetrics) Apenas saída. Métricas de alucinação nesta versão do app.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Apenas saída. Métricas para latência de chamada de ferramenta nesta versão do app.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Apenas saída. Métricas para latência de turno nesta versão do app.
passCount	integer Apenas saída. O número de vezes que a avaliação foi aprovada.
failCount	integer Apenas saída. O número de vezes que a avaliação falhou.
metricsByTurn[]	object (MetricsByTurn) Apenas saída. Métricas agregadas por turno nessa versão do app.

ToolMetrics

Representação JSON
{ "tool": string, "passCount": integer, "failCount": integer }

Campos
tool	string Apenas saída. O nome da ferramenta.
passCount	integer Apenas saída. O número de vezes que a ferramenta foi aprovada.
failCount	integer Apenas saída. O número de vezes que a ferramenta falhou.

SemanticSimilarityMetrics

Representação JSON
{ "score": number }

Campos
score	number Apenas saída. A pontuação média de similaridade semântica (0 a 4).

HallucinationMetrics

Representação JSON
{ "score": number }

Campos
score	number Apenas saída. A pontuação média de alucinação (de 0 a 1).

ToolCallLatencyMetrics

Representação JSON
{ "tool": string, "averageLatency": string }

Campos
tool	string Apenas saída. O nome da ferramenta.
averageLatency	string (Duration format) Apenas saída. A latência média das chamadas de ferramenta. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

TurnLatencyMetrics

Representação JSON
{ "averageLatency": string }

Campos
averageLatency	string (Duration format) Apenas saída. A latência média dos turnos. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

MetricsByTurn

Representação JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

Campos
turnIndex	integer Apenas saída. O índice da vez (com base em 0).
toolMetrics[]	object (ToolMetrics) Apenas saída. Métricas para cada ferramenta nesta rodada.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Apenas saída. Métricas de similaridade semântica neste turno.
hallucinationMetrics[]	object (HallucinationMetrics) Apenas saída. Métricas de alucinação neste turno.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Apenas saída. Métricas de latência de chamada de ferramenta neste turno.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Apenas saída. Métricas de latência do turno.

EvaluationResult

Representação JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

Campos
name	string Identificador. O identificador exclusivo do resultado da avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string Obrigatório. Nome de exibição do resultado da avaliação. Exclusivo em uma avaliação. Por padrão, ele tem o seguinte formato: " resultado - ".
createTime	string (Timestamp format) Apenas saída. Carimbo de data/hora em que o resultado da avaliação foi criado. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) Apenas saída. O resultado da avaliação. Preenchido apenas se "execution_state" for "COMPLETE".
evaluationRun	string Apenas saída. A execução da avaliação que gerou esse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) Apenas saída. A persona usada para gerar a conversa do resultado da avaliação.
errorInfo	object (EvaluationErrorInfo) Apenas saída. Informações de erro para o resultado da avaliação.
error (deprecated)	object (Status) Este item foi descontinuado. Apenas saída. Descontinuado: use error_info. Erros encontrados durante a execução.
initiatedBy	string Apenas saída. O usuário que iniciou a execução da avaliação que resultou neste resultado.
appVersion	string Apenas saída. A versão do app usada para gerar a conversa que resultou nesse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string Apenas saída. O nome de exibição do app_version em que a avaliação foi executada.
changelog	string Apenas saída. O changelog da versão do app em que a avaliação foi executada. Esse campo é preenchido se o usuário executar a avaliação na versão mais recente/em rascunho.
changelogCreateTime	string (Timestamp format) Apenas saída. O horário de criação do changelog da versão do app em que a avaliação foi executada. Esse campo é preenchido se o usuário executar a avaliação na versão mais recente/em rascunho. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) Apenas saída. O estado da execução do resultado da avaliação.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) Apenas saída. Os limites de avaliação do resultado.
config	object (EvaluationConfig) Apenas saída. A configuração usada na execução da avaliação que resultou nesse resultado.
goldenRunMethod	enum (GoldenRunMethod) Apenas saída. O método usado para executar a avaliação de ouro.
rootSpan	object (Span) Apenas saída. O intervalo principal da execução da avaliação, que inclui informações sobre cada etapa.
outcomeMetadata	enum (OutcomeMetadata) Apenas saída. Os metadados de resultado da avaliação. Preenchido apenas se "execution_state" for "COMPLETE".
Campo de união result. O resultado da avaliação. Preenchido apenas quando o execution_state é COMPLETED. result pode ser apenas de um dos tipos a seguir:
goldenResult	object (GoldenResult) Apenas saída. O resultado de uma avaliação de ouro.
scenarioResult	object (ScenarioResult) Apenas saída. O resultado de uma avaliação de cenário.

GoldenResult

Representação JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

Campos
turnReplayResults[]	object (TurnReplayResult) Apenas saída. O resultado da execução de cada turno da conversa de referência.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Apenas saída. Os resultados das expectativas de avaliação.

TurnReplayResult

Representação JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

Campos
conversation	string Apenas saída. A conversa gerada para essa vez.
expectationOutcome[]	object (GoldenExpectationOutcome) Apenas saída. O resultado de cada expectativa.
hallucinationResult	object (HallucinationResult) Apenas saída. O resultado da verificação de alucinação.
toolInvocationScore (deprecated)	number Este item foi descontinuado. Apenas saída. Obsoleto. Use OverallToolInvocationResult.
turnLatency	string (Duration format) Apenas saída. Duração da vez. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
toolCallLatencies[]	object (ToolCallLatency) Apenas saída. A latência de cada chamada de ferramenta no turno.
semanticSimilarityResult	object (SemanticSimilarityResult) Apenas saída. O resultado da verificação de similaridade semântica.
overallToolInvocationResult	object (OverallToolInvocationResult) Apenas saída. O resultado da verificação geral de invocação da ferramenta.
errorInfo	object (EvaluationErrorInfo) Apenas saída. Informações sobre o erro que ocorreu durante essa vez.
spanLatencies[]	object (SpanLatency) Apenas saída. A latência dos períodos na vez.
Campo de união _tool_ordered_invocation_score. _tool_ordered_invocation_score pode ser apenas de um dos tipos a seguir:
toolOrderedInvocationScore	number Apenas saída. A pontuação geral de invocação ordenada da ferramenta para esta vez. Isso indica a porcentagem geral de ferramentas do turno esperado que foram realmente invocadas na ordem esperada.

GoldenExpectationOutcome

Representação JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

Campos
expectation	object (GoldenExpectation) Apenas saída. A expectativa que foi avaliada.
outcome	enum (Outcome) Apenas saída. O resultado da expectativa.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) Este item foi descontinuado. Apenas saída. O resultado da verificação de similaridade semântica.
toolInvocationResult	object (ToolInvocationResult) Apenas saída. O resultado da verificação de invocação da ferramenta.
Campo de união result. O resultado da expectativa. result pode ser apenas de um dos tipos a seguir:
observedToolCall	object (ToolCall) Apenas saída. O resultado da expectativa de chamada de ferramenta.
observedToolResponse	object (ToolResponse) Apenas saída. O resultado da expectativa de resposta da ferramenta.
observedAgentResponse	object (Message) Apenas saída. O resultado da expectativa de resposta do agente.
observedAgentTransfer	object (AgentTransfer) Apenas saída. O resultado da expectativa de transferência do agente.
observedPayload	object (Struct format) Apenas saída. Um payload personalizado observado. Não há expectativas para payloads personalizados. Isso é usado apenas para o cálculo de métricas. O resultado é sempre SKIPPED.

SemanticSimilarityResult

Representação JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Apenas saída. O rótulo associado a cada pontuação. Pontuação 4: totalmente consistente; pontuação 3: quase totalmente consistente; pontuação 2: parcialmente consistente (pequenas omissões); pontuação 1: muito inconsistente (grandes omissões); pontuação 0: completamente inconsistente / contraditória.
explanation	string Apenas saída. A explicação da pontuação de similaridade semântica.
outcome	enum (Outcome) Apenas saída. O resultado da verificação de similaridade semântica. Isso é determinado comparando a pontuação com o semantic_similarity_success_threshold. Se a pontuação for igual ou maior que o limite, o resultado será "APROVADO". Caso contrário, o resultado será FAIL.
Campo de união _score. _score pode ser apenas de um dos tipos a seguir:
score	integer Apenas saída. A pontuação de similaridade semântica. Pode ser 0, 1, 2, 3 ou 4.

ToolInvocationResult

Representação JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

Campos
outcome	enum (Outcome) Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o parameter_correctness_score ao limite. Se a pontuação for igual ou maior que o limite, o resultado será "APROVADO". Caso contrário, o resultado será FAIL.
explanation	string Apenas saída. Uma explicação em texto livre para o resultado da invocação da ferramenta.
Campo de união _parameter_correctness_score. _parameter_correctness_score pode ser apenas de um dos tipos a seguir:
parameterCorrectnessScore	number Apenas saída. A pontuação de correção do parâmetro de invocação da ferramenta. Isso indica a porcentagem de parâmetros da chamada de ferramenta esperada que também estavam presentes na chamada de ferramenta real.

HallucinationResult

Representação JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: justificada. Pontuação 0: não justificada. Pontuação -1: sem declaração para avaliar.
explanation	string Apenas saída. A explicação da pontuação de alucinação.
Campo de união _score. _score pode ser apenas de um dos tipos a seguir:
score	integer Apenas saída. A pontuação de alucinação. Pode ser -1, 0 ou 1.

ToolCallLatency

Representação JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

Campos
tool	string Apenas saída. O nome da ferramenta que foi executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string Apenas saída. O nome de exibição da ferramenta.
startTime	string (Timestamp format) Apenas saída. O horário de início da execução da chamada de função. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Apenas saída. O horário de término da execução da chamada de função. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Apenas saída. A latência da execução da chamada de ferramenta. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

OverallToolInvocationResult

Representação JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

Campos
outcome	enum (Outcome) Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o tool_invocation_score com o overall_tool_invocation_correctness_threshold. Se a pontuação for igual ou maior que o limite, o resultado será "APROVADO". Caso contrário, o resultado será FAIL.
Campo de união _tool_invocation_score. _tool_invocation_score pode ser apenas de um dos tipos a seguir:
toolInvocationScore	number A pontuação geral de invocação de ferramentas para esta vez. Isso indica a porcentagem geral de ferramentas do turno esperado que foram realmente invocadas.

EvaluationErrorInfo

Representação JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

Campos
errorType	enum (ErrorType) Apenas saída. O tipo de erro.
errorMessage	string Apenas saída. A mensagem de erro.
sessionId	string Apenas saída. O ID da sessão da conversa que causou o erro.
userFacingErrorMessage	string Apenas saída. A mensagem de erro voltada ao usuário.

SpanLatency

Representação JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

Campos
type	enum (Type) Apenas saída. O tipo de intervalo.
displayName	string Apenas saída. O nome de exibição do intervalo. Aplicável a intervalos de ferramentas e proteções.
startTime	string (Timestamp format) Apenas saída. O horário de início do intervalo. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Apenas saída. O horário de término do intervalo. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Apenas saída. A latência do período. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
Campo de união identifier. O identificador do item específico com base no tipo dele. identifier pode ser apenas de um dos tipos a seguir:
resource	string Apenas saída. O nome do recurso dos períodos de proteção ou ferramenta.
toolset	object (ToolsetTool) Apenas saída. O identificador da ferramenta do conjunto de ferramentas.
model	string Apenas saída. O nome do intervalo do LLM.
callback	string Apenas saída. O nome do intervalo de retorno de chamada do usuário.

EvaluationExpectationResult

Representação JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

Campos
evaluationExpectation	string Apenas saída. A expectativa de avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string Apenas saída. O comando usado para a avaliação.
outcome	enum (Outcome) Apenas saída. O resultado da expectativa de avaliação.
explanation	string Apenas saída. A explicação do resultado.

ScenarioResult

Representação JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

Campos
conversation	string Apenas saída. A conversa gerada no cenário.
task	string Apenas saída. A tarefa usada ao executar o cenário para esse resultado.
userFacts[]	object (UserFact) Apenas saída. Os fatos do usuário que foram usados pelo cenário para esse resultado.
expectationOutcomes[]	object (ScenarioExpectationOutcome) Apenas saída. O resultado de cada expectativa.
rubricOutcomes[]	object (ScenarioRubricOutcome) Apenas saída. O resultado da rubrica.
hallucinationResult[]	object (HallucinationResult) Apenas saída. O resultado da verificação de alucinação. Haverá um resultado de alucinação para cada turno na conversa.
taskCompletionResult (deprecated)	object (TaskCompletionResult) Este item foi descontinuado. Apenas saída. O resultado da verificação de conclusão da tarefa.
toolCallLatencies[]	object (ToolCallLatency) Apenas saída. A latência de cada execução de chamada de ferramenta na conversa.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) Apenas saída. O resultado da verificação de satisfação do objetivo do usuário.
spanLatencies[]	object (SpanLatency) Apenas saída. A latência dos intervalos na conversa.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Apenas saída. Os resultados das expectativas de avaliação.
Campo de união _all_expectations_satisfied. _all_expectations_satisfied pode ser apenas de um dos tipos a seguir:
allExpectationsSatisfied	boolean Apenas saída. Se todas as expectativas foram atendidas para essa vez.
Campo de união _task_completed. _task_completed pode ser apenas de um dos tipos a seguir:
taskCompleted	boolean Apenas saída. Indica se a tarefa foi concluída nesta rodada. É uma combinação de todas as expectativas atendidas, sem alucinações e com satisfação da meta do usuário.

ScenarioExpectationOutcome

Representação JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

Campos
expectation	object (ScenarioExpectation) Apenas saída. A expectativa que foi avaliada.
outcome	enum (Outcome) Apenas saída. O resultado do ScenarioExpectation.
Campo de união result. O resultado da expectativa. result pode ser apenas de um dos tipos a seguir:
observedToolCall	object (ObservedToolCall) Apenas saída. A chamada de ferramenta observada.
observedAgentResponse	object (Message) Apenas saída. A resposta observada do agente.

ObservedToolCall

Representação JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

Campos
toolCall	object (ToolCall) Apenas saída. A chamada de ferramenta observada.
toolResponse	object (ToolResponse) Apenas saída. A resposta da ferramenta observada.

ScenarioRubricOutcome

Representação JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

Campos
rubric	string Apenas saída. A rubrica usada para avaliar a conversa.
scoreExplanation	string Apenas saída. A resposta do avaliador à rubrica.
Campo de união _score. _score pode ser apenas de um dos tipos a seguir:
score	number Apenas saída. A pontuação da conversa em relação à rubrica.

TaskCompletionResult

Representação JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: tarefa concluída. Pontuação 0: tarefa não concluída. Pontuação -1: meta do usuário indefinida.
explanation	string Apenas saída. A explicação da pontuação de conclusão da tarefa.
Campo de união _score. _score pode ser apenas de um dos tipos a seguir:
score	integer Apenas saída. A pontuação de conclusão da tarefa. Pode ser -1, 0 ou 1

UserGoalSatisfactionResult

Representação JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Apenas saída. O rótulo associado a cada pontuação. Pontuação 2: transferência gradual. Pontuação 1: tarefa do usuário concluída. Pontuação 0: tarefa do usuário não concluída. Pontuação -1: tarefa do usuário não especificada.
explanation	string Apenas saída. A explicação da pontuação de satisfação da tarefa do usuário.
Campo de união _score. _score pode ser apenas de um dos tipos a seguir:
score	integer Apenas saída. A pontuação de satisfação da tarefa do usuário. Pode ser -1, 0, 1 ou 2.

EvaluationPersona

Representação JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

Campos
name	string Obrigatório. O identificador exclusivo da persona. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string Opcional. A descrição da persona.
displayName	string Obrigatório. O nome de exibição da persona. Exclusivo em um app.
personality	string Obrigatório. Uma instrução para o agente sobre como se comportar na avaliação.
speechConfig	object (SpeechConfig) Opcional. Configuração de como a persona soa (configurações de TTS).

SpeechConfig

Representação JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

Campos
speakingRate	number Opcional. A velocidade da fala. 1,0 é normal. Valores menores são mais lentos (por exemplo, 0,8), e valores maiores são mais rápidos (por exemplo, 1,5). Útil para testar como o agente lida com pessoas que falam rápido.
environment	enum (BackgroundEnvironment) Opcional. O ambiente de áudio simulado.
voiceId	string Opcional. O identificador/sotaque de voz específico a ser usado. Exemplo: "en-US-Wavenet-D" ou "en-GB-Standard-A"

Status

Representação JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

Campos
code	integer O código de status, que precisa ser um valor de enumeração de google.rpc.Code.
message	string Uma mensagem de erro em inglês para o desenvolvedor. Qualquer mensagem de erro para o usuário precisa ser localizada e enviada no campo google.rpc.Status.details, ou localizada pelo cliente.
details[]	object Uma lista de mensagens com os detalhes do erro. Há um conjunto comum de tipos de mensagens para as APIs usarem. Um objeto contendo campos de um tipo arbitrário. Um campo adicional "@type" contém uma URI que identifica o tipo. Exemplo: { "id": 1234, "@type": "types.example.com/standard/id" }.

Qualquer

Representação JSON
{ "typeUrl": string, "value": string }

Campos
typeUrl	string Identifica o tipo da mensagem Protobuf serializada com uma referência de URI que consiste em um prefixo que termina em uma barra e o nome de tipo totalmente qualificado. Exemplo: type.googleapis.com/google.protobuf.StringValue Essa string precisa conter pelo menos um caractere /, e o conteúdo após o último / precisa ser o nome totalmente qualificado do tipo na forma canônica, sem um ponto inicial. Não escreva um esquema nessas referências de URI para que os clientes não tentem entrar em contato com elas. O prefixo é arbitrário, e as implementações do Protobuf devem remover tudo até o último /, inclusive, para identificar o tipo. type.googleapis.com/ é um prefixo padrão comum exigido por algumas implementações legadas. Esse prefixo não indica a origem do tipo, e não é esperado que os URIs que o contêm respondam a solicitações. Todas as strings de URL de tipo precisam ser referências de URI válidas com a restrição adicional (para o formato de texto) de que o conteúdo da referência deve consistir apenas em caracteres alfanuméricos, escapes codificados por porcentagem e caracteres no seguinte conjunto (sem incluir as crases externas): /-.~_!$&()*+,;=. Embora permitamos codificações de porcentagem, as implementações não devem remover o escape delas para evitar confusão com analisadores atuais. Por exemplo, type.googleapis.com%2FFoo deve ser rejeitado. No design original do Any, foi considerada a possibilidade de iniciar um serviço de resolução de tipos nesses URLs, mas o Protobuf nunca implementou um e considera o contato com esses URLs problemático e um possível problema de segurança. Não tente entrar em contato com URLs de tipo.
value	string (bytes format) Contém uma serialização Protobuf do tipo descrito por type_url. Uma string codificada em base64.

EvaluationMetricsThresholds

Representação JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

Campos
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) Opcional. Os limites das métricas de avaliação de dados de referência.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) Este item foi descontinuado. Opcional. Descontinuado: use golden_hallucination_metric_behavior. O comportamento da métrica de alucinação é usado atualmente para avaliações de ouro.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Opcional. O comportamento da métrica de alucinação para avaliações de ouro.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Opcional. O comportamento da métrica de alucinação para avaliações de cenário.

GoldenEvaluationMetricsThresholds

Representação JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

Campos
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) Opcional. Os limites das métricas no nível da interação.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) Opcional. Os limites das métricas de nível de expectativa.
toolMatchingSettings	object (ToolMatchingSettings) Opcional. As configurações de correspondência de ferramentas. Uma chamada de ferramenta extra é uma chamada de ferramenta presente na execução, mas que não corresponde a nenhuma chamada de ferramenta na expectativa de ouro.

ToolMatchingSettings

Representação JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

Campos
extraToolCallBehavior	enum (ExtraToolCallBehavior) Opcional. Comportamento para chamadas de ferramentas extras. O padrão é FAIL.

EvaluationConfig

Representação JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

Campos
inputAudioConfig	object (InputAudioConfig) Opcional. Configuração para processar o áudio de entrada.
outputAudioConfig	object (OutputAudioConfig) Opcional. Configuração para gerar o áudio de saída.
evaluationChannel	enum (EvaluationChannel) Opcional. O canal a ser avaliado.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) Opcional. Especifica se a avaliação deve usar chamadas de ferramentas reais ou falsas.

InputAudioConfig

Representação JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

Campos
audioEncoding	enum (AudioEncoding) Obrigatório. A codificação dos dados de áudio de entrada.
sampleRateHertz	integer Obrigatório. A taxa de amostragem (em Hertz) dos dados de áudio de entrada.
noiseSuppressionLevel	string Opcional. Define se a supressão de ruído será ativada no áudio de entrada. Os valores disponíveis são "low", "moderate", "high", "very_high".

OutputAudioConfig

Representação JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

Campos
audioEncoding	enum (AudioEncoding) Obrigatório. A codificação dos dados de áudio de saída.
sampleRateHertz	integer Obrigatório. A taxa de amostragem (em Hertz) dos dados de áudio de saída.

EvaluationMetricsConfig

Representação JSON
{ "goldenMetricsConfig": { object (GoldenMetricsConfig) }, "scenarioMetricsConfig": { object (ScenarioMetricsConfig) } }

Campos
goldenMetricsConfig	object (GoldenMetricsConfig) Opcional. Configuração das métricas de ouro para a avaliação.
scenarioMetricsConfig	object (ScenarioMetricsConfig) Opcional. Configuração das métricas de cenário para a avaliação.

GoldenMetricsConfig

Representação JSON
{ "semanticSimilarityMetricsConfig": { object (SemanticSimilarityMetricsConfig) }, "toolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) }, "stepToolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) } }

Campos
semanticSimilarityMetricsConfig	object (SemanticSimilarityMetricsConfig) Opcional. Configuração global para métricas de similaridade semântica.
toolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Opcional. Configuração para métricas de correção da ferramenta no nível da vez.
stepToolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Opcional. Configuração para métricas de correção de ferramentas no nível da etapa.

ToolCorrectnessMetricsConfig

Representação JSON
{ "enableToolCorrectnessMetrics": boolean }

Campos
enableToolCorrectnessMetrics	boolean Opcional. Se as métricas de correção da ferramenta serão calculadas para a avaliação.

ScenarioMetricsConfig

Representação JSON
{ "userGoalMetMetricsConfig": { object (UserGoalMetMetricsConfig) }, "expectationsMetMetricsConfig": { object (ExpectationsMetMetricsConfig) } }

Campos
userGoalMetMetricsConfig	object (UserGoalMetMetricsConfig) Opcional. Configuração para métricas de objetivo do usuário atingido.
expectationsMetMetricsConfig	object (ExpectationsMetMetricsConfig) Opcional. Configuração para métricas de nível de expectativa.

UserGoalMetMetricsConfig

Representação JSON
{ "enableUserGoalMetMetrics": boolean }

Campos
enableUserGoalMetMetrics	boolean Opcional. Se as métricas de meta do usuário atendida devem ser calculadas para a avaliação.

ExpectationsMetMetricsConfig

Representação JSON
{ "enableExpectationsMetMetrics": boolean }

Campos
enableExpectationsMetMetrics	boolean Opcional. Se as métricas de nível de expectativa serão calculadas para a avaliação.

NullValue

Representa um null JSON.

NullValue é um sentinela que usa uma enumeração com apenas um valor para representar o valor nulo da união de tipos Value.

Um campo do tipo NullValue com qualquer valor diferente de 0 é considerado inválido. A maioria dos serializadores ProtoJSON vai emitir um Value com um null_value definido como um null JSON, independente do valor inteiro, e, portanto, fará uma viagem de ida e volta para um valor 0.

Tipos enumerados
NULL_VALUE	Valor nulo.

ComparisonType

Tipos de comparação compatíveis para verificar a resposta do agente.

Tipos enumerados
COMPARISON_TYPE_UNSPECIFIED	Tipo de comparação não especificado. O comportamento padrão é SEMANTIC_SIMILARITY para respostas do agente e chamadas de função.
EQUALS	Correspondência exata de string.
CONTAINS	Correspondência de substring (verifica se a string esperada está contida na resposta real).
SEMANTIC_SIMILARITY	Correspondência de similaridade semântica (avalia a similaridade de significado usando um LLM).

SemanticSimilarityChannel

Canal de similaridade semântica a ser usado.

Tipos enumerados
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	Métrica não especificada. O padrão é TEXT.
TEXT	Use a similaridade semântica de texto.
AUDIO	Usar a similaridade semântica de áudio.

HallucinationMetricBehavior

O comportamento da métrica de alucinação. Independente do comportamento, a métrica sempre será calculada. A diferença é que, quando desativada, a métrica não é usada para calcular a pontuação geral da avaliação.

Tipos enumerados
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	Comportamento não especificado da métrica de alucinação.
DISABLED	Desativa a métrica de alucinação.
ENABLED	Ative a métrica de alucinação.

TaskCompletionBehavior

O comportamento esperado da tarefa do usuário. Isso é usado para determinar se o cenário foi bem-sucedido.

Tipos enumerados
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED	Comportamento não especificado. O padrão é TASK_SATISFIED.
TASK_SATISFIED	A tarefa do usuário precisa ser concluída.
TASK_REJECTED	A tarefa do usuário precisa ser rejeitada.

UserGoalBehavior

O comportamento esperado do objetivo do usuário. Isso é usado para determinar se o cenário foi bem-sucedido.

Tipos enumerados
USER_GOAL_BEHAVIOR_UNSPECIFIED	Comportamento não especificado. O padrão é USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED	O objetivo do usuário precisa ser concluído.
USER_GOAL_REJECTED	O objetivo do usuário precisa ser rejeitada.
USER_GOAL_IGNORED	Ignorar o status do objetivo do usuário.

ScenarioExecutionMode

O modo de execução para avaliações de cenário.

Tipos enumerados
SCENARIO_EXECUTION_MODE_UNSPECIFIED	Modo de execução não especificado. O padrão é QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED	Modo otimizado para qualidade.
SPEED_OPTIMIZED	Modo otimizado para velocidade.

Resultado

O resultado da avaliação ou expectativa.

Tipos enumerados
OUTCOME_UNSPECIFIED	O resultado da avaliação não foi especificado.
PASS	Avaliação/expectativa aprovada. No caso de uma avaliação, isso significa que todas as expectativas foram atendidas.
FAIL	Falha na avaliação/expectativa. No caso de uma avaliação, isso significa que pelo menos uma expectativa não foi atendida.
SKIPPED	A avaliação/expectativa foi ignorada.

ErrorType

O tipo de erro

Tipos enumerados
ERROR_TYPE_UNSPECIFIED	Tipo de erro não especificado.
RUNTIME_FAILURE	Falha durante a execução do ambiente de execução.
CONVERSATION_RETRIEVAL_FAILURE	Falha ao recuperar a conversa do ambiente de execução do CES.
METRIC_CALCULATION_FAILURE	Falha ao calcular uma métrica / resultado.
EVALUATION_UPDATE_FAILURE	Falha ao atualizar a avaliação.
QUOTA_EXHAUSTED	A cota acabou.
USER_SIMULATION_FAILURE	Falha durante a simulação de usuários.

Tipo

O tipo de intervalo. Outros valores podem ser adicionados no futuro.

Tipos enumerados
TYPE_UNSPECIFIED	Valor padrão. Esse valor não é usado.
TOOL	Intervalo de chamada de ferramenta.
USER_CALLBACK	Intervalo de retorno de chamada do usuário.
GUARDRAIL	Intervalo de proteção.
LLM	Intervalo de LLM.

BackgroundEnvironment

Ambiente de áudio simulado.

Tipos enumerados
BACKGROUND_ENVIRONMENT_UNSPECIFIED	Ambiente em segundo plano não especificado.
CALL_CENTER	Ambiente de call center.
TRAFFIC	Ambiente de ruído de tráfego.
KIDS_NOISE	Ambiente com ruído de crianças.
CAFE	Ambiente de café.

ExecutionState

O estado da execução do resultado da avaliação.

Tipos enumerados
EXECUTION_STATE_UNSPECIFIED	O estado de execução do resultado da avaliação não foi especificado.
QUEUED	A execução do resultado da avaliação está na fila.
RUNNING	A execução do resultado da avaliação está em andamento.
COMPLETED	A execução do resultado da avaliação foi concluída.
ERROR	A execução do resultado da avaliação falhou devido a um erro interno.
CANCELLED	A execução do resultado da avaliação foi cancelada.

ExtraToolCallBehavior

Define o comportamento quando uma chamada de ferramenta extra é encontrada. Uma chamada de ferramenta extra é uma chamada de ferramenta presente na execução, mas que não corresponde a nenhuma chamada de ferramenta na expectativa de ouro.

Tipos enumerados
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	Comportamento não especificado. O padrão é FAIL.
FAIL	Falha na avaliação se uma chamada de ferramenta extra for encontrada.
ALLOW	Permita a chamada extra da ferramenta.

AudioEncoding

"AudioEncoding" especifica o formato de codificação dos dados de áudio.

Tipos enumerados
AUDIO_ENCODING_UNSPECIFIED	Codificação de áudio não especificada.
LINEAR16	Codificação de áudio PCM linear de 16 bits.
MULAW	Amostras de 8 bits resultantes do compand de amostras de áudio de 14 bits em que foi usado G.711 PCMU/mu-law.
ALAW	Amostras de 8 bits resultantes do compand de amostras de áudio de 14 bits em que foi usado G.711 PCMU/A-law.

EvaluationChannel

O canal a ser avaliado.

Tipos enumerados
EVALUATION_CHANNEL_UNSPECIFIED	Canal de avaliação não especificado.
TEXT	Canal de avaliação somente de texto.
AUDIO	Canal de avaliação de áudio.

EvaluationToolCallBehaviour

Configura o comportamento de chamada de função para execuções de avaliação.

Tipos enumerados
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	Comportamento de chamada de ferramenta não especificado. O padrão é chamadas de função reais.
REAL	Use chamadas de função reais.
FAKE	Usar chamadas de ferramentas falsas.

GoldenRunMethod

O método usado para executar a avaliação.

Tipos enumerados
GOLDEN_RUN_METHOD_UNSPECIFIED	O método de execução não foi especificado.
STABLE	Execute a avaliação como uma repetição estável, em que cada turno é uma sessão única com os turnos esperados anteriores injetados como contexto.
NAIVE	Execute a avaliação como uma repetição simples, em que a execução é uma única sessão sem contexto injetado.

OutcomeMetadata

Metadados sobre o resultado da avaliação.

Tipos enumerados
OUTCOME_METADATA_UNSPECIFIED	Metadados de resultado não especificados.
GRACEFUL_HANDOFF	A avaliação resultou em uma transferência adequada para um representante humano.

Esquema de saída

Uma avaliação representa todas as informações necessárias para simular e avaliar um agente.

Avaliação

Representação JSON

{ "name": string, "displayName": string, "description": string, "tags": [ string ], "evaluationDatasets": [ string ], "createTime": string, "createdBy": string, "updateTime": string, "lastUpdatedBy": string, "evaluationRuns": [ string ], "etag": string, "aggregatedMetrics": { object (AggregatedMetrics) }, "lastCompletedResult": { object (EvaluationResult) }, "invalid": boolean, "lastTenResults": [ { object (EvaluationResult) } ], "evaluationMetricsThresholdOverride": { object (EvaluationMetricsThresholds) }, "evaluationMetricsConfigOverride": { object (EvaluationMetricsConfig) }, // Union field inputs can be only one of the following: "golden": { object (Golden) }, "scenario": { object (Scenario) } // End of list of possible types for union field inputs. }

Campos
name	string Identificador. O identificador exclusivo desta avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName	string Obrigatório. Nome de exibição da avaliação definido pelo usuário. Exclusivo em um app.
description	string Opcional. Descrição da avaliação definida pelo usuário.
tags[]	string Opcional. Tags definidas pelo usuário para categorizar a avaliação.
evaluationDatasets[]	string Apenas saída. Lista de conjuntos de dados de avaliação a que a avaliação pertence. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime	string (Timestamp format) Apenas saída. Carimbo de data/hora em que a avaliação foi criada. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
createdBy	string Apenas saída. O usuário que criou a avaliação.
updateTime	string (Timestamp format) Apenas saída. Carimbo de data/hora da última atualização da avaliação. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
lastUpdatedBy	string Apenas saída. O usuário que atualizou a avaliação por último.
evaluationRuns[]	string Apenas saída. As EvaluationRuns associadas a esta avaliação.
etag	string Apenas saída. Etag usada para garantir que o objeto não mudou durante uma operação de leitura-modificação-gravação. Se a ETag estiver vazia, a atualização vai substituir todas as mudanças simultâneas.
aggregatedMetrics	object (AggregatedMetrics) Apenas saída. As métricas agregadas dessa avaliação em todas as execuções.
lastCompletedResult	object (EvaluationResult) Apenas saída. O resultado mais recente da avaliação.
invalid	boolean Apenas saída. Se a avaliação é inválida. Isso pode acontecer se uma avaliação estiver fazendo referência a uma ferramenta, um conjunto de ferramentas ou um agente que foi excluído.
lastTenResults[]	object (EvaluationResult) Apenas saída. Os últimos 10 resultados de avaliação. Isso só será preenchido se include_last_ten_results estiver definido como "true" em ListEvaluationsRequest ou GetEvaluationRequest.
evaluationMetricsThresholdOverride	object (EvaluationMetricsThresholds) Opcional. Substitui os limites das métricas para essa avaliação específica.
evaluationMetricsConfigOverride	object (EvaluationMetricsConfig) Opcional. Substitui a configuração de métricas para essa avaliação específica.
Campo de união inputs. As entradas para a avaliação inputs podem ser apenas uma das seguintes opções:
golden	object (Golden) Opcional. As etapas de referência a serem avaliadas.
scenario	object (Scenario) Opcional. A configuração de um cenário.

Pôr do sol

Representação JSON
{ "turns": [ { object (GoldenTurn) } ], "evaluationExpectations": [ string ] }

Campos
turns[]	object (GoldenTurn) Obrigatório. As rodadas de ouro necessárias para reproduzir uma conversa de ouro. O número máximo de turnos permitidos é 100.
evaluationExpectations[]	string Opcional. As expectativas de avaliação para avaliar a conversa reproduzida. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representação JSON
{ "steps": [ { object (Step) } ], "rootSpan": { object (Span) }, "turnLevelMetricsThresholdsOverride": { object (TurnLevelMetricsThresholds) }, "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior) }

Campos
steps[]	object (Step) Obrigatório. As etapas necessárias para reproduzir uma conversa de ouro.
rootSpan	object (Span) Opcional. O período raiz da rodada de ouro para processar e manter informações de áudio. O URI do áudio precisa conter áudio salvo com uma taxa de amostragem de 16 kHz.
turnLevelMetricsThresholdsOverride	object (TurnLevelMetricsThresholds) Opcional. Substituições para limites de métricas no nível da rodada.
hallucinationMetricBehaviorOverride	enum (HallucinationMetricBehavior) Opcional. Substituição do comportamento da métrica de alucinação no nível da vez.

Etapa

Representação JSON
{ // Union field step can be only one of the following: "userInput": { object (SessionInput) }, "agentTransfer": { object (AgentTransfer) }, "expectation": { object (GoldenExpectation) } // End of list of possible types for union field step. }

Campos
Campo de união step. A etapa a ser realizada. step pode ser apenas de um dos tipos a seguir:
userInput	object (SessionInput) Opcional. Entrada do usuário para a conversa.
agentTransfer	object (AgentTransfer) Opcional. Transfira a conversa para outro agente.
expectation	object (GoldenExpectation) Opcional. Executa uma expectativa no turno atual.

SessionInput

Representação JSON
{ "willContinue": boolean, // Union field input_type can be only one of the following: "text": string, "dtmf": string, "audio": string, "toolResponses": { object (ToolResponses) }, "image": { object (Image) }, "blob": { object (Blob) }, "variables": { object }, "event": { object (Event) } // End of list of possible types for union field input_type. }

Campos
willContinue	boolean Opcional. Uma flag para indicar se a mensagem atual é um fragmento de uma entrada maior na sessão de streaming bidirecional. Quando definido como true, o agente adia o processamento até receber uma mensagem subsequente em que will_continue seja false ou até que o sistema detecte um endpoint na entrada de áudio. OBSERVAÇÃO: esse campo não se aplica a entradas de áudio e DTMF, já que elas são sempre processadas automaticamente com base no sinal de finalização.
Campo de união input_type. O tipo da entrada. input_type pode ser apenas de um dos tipos a seguir:
text	string Opcional. Dados de texto do usuário final.
dtmf	string Opcional. Dígitos DTMF do usuário final.
audio	string (bytes format) Opcional. Dados de áudio do usuário final. Uma string codificada em base64.
toolResponses	object (ToolResponses) Opcional. Resultados da execução das chamadas de função do cliente.
image	object (Image) Opcional. Dados de imagem do usuário final.
blob	object (Blob) Opcional. Dados de blob do usuário final.
variables	object (Struct format) Opcional. Variáveis contextuais da sessão, com chave pelo nome. Somente as variáveis declaradas no app serão usadas pelo agente da CES. Variáveis não reconhecidas ainda serão enviadas ao [agente do Dialogflow][Agent.RemoteDialogflowAgent] como parâmetros de sessão adicionais.
event	object (Event) Opcional. Entrada de evento.

ToolResponses

Representação JSON
{ "toolResponses": [ { object (ToolResponse) } ] }

Campos
toolResponses[]	object (ToolResponse) Opcional. A lista de resultados da execução da ferramenta.

ToolResponse

Representação JSON
{ "id": string, "displayName": string, "response": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Campos
id	string Opcional. O código correspondente do tool call a que a resposta se refere.
displayName	string Apenas saída. Nome de exibição da ferramenta.
response	object (Struct format) Obrigatório. O resultado da execução da ferramenta no formato de objeto JSON. Use a chave "output" para especificar a resposta da ferramenta e a chave "error" para especificar os detalhes do erro (se houver). Se as chaves "output" e "error" não forem especificadas, toda a "response" será tratada como resultado da execução da ferramenta.
parentToolCallId	string Apenas saída. O ID da chamada de função que causou esta, quando ela foi emitida por um subagente trabalhando em nome de uma chamada principal. Vazio para chamadas de nível superior. Permite que um cliente agrupe o trabalho de um subagente na chamada que o iniciou, em vez de renderizar cada etapa como um irmão.
agentName	string Apenas saída. Nome legível por humanos do agente que emitiu essa chamada, por exemplo, "Arquiteto de contratos". Fica vazio quando o agente raiz emite o token.
Campo de união tool_identifier. O identificador da ferramenta que foi executada. Ela pode ser uma ferramenta persistente ou de um conjunto de ferramentas. tool_identifier pode ser apenas de um dos tipos a seguir:
tool	string Opcional. O nome da ferramenta a ser executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Opcional. A ferramenta do conjunto de ferramentas que foi executada.

ToolsetTool

Representação JSON
{ "toolset": string, "toolId": string }

Campos
toolset	string Obrigatório. O nome do recurso do Toolset de que essa ferramenta deriva. Formato: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId	string Opcional. O ID da ferramenta para filtrar as ferramentas e recuperar o esquema.

Struct

Representação JSON
{ "fields": { string: value, ... } }

Campos
fields	map (key: string, value: value (Value format)) Mapa não ordenado de valores com tipagem dinâmica. Um objeto com uma lista de pares "key": value. Exemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representação JSON
{ "key": string, "value": value }

Campos
key	string
value	value (Value format)

Valor

Representação JSON
{ // Union field kind can be only one of the following: "nullValue": null, "numberValue": number, "stringValue": string, "boolValue": boolean, "structValue": { object }, "listValue": array // End of list of possible types for union field kind. }

Campos
Campo de união kind. O tipo de valor. kind pode ser apenas de um dos tipos a seguir:
nullValue	null Representa um null JSON.
numberValue	number Representa um número JSON. Não pode ser NaN, Infinity ou -Infinity, porque esses valores não são compatíveis com JSON. Isso também não pode representar valores Int64 grandes, já que o formato JSON geralmente não os aceita no tipo de número.
stringValue	string Representa uma string JSON.
boolValue	boolean Representa um booleano JSON (literal true ou false em JSON).
structValue	object (Struct format) Representa um objeto JSON.
listValue	array (ListValue format) Representa uma matriz JSON.

ListValue

Representação JSON
{ "values": [ value ] }

Campos
values[]	value (Value format) Campo repetido de valores digitados dinamicamente.

Imagem

Representação JSON
{ "mimeType": string, "data": string }

Campos
mimeType	string Obrigatório. O tipo MIME padrão da IANA dos dados de origem. Os tipos de imagem compatíveis incluem: * image/png * image/jpeg * image/webp
data	string (bytes format) Obrigatório. Bytes brutos da imagem. Uma string codificada em base64.

Blob

Representação JSON
{ "mimeType": string, "data": string }

Campos
mimeType	string Obrigatório. O tipo MIME padrão da IANA dos dados de origem.
data	string (bytes format) Obrigatório. Bytes brutos do blob. Uma string codificada em base64.

Evento

Representação JSON
{ "event": string }

Campos
event	string Obrigatório. O nome do evento.

AgentTransfer

Representação JSON
{ "targetAgent": string, "displayName": string }

Campos
targetAgent	string Obrigatório. O agente para quem a conversa está sendo transferida. O agente vai cuidar da conversa a partir desse ponto. Formato: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName	string Apenas saída. Nome de exibição do agente.

GoldenExpectation

Representação JSON

{ "note": string, "skipEvaluation": boolean, "expectationLevelMetricsThresholdsOverride": { object (ExpectationLevelMetricsThresholds) }, "agentResponseSemanticSimilarityMetricsConfigOverride": { object (SemanticSimilarityMetricsConfig) }, "agentResponseHallucinationMetricsConfigOverride": { object (HallucinationMetricsConfig) }, "comparisonType": enum (ComparisonType), // Union field condition can be only one of the following: "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentResponse": { object (Message) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "mockToolResponse": { object (ToolResponse) }, "noToolCalls": boolean // End of list of possible types for union field condition. }

Campos
note	string Opcional. Uma observação para esse requisito, útil ao informar quando verificações específicas falham. Por exemplo, "Check_Payment_Tool_Called".
skipEvaluation	boolean Opcional. Se definido como "true", essa expectativa específica não será avaliada.
expectationLevelMetricsThresholdsOverride	object (ExpectationLevelMetricsThresholds) Opcional. Substitui as métricas no nível da etapa.
agentResponseSemanticSimilarityMetricsConfigOverride	object (SemanticSimilarityMetricsConfig) Opcional. Substituições para métricas de similaridade semântica agent_response.
agentResponseHallucinationMetricsConfigOverride	object (HallucinationMetricsConfig) Opcional. Substituições para métricas de alucinação de agent_response.
comparisonType	enum (ComparisonType) Opcional. O tipo de comparação a ser usado na verificação de expectativa.
Campo de união condition. A verificação real a ser realizada. condition pode ser apenas de um dos tipos a seguir:
toolCall	object (ToolCall) Opcional. Verifique se uma ferramenta específica foi chamada com os parâmetros.
toolResponse	object (ToolResponse) Opcional. Verifique se uma ferramenta específica teve a resposta esperada.
agentResponse	object (Message) Opcional. Verifique se o agente respondeu corretamente. A função "agente" está implícita.
agentTransfer	object (AgentTransfer) Opcional. Verifique se o agente transferiu a conversa para outro agente.
updatedVariables	object (Struct format) Opcional. Verifique se o agente atualizou as variáveis de sessão para os valores esperados. Usado também para capturar atualizações de variáveis de agente para avaliações de ouro.
mockToolResponse	object (ToolResponse) Opcional. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.
noToolCalls	boolean Opcional. Verifique se nenhuma ferramenta foi chamada durante essa vez.

ToolCall

Representação JSON
{ "id": string, "displayName": string, "args": { object }, "parentToolCallId": string, "agentName": string, // Union field tool_identifier can be only one of the following: "tool": string, "toolsetTool": { object (ToolsetTool) } // End of list of possible types for union field tool_identifier. }

Campos
id	string Opcional. O identificador exclusivo da chamada de função. Se preenchido, o cliente vai retornar o resultado da execução com o código correspondente em ToolResponse.
displayName	string Apenas saída. Nome de exibição da ferramenta.
args	object (Struct format) Opcional. Os parâmetros e valores de entrada da ferramenta no formato de objeto JSON.
parentToolCallId	string Apenas saída. O ID da chamada de função que causou esta, quando ela foi emitida por um subagente trabalhando em nome de uma chamada principal. Vazio para chamadas de nível superior. Permite que um cliente agrupe o trabalho de um subagente na chamada que o iniciou, em vez de renderizar cada etapa como um irmão.
agentName	string Apenas saída. Nome legível por humanos do agente que emitiu essa chamada, por exemplo, "Arquiteto de contratos". Fica vazio quando o agente raiz emite o token.
Campo de união tool_identifier. O identificador da ferramenta a ser executada. Ela pode ser uma ferramenta persistente ou de um conjunto de ferramentas. tool_identifier pode ser apenas de um dos tipos a seguir:
tool	string Opcional. O nome da ferramenta a ser executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool	object (ToolsetTool) Opcional. A ferramenta do conjunto de ferramentas a ser executada.

Mensagem

Representação JSON
{ "role": string, "chunks": [ { object (Chunk) } ], "eventTime": string }

Campos
role	string Opcional. A função na conversa, por exemplo, usuário, agente.
chunks[]	object (Chunk) Opcional. Conteúdo da mensagem como uma série de partes.
eventTime	string (Timestamp format) Opcional. Carimbo de data/hora em que a mensagem foi enviada ou recebida. Não pode ser usado se a mensagem fizer parte de um example. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

Chunk

Representação JSON

{ // Union field data can be only one of the following: "text": string, "transcript": string, "blob": { object (Blob) }, "payload": { object }, "image": { object (Image) }, "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) }, "agentTransfer": { object (AgentTransfer) }, "updatedVariables": { object }, "defaultVariables": { object } // End of list of possible types for union field data. }

Campos
Campo de união data. Divida os dados em blocos. data pode ser apenas de um dos tipos a seguir:
text	string Opcional. Dados de texto.
transcript	string Opcional. Transcrição associada ao áudio.
blob	object (Blob) Opcional. Dados de blob.
payload	object (Struct format) Opcional. Dados de payload personalizados.
image	object (Image) Opcional. Dados da imagem.
toolCall	object (ToolCall) Opcional. Solicitação de execução de ferramenta.
toolResponse	object (ToolResponse) Opcional. Resposta de execução da ferramenta.
agentTransfer	object (AgentTransfer) Opcional. Evento de transferência do agente.
updatedVariables	object (Struct format) Uma struct representa variáveis que foram atualizadas na conversa, com chaves pelos nomes das variáveis.
defaultVariables	object (Struct format) Uma struct representa variáveis padrão no início da conversa, com chaves de nomes de variáveis.

Carimbo de data/hora

Representação JSON
{ "seconds": string, "nanos": integer }

Campos
seconds	string (int64 format) Representa os segundos do horário UTC desde a época Unix 1970-01-01T00:00:00Z. Precisa estar entre -62135596800 e 253402300799 (o que corresponde a 0001-01-01T00:00:00Z a 9999-12-31T23:59:59Z).
nanos	integer Frações não negativas de um segundo com resolução de nanossegundos. Esse campo é a parte de nanossegundos da duração, não uma alternativa aos segundos. Os valores de segundos negativos com frações ainda precisam ter valores em nanossegundos não negativos que representam períodos posteriores. O valor precisa ser de 0 a 999.999.999 (inclusive).

ExpectationLevelMetricsThresholds

Representação JSON
{ // Union field _tool_invocation_parameter_correctness_threshold can be only one // of the following: "toolInvocationParameterCorrectnessThreshold": number // End of list of possible types for union field // _tool_invocation_parameter_correctness_threshold. }

Campos
Campo de união _tool_invocation_parameter_correctness_threshold. _tool_invocation_parameter_correctness_threshold pode ser apenas de um dos tipos a seguir:
toolInvocationParameterCorrectnessThreshold	number Opcional. O limite de sucesso para a correção de parâmetros de invocação de ferramentas individuais. Precisa ser um número de ponto flutuante entre 0 e 1. O padrão é 1,0.

SemanticSimilarityMetricsConfig

Representação JSON
{ "enableSemanticSimilarityMetrics": boolean }

Campos
enableSemanticSimilarityMetrics	boolean Opcional. Se as métricas de similaridade semântica serão calculadas para a avaliação.

HallucinationMetricsConfig

Representação JSON
{ "enableHallucinationMetrics": boolean }

Campos
enableHallucinationMetrics	boolean Opcional. Se as métricas de alucinação serão calculadas para a avaliação.

Período

Representação JSON
{ "name": string, "startTime": string, "endTime": string, "duration": string, "attributes": { object }, "childSpans": [ { object (Span) } ] }

Campos
name	string Apenas saída. O nome do intervalo.
startTime	string (Timestamp format) Apenas saída. O horário de início do intervalo. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Apenas saída. O horário de término do período. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
duration	string (Duration format) Apenas saída. A duração do período. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
attributes	object (Struct format) Apenas saída. Atributos de chave-valor associados ao intervalo.
childSpans[]	object (Span) Apenas saída. Os intervalos filhos aninhados neste intervalo.

Duração

Representação JSON
{ "seconds": string, "nanos": integer }

Campos
seconds	string (int64 format) Segundos assinados do período. Precisa estar entre -315.576.000.000 e +315.576.000.000 (inclusive). Observação: esses limites são calculados com base em: 60 s/min * 60 min/h * 24 h/dia * 365,25 dias/ano * 10.000 anos
nanos	integer Frações assinadas de um segundo com resolução de nanossegundos do período. Durações menores que um segundo são representadas com um campo seconds 0 e um campo nanos positivo ou negativo. Para durações de um segundo ou mais, um valor diferente de zero para o campo nanos precisa ter o mesmo sinal do campo seconds. Precisa estar entre -999.999.999 e +999.999.999 (inclusive).

TurnLevelMetricsThresholds

Representação JSON

{ "semanticSimilarityChannel": enum (SemanticSimilarityChannel), // Union field _semantic_similarity_success_threshold can be only one of the // following: "semanticSimilaritySuccessThreshold": integer // End of list of possible types for union field // _semantic_similarity_success_threshold. // Union field _overall_tool_invocation_correctness_threshold can be only one // of the following: "overallToolInvocationCorrectnessThreshold": number // End of list of possible types for union field // _overall_tool_invocation_correctness_threshold. }

Campos
semanticSimilarityChannel	enum (SemanticSimilarityChannel) Opcional. O canal de similaridade semântica a ser usado para avaliação.
Campo de união _semantic_similarity_success_threshold. _semantic_similarity_success_threshold pode ser apenas de um dos tipos a seguir:
semanticSimilaritySuccessThreshold	integer Opcional. O limite de sucesso para similaridade semântica. O valor precisa ser um número inteiro entre 0 e 4. O padrão é ">= 3".
Campo de união _overall_tool_invocation_correctness_threshold. _overall_tool_invocation_correctness_threshold pode ser apenas de um dos tipos a seguir:
overallToolInvocationCorrectnessThreshold	number Opcional. O limite de sucesso para a correção geral da invocação da ferramenta. Precisa ser um número de ponto flutuante entre 0 e 1. O padrão é 1,0.

Cenário

Representação JSON
{ "task": string, "userFacts": [ { object (UserFact) } ], "maxTurns": integer, "rubrics": [ string ], "scenarioExpectations": [ { object (ScenarioExpectation) } ], "variableOverrides": { object }, "taskCompletionBehavior": enum (TaskCompletionBehavior), "userGoalBehavior": enum (UserGoalBehavior), "evaluationExpectations": [ string ], "scenarioExecutionMode": enum (ScenarioExecutionMode) }

Campos
task	string Obrigatório. A tarefa que será afetada pelo cenário.
userFacts[]	object (UserFact) Opcional. Os fatos do usuário a serem usados pelo cenário.
maxTurns	integer Opcional. O número máximo de turnos a serem simulados. O valor máximo permitido é 100. O valor padrão é 100.
rubrics[]	string Obrigatório. As rubricas para pontuar o cenário.
scenarioExpectations[]	object (ScenarioExpectation) Obrigatório. O ScenarioExpectations para avaliar a conversa produzida pela simulação do usuário.
variableOverrides	object (Struct format) Opcional. Variáveis / parâmetros de sessão como contexto para a sessão, com chaves pelos nomes das variáveis. Os membros dessa struct vão substituir todos os valores padrão definidos pelo sistema. Observação: esses dados são diferentes dos fatos do usuário, que são informações conhecidas pelo usuário. Variáveis são parâmetros conhecidos pelo agente, ou seja, MDN (número de telefone) transmitido pelo sistema de telefonia.
taskCompletionBehavior (deprecated)	enum (TaskCompletionBehavior) Este item foi descontinuado. Opcional. Obsoleto. Use user_goal_behavior.
userGoalBehavior	enum (UserGoalBehavior) Opcional. O comportamento esperado do objetivo do usuário.
evaluationExpectations[]	string Opcional. As expectativas de avaliação para avaliar a conversa produzida pela simulação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode	enum (ScenarioExecutionMode) Opcional. O modo de execução para avaliações de cenário.

UserFact

Representação JSON
{ "name": string, "value": string }

Campos
name	string Obrigatório. O nome do fato do usuário.
value	string Obrigatório. O valor do fato do usuário.

ScenarioExpectation

Representação JSON
{ // Union field expectation can be only one of the following: "toolExpectation": { object (ToolExpectation) }, "agentResponse": { object (Message) } // End of list of possible types for union field expectation. }

Campos
Campo de união expectation. A expectativa de avaliar a conversa produzida pela simulação. expectation pode ser apenas de um dos tipos a seguir:
toolExpectation	object (ToolExpectation) Opcional. O par de chamada e resposta da ferramenta que será avaliado.
agentResponse	object (Message) Opcional. A resposta do agente a ser avaliada.

ToolExpectation

Representação JSON
{ "expectedToolCall": { object (ToolCall) }, "mockToolResponse": { object (ToolResponse) } }

Campos
expectedToolCall	object (ToolCall) Obrigatório. A chamada de ferramenta esperada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.
mockToolResponse	object (ToolResponse) Obrigatório. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.

AggregatedMetrics

Representação JSON
{ "metricsByAppVersion": [ { object (MetricsByAppVersion) } ] }

Campos
metricsByAppVersion[]	object (MetricsByAppVersion) Apenas saída. Métricas agregadas, agrupadas por ID da versão do app.

MetricsByAppVersion

Representação JSON

{ "appVersionId": string, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ], "passCount": integer, "failCount": integer, "metricsByTurn": [ { object (MetricsByTurn) } ] }

Campos
appVersionId	string Apenas saída. O ID da versão do app.
toolMetrics[]	object (ToolMetrics) Apenas saída. Métricas de cada ferramenta nesta versão do app.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Apenas saída. Métricas de similaridade semântica nesta versão do app.
hallucinationMetrics[]	object (HallucinationMetrics) Apenas saída. Métricas de alucinação nesta versão do app.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Apenas saída. Métricas para latência de chamada de ferramenta nesta versão do app.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Apenas saída. Métricas para latência de turno nesta versão do app.
passCount	integer Apenas saída. O número de vezes que a avaliação foi aprovada.
failCount	integer Apenas saída. O número de vezes que a avaliação falhou.
metricsByTurn[]	object (MetricsByTurn) Apenas saída. Métricas agregadas por turno nessa versão do app.

ToolMetrics

Representação JSON
{ "tool": string, "passCount": integer, "failCount": integer }

Campos
tool	string Apenas saída. O nome da ferramenta.
passCount	integer Apenas saída. O número de vezes que a ferramenta foi aprovada.
failCount	integer Apenas saída. O número de vezes que a ferramenta falhou.

SemanticSimilarityMetrics

Representação JSON
{ "score": number }

Campos
score	number Apenas saída. A pontuação média de similaridade semântica (0 a 4).

HallucinationMetrics

Representação JSON
{ "score": number }

Campos
score	number Apenas saída. A pontuação média de alucinação (de 0 a 1).

ToolCallLatencyMetrics

Representação JSON
{ "tool": string, "averageLatency": string }

Campos
tool	string Apenas saída. O nome da ferramenta.
averageLatency	string (Duration format) Apenas saída. A latência média das chamadas de ferramenta. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

TurnLatencyMetrics

Representação JSON
{ "averageLatency": string }

Campos
averageLatency	string (Duration format) Apenas saída. A latência média dos turnos. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

MetricsByTurn

Representação JSON
{ "turnIndex": integer, "toolMetrics": [ { object (ToolMetrics) } ], "semanticSimilarityMetrics": [ { object (SemanticSimilarityMetrics) } ], "hallucinationMetrics": [ { object (HallucinationMetrics) } ], "toolCallLatencyMetrics": [ { object (ToolCallLatencyMetrics) } ], "turnLatencyMetrics": [ { object (TurnLatencyMetrics) } ] }

Campos
turnIndex	integer Apenas saída. O índice da vez (com base em 0).
toolMetrics[]	object (ToolMetrics) Apenas saída. Métricas para cada ferramenta nesta rodada.
semanticSimilarityMetrics[]	object (SemanticSimilarityMetrics) Apenas saída. Métricas de similaridade semântica neste turno.
hallucinationMetrics[]	object (HallucinationMetrics) Apenas saída. Métricas de alucinação neste turno.
toolCallLatencyMetrics[]	object (ToolCallLatencyMetrics) Apenas saída. Métricas de latência de chamada de ferramenta neste turno.
turnLatencyMetrics[]	object (TurnLatencyMetrics) Apenas saída. Métricas de latência do turno.

EvaluationResult

Representação JSON

{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum (Outcome), "evaluationRun": string, "persona": { object (EvaluationPersona) }, "errorInfo": { object (EvaluationErrorInfo) }, "error": { object (Status) }, "initiatedBy": string, "appVersion": string, "appVersionDisplayName": string, "changelog": string, "changelogCreateTime": string, "executionState": enum (ExecutionState), "evaluationMetricsThresholds": { object (EvaluationMetricsThresholds) }, "config": { object (EvaluationConfig) }, "goldenRunMethod": enum (GoldenRunMethod), "rootSpan": { object (Span) }, "outcomeMetadata": enum (OutcomeMetadata), // Union field result can be only one of the following: "goldenResult": { object (GoldenResult) }, "scenarioResult": { object (ScenarioResult) } // End of list of possible types for union field result. }

Campos
name	string Identificador. O identificador exclusivo do resultado da avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName	string Obrigatório. Nome de exibição do resultado da avaliação. Exclusivo em uma avaliação. Por padrão, ele tem o seguinte formato: " resultado - ".
createTime	string (Timestamp format) Apenas saída. Carimbo de data/hora em que o resultado da avaliação foi criado. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluationStatus	enum (Outcome) Apenas saída. O resultado da avaliação. Preenchido apenas se "execution_state" for "COMPLETE".
evaluationRun	string Apenas saída. A execução da avaliação que gerou esse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona	object (EvaluationPersona) Apenas saída. A persona usada para gerar a conversa do resultado da avaliação.
errorInfo	object (EvaluationErrorInfo) Apenas saída. Informações de erro para o resultado da avaliação.
error (deprecated)	object (Status) Este item foi descontinuado. Apenas saída. Descontinuado: use error_info. Erros encontrados durante a execução.
initiatedBy	string Apenas saída. O usuário que iniciou a execução da avaliação que resultou neste resultado.
appVersion	string Apenas saída. A versão do app usada para gerar a conversa que resultou nesse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName	string Apenas saída. O nome de exibição do app_version em que a avaliação foi executada.
changelog	string Apenas saída. O changelog da versão do app em que a avaliação foi executada. Esse campo é preenchido se o usuário executar a avaliação na versão mais recente/em rascunho.
changelogCreateTime	string (Timestamp format) Apenas saída. O horário de criação do changelog da versão do app em que a avaliação foi executada. Esse campo é preenchido se o usuário executar a avaliação na versão mais recente/em rascunho. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionState	enum (ExecutionState) Apenas saída. O estado da execução do resultado da avaliação.
evaluationMetricsThresholds	object (EvaluationMetricsThresholds) Apenas saída. Os limites de avaliação do resultado.
config	object (EvaluationConfig) Apenas saída. A configuração usada na execução da avaliação que resultou nesse resultado.
goldenRunMethod	enum (GoldenRunMethod) Apenas saída. O método usado para executar a avaliação de ouro.
rootSpan	object (Span) Apenas saída. O intervalo principal da execução da avaliação, que inclui informações sobre cada etapa.
outcomeMetadata	enum (OutcomeMetadata) Apenas saída. Os metadados de resultado da avaliação. Preenchido apenas se "execution_state" for "COMPLETE".
Campo de união result. O resultado da avaliação. Preenchido apenas quando o execution_state é COMPLETED. result pode ser apenas de um dos tipos a seguir:
goldenResult	object (GoldenResult) Apenas saída. O resultado de uma avaliação de ouro.
scenarioResult	object (ScenarioResult) Apenas saída. O resultado de uma avaliação de cenário.

GoldenResult

Representação JSON
{ "turnReplayResults": [ { object (TurnReplayResult) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ] }

Campos
turnReplayResults[]	object (TurnReplayResult) Apenas saída. O resultado da execução de cada turno da conversa de referência.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Apenas saída. Os resultados das expectativas de avaliação.

TurnReplayResult

Representação JSON

{ "conversation": string, "expectationOutcome": [ { object (GoldenExpectationOutcome) } ], "hallucinationResult": { object (HallucinationResult) }, "toolInvocationScore": number, "turnLatency": string, "toolCallLatencies": [ { object (ToolCallLatency) } ], "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "overallToolInvocationResult": { object (OverallToolInvocationResult) }, "errorInfo": { object (EvaluationErrorInfo) }, "spanLatencies": [ { object (SpanLatency) } ], // Union field _tool_ordered_invocation_score can be only one of the following: "toolOrderedInvocationScore": number // End of list of possible types for union field // _tool_ordered_invocation_score. }

Campos
conversation	string Apenas saída. A conversa gerada para essa vez.
expectationOutcome[]	object (GoldenExpectationOutcome) Apenas saída. O resultado de cada expectativa.
hallucinationResult	object (HallucinationResult) Apenas saída. O resultado da verificação de alucinação.
toolInvocationScore (deprecated)	number Este item foi descontinuado. Apenas saída. Obsoleto. Use OverallToolInvocationResult.
turnLatency	string (Duration format) Apenas saída. Duração da vez. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
toolCallLatencies[]	object (ToolCallLatency) Apenas saída. A latência de cada chamada de ferramenta no turno.
semanticSimilarityResult	object (SemanticSimilarityResult) Apenas saída. O resultado da verificação de similaridade semântica.
overallToolInvocationResult	object (OverallToolInvocationResult) Apenas saída. O resultado da verificação geral de invocação da ferramenta.
errorInfo	object (EvaluationErrorInfo) Apenas saída. Informações sobre o erro que ocorreu durante essa vez.
spanLatencies[]	object (SpanLatency) Apenas saída. A latência dos períodos na vez.
Campo de união _tool_ordered_invocation_score. _tool_ordered_invocation_score pode ser apenas de um dos tipos a seguir:
toolOrderedInvocationScore	number Apenas saída. A pontuação geral de invocação ordenada da ferramenta para esta vez. Isso indica a porcentagem geral de ferramentas do turno esperado que foram realmente invocadas na ordem esperada.

GoldenExpectationOutcome

Representação JSON

{ "expectation": { object (GoldenExpectation) }, "outcome": enum (Outcome), "semanticSimilarityResult": { object (SemanticSimilarityResult) }, "toolInvocationResult": { object (ToolInvocationResult) }, // Union field result can be only one of the following: "observedToolCall": { object (ToolCall) }, "observedToolResponse": { object (ToolResponse) }, "observedAgentResponse": { object (Message) }, "observedAgentTransfer": { object (AgentTransfer) }, "observedPayload": { object } // End of list of possible types for union field result. }

Campos
expectation	object (GoldenExpectation) Apenas saída. A expectativa que foi avaliada.
outcome	enum (Outcome) Apenas saída. O resultado da expectativa.
semanticSimilarityResult (deprecated)	object (SemanticSimilarityResult) Este item foi descontinuado. Apenas saída. O resultado da verificação de similaridade semântica.
toolInvocationResult	object (ToolInvocationResult) Apenas saída. O resultado da verificação de invocação da ferramenta.
Campo de união result. O resultado da expectativa. result pode ser apenas de um dos tipos a seguir:
observedToolCall	object (ToolCall) Apenas saída. O resultado da expectativa de chamada de ferramenta.
observedToolResponse	object (ToolResponse) Apenas saída. O resultado da expectativa de resposta da ferramenta.
observedAgentResponse	object (Message) Apenas saída. O resultado da expectativa de resposta do agente.
observedAgentTransfer	object (AgentTransfer) Apenas saída. O resultado da expectativa de transferência do agente.
observedPayload	object (Struct format) Apenas saída. Um payload personalizado observado. Não há expectativas para payloads personalizados. Isso é usado apenas para o cálculo de métricas. O resultado é sempre SKIPPED.

SemanticSimilarityResult

Representação JSON
{ "label": string, "explanation": string, "outcome": enum (Outcome), // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Apenas saída. O rótulo associado a cada pontuação. Pontuação 4: totalmente consistente; pontuação 3: quase totalmente consistente; pontuação 2: parcialmente consistente (pequenas omissões); pontuação 1: muito inconsistente (grandes omissões); pontuação 0: completamente inconsistente / contraditória.
explanation	string Apenas saída. A explicação da pontuação de similaridade semântica.
outcome	enum (Outcome) Apenas saída. O resultado da verificação de similaridade semântica. Isso é determinado comparando a pontuação com o semantic_similarity_success_threshold. Se a pontuação for igual ou maior que o limite, o resultado será "APROVADO". Caso contrário, o resultado será FAIL.
Campo de união _score. _score pode ser apenas de um dos tipos a seguir:
score	integer Apenas saída. A pontuação de similaridade semântica. Pode ser 0, 1, 2, 3 ou 4.

ToolInvocationResult

Representação JSON
{ "outcome": enum (Outcome), "explanation": string, // Union field _parameter_correctness_score can be only one of the following: "parameterCorrectnessScore": number // End of list of possible types for union field _parameter_correctness_score. }

Campos
outcome	enum (Outcome) Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o parameter_correctness_score ao limite. Se a pontuação for igual ou maior que o limite, o resultado será "APROVADO". Caso contrário, o resultado será FAIL.
explanation	string Apenas saída. Uma explicação em texto livre para o resultado da invocação da ferramenta.
Campo de união _parameter_correctness_score. _parameter_correctness_score pode ser apenas de um dos tipos a seguir:
parameterCorrectnessScore	number Apenas saída. A pontuação de correção do parâmetro de invocação da ferramenta. Isso indica a porcentagem de parâmetros da chamada de ferramenta esperada que também estavam presentes na chamada de ferramenta real.

HallucinationResult

Representação JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: justificada. Pontuação 0: não justificada. Pontuação -1: sem declaração para avaliar.
explanation	string Apenas saída. A explicação da pontuação de alucinação.
Campo de união _score. _score pode ser apenas de um dos tipos a seguir:
score	integer Apenas saída. A pontuação de alucinação. Pode ser -1, 0 ou 1.

ToolCallLatency

Representação JSON
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string }

Campos
tool	string Apenas saída. O nome da ferramenta que foi executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName	string Apenas saída. O nome de exibição da ferramenta.
startTime	string (Timestamp format) Apenas saída. O horário de início da execução da chamada de função. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Apenas saída. O horário de término da execução da chamada de função. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Apenas saída. A latência da execução da chamada de ferramenta. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

OverallToolInvocationResult

Representação JSON
{ "outcome": enum (Outcome), // Union field _tool_invocation_score can be only one of the following: "toolInvocationScore": number // End of list of possible types for union field _tool_invocation_score. }

Campos
outcome	enum (Outcome) Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o tool_invocation_score com o overall_tool_invocation_correctness_threshold. Se a pontuação for igual ou maior que o limite, o resultado será "APROVADO". Caso contrário, o resultado será FAIL.
Campo de união _tool_invocation_score. _tool_invocation_score pode ser apenas de um dos tipos a seguir:
toolInvocationScore	number A pontuação geral de invocação de ferramentas para esta vez. Isso indica a porcentagem geral de ferramentas do turno esperado que foram realmente invocadas.

EvaluationErrorInfo

Representação JSON
{ "errorType": enum (ErrorType), "errorMessage": string, "sessionId": string, "userFacingErrorMessage": string }

Campos
errorType	enum (ErrorType) Apenas saída. O tipo de erro.
errorMessage	string Apenas saída. A mensagem de erro.
sessionId	string Apenas saída. O ID da sessão da conversa que causou o erro.
userFacingErrorMessage	string Apenas saída. A mensagem de erro voltada ao usuário.

SpanLatency

Representação JSON
{ "type": enum (Type), "displayName": string, "startTime": string, "endTime": string, "executionLatency": string, // Union field identifier can be only one of the following: "resource": string, "toolset": { object (ToolsetTool) }, "model": string, "callback": string // End of list of possible types for union field identifier. }

Campos
type	enum (Type) Apenas saída. O tipo de intervalo.
displayName	string Apenas saída. O nome de exibição do intervalo. Aplicável a intervalos de ferramentas e proteções.
startTime	string (Timestamp format) Apenas saída. O horário de início do intervalo. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime	string (Timestamp format) Apenas saída. O horário de término do intervalo. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency	string (Duration format) Apenas saída. A latência do período. Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
Campo de união identifier. O identificador do item específico com base no tipo dele. identifier pode ser apenas de um dos tipos a seguir:
resource	string Apenas saída. O nome do recurso dos períodos de proteção ou ferramenta.
toolset	object (ToolsetTool) Apenas saída. O identificador da ferramenta do conjunto de ferramentas.
model	string Apenas saída. O nome do intervalo do LLM.
callback	string Apenas saída. O nome do intervalo de retorno de chamada do usuário.

EvaluationExpectationResult

Representação JSON
{ "evaluationExpectation": string, "prompt": string, "outcome": enum (Outcome), "explanation": string }

Campos
evaluationExpectation	string Apenas saída. A expectativa de avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt	string Apenas saída. O comando usado para a avaliação.
outcome	enum (Outcome) Apenas saída. O resultado da expectativa de avaliação.
explanation	string Apenas saída. A explicação do resultado.

ScenarioResult

Representação JSON

{ "conversation": string, "task": string, "userFacts": [ { object (UserFact) } ], "expectationOutcomes": [ { object (ScenarioExpectationOutcome) } ], "rubricOutcomes": [ { object (ScenarioRubricOutcome) } ], "hallucinationResult": [ { object (HallucinationResult) } ], "taskCompletionResult": { object (TaskCompletionResult) }, "toolCallLatencies": [ { object (ToolCallLatency) } ], "userGoalSatisfactionResult": { object (UserGoalSatisfactionResult) }, "spanLatencies": [ { object (SpanLatency) } ], "evaluationExpectationResults": [ { object (EvaluationExpectationResult) } ], // Union field _all_expectations_satisfied can be only one of the following: "allExpectationsSatisfied": boolean // End of list of possible types for union field _all_expectations_satisfied. // Union field _task_completed can be only one of the following: "taskCompleted": boolean // End of list of possible types for union field _task_completed. }

Campos
conversation	string Apenas saída. A conversa gerada no cenário.
task	string Apenas saída. A tarefa usada ao executar o cenário para esse resultado.
userFacts[]	object (UserFact) Apenas saída. Os fatos do usuário que foram usados pelo cenário para esse resultado.
expectationOutcomes[]	object (ScenarioExpectationOutcome) Apenas saída. O resultado de cada expectativa.
rubricOutcomes[]	object (ScenarioRubricOutcome) Apenas saída. O resultado da rubrica.
hallucinationResult[]	object (HallucinationResult) Apenas saída. O resultado da verificação de alucinação. Haverá um resultado de alucinação para cada turno na conversa.
taskCompletionResult (deprecated)	object (TaskCompletionResult) Este item foi descontinuado. Apenas saída. O resultado da verificação de conclusão da tarefa.
toolCallLatencies[]	object (ToolCallLatency) Apenas saída. A latência de cada execução de chamada de ferramenta na conversa.
userGoalSatisfactionResult	object (UserGoalSatisfactionResult) Apenas saída. O resultado da verificação de satisfação do objetivo do usuário.
spanLatencies[]	object (SpanLatency) Apenas saída. A latência dos intervalos na conversa.
evaluationExpectationResults[]	object (EvaluationExpectationResult) Apenas saída. Os resultados das expectativas de avaliação.
Campo de união _all_expectations_satisfied. _all_expectations_satisfied pode ser apenas de um dos tipos a seguir:
allExpectationsSatisfied	boolean Apenas saída. Se todas as expectativas foram atendidas para essa vez.
Campo de união _task_completed. _task_completed pode ser apenas de um dos tipos a seguir:
taskCompleted	boolean Apenas saída. Indica se a tarefa foi concluída nesta rodada. É uma combinação de todas as expectativas atendidas, sem alucinações e com satisfação da meta do usuário.

ScenarioExpectationOutcome

Representação JSON
{ "expectation": { object (ScenarioExpectation) }, "outcome": enum (Outcome), // Union field result can be only one of the following: "observedToolCall": { object (ObservedToolCall) }, "observedAgentResponse": { object (Message) } // End of list of possible types for union field result. }

Campos
expectation	object (ScenarioExpectation) Apenas saída. A expectativa que foi avaliada.
outcome	enum (Outcome) Apenas saída. O resultado do ScenarioExpectation.
Campo de união result. O resultado da expectativa. result pode ser apenas de um dos tipos a seguir:
observedToolCall	object (ObservedToolCall) Apenas saída. A chamada de ferramenta observada.
observedAgentResponse	object (Message) Apenas saída. A resposta observada do agente.

ObservedToolCall

Representação JSON
{ "toolCall": { object (ToolCall) }, "toolResponse": { object (ToolResponse) } }

Campos
toolCall	object (ToolCall) Apenas saída. A chamada de ferramenta observada.
toolResponse	object (ToolResponse) Apenas saída. A resposta da ferramenta observada.

ScenarioRubricOutcome

Representação JSON
{ "rubric": string, "scoreExplanation": string, // Union field _score can be only one of the following: "score": number // End of list of possible types for union field _score. }

Campos
rubric	string Apenas saída. A rubrica usada para avaliar a conversa.
scoreExplanation	string Apenas saída. A resposta do avaliador à rubrica.
Campo de união _score. _score pode ser apenas de um dos tipos a seguir:
score	number Apenas saída. A pontuação da conversa em relação à rubrica.

TaskCompletionResult

Representação JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: tarefa concluída. Pontuação 0: tarefa não concluída. Pontuação -1: meta do usuário indefinida.
explanation	string Apenas saída. A explicação da pontuação de conclusão da tarefa.
Campo de união _score. _score pode ser apenas de um dos tipos a seguir:
score	integer Apenas saída. A pontuação de conclusão da tarefa. Pode ser -1, 0 ou 1

UserGoalSatisfactionResult

Representação JSON
{ "label": string, "explanation": string, // Union field _score can be only one of the following: "score": integer // End of list of possible types for union field _score. }

Campos
label	string Apenas saída. O rótulo associado a cada pontuação. Pontuação 2: transferência gradual. Pontuação 1: tarefa do usuário concluída. Pontuação 0: tarefa do usuário não concluída. Pontuação -1: tarefa do usuário não especificada.
explanation	string Apenas saída. A explicação da pontuação de satisfação da tarefa do usuário.
Campo de união _score. _score pode ser apenas de um dos tipos a seguir:
score	integer Apenas saída. A pontuação de satisfação da tarefa do usuário. Pode ser -1, 0, 1 ou 2.

EvaluationPersona

Representação JSON
{ "name": string, "description": string, "displayName": string, "personality": string, "speechConfig": { object (SpeechConfig) } }

Campos
name	string Obrigatório. O identificador exclusivo da persona. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description	string Opcional. A descrição da persona.
displayName	string Obrigatório. O nome de exibição da persona. Exclusivo em um app.
personality	string Obrigatório. Uma instrução para o agente sobre como se comportar na avaliação.
speechConfig	object (SpeechConfig) Opcional. Configuração de como a persona soa (configurações de TTS).

SpeechConfig

Representação JSON
{ "speakingRate": number, "environment": enum (BackgroundEnvironment), "voiceId": string }

Campos
speakingRate	number Opcional. A velocidade da fala. 1,0 é normal. Valores menores são mais lentos (por exemplo, 0,8), e valores maiores são mais rápidos (por exemplo, 1,5). Útil para testar como o agente lida com pessoas que falam rápido.
environment	enum (BackgroundEnvironment) Opcional. O ambiente de áudio simulado.
voiceId	string Opcional. O identificador/sotaque de voz específico a ser usado. Exemplo: "en-US-Wavenet-D" ou "en-GB-Standard-A"

Status

Representação JSON
{ "code": integer, "message": string, "details": [ { "@type": string, field1: ..., ... } ] }

Campos
code	integer O código de status, que precisa ser um valor de enumeração de google.rpc.Code.
message	string Uma mensagem de erro em inglês para o desenvolvedor. Qualquer mensagem de erro para o usuário precisa ser localizada e enviada no campo google.rpc.Status.details, ou localizada pelo cliente.
details[]	object Uma lista de mensagens com os detalhes do erro. Há um conjunto comum de tipos de mensagens para as APIs usarem. Um objeto contendo campos de um tipo arbitrário. Um campo adicional "@type" contém uma URI que identifica o tipo. Exemplo: { "id": 1234, "@type": "types.example.com/standard/id" }.

Qualquer

Representação JSON
{ "typeUrl": string, "value": string }

Campos
typeUrl	string Identifica o tipo da mensagem Protobuf serializada com uma referência de URI que consiste em um prefixo que termina em uma barra e o nome de tipo totalmente qualificado. Exemplo: type.googleapis.com/google.protobuf.StringValue Essa string precisa conter pelo menos um caractere /, e o conteúdo após o último / precisa ser o nome totalmente qualificado do tipo na forma canônica, sem um ponto inicial. Não escreva um esquema nessas referências de URI para que os clientes não tentem entrar em contato com elas. O prefixo é arbitrário, e as implementações do Protobuf devem remover tudo até o último /, inclusive, para identificar o tipo. type.googleapis.com/ é um prefixo padrão comum exigido por algumas implementações legadas. Esse prefixo não indica a origem do tipo, e não é esperado que os URIs que o contêm respondam a solicitações. Todas as strings de URL de tipo precisam ser referências de URI válidas com a restrição adicional (para o formato de texto) de que o conteúdo da referência deve consistir apenas em caracteres alfanuméricos, escapes codificados por porcentagem e caracteres no seguinte conjunto (sem incluir as crases externas): /-.~_!$&()*+,;=. Embora permitamos codificações de porcentagem, as implementações não devem remover o escape delas para evitar confusão com analisadores atuais. Por exemplo, type.googleapis.com%2FFoo deve ser rejeitado. No design original do Any, foi considerada a possibilidade de iniciar um serviço de resolução de tipos nesses URLs, mas o Protobuf nunca implementou um e considera o contato com esses URLs problemático e um possível problema de segurança. Não tente entrar em contato com URLs de tipo.
value	string (bytes format) Contém uma serialização Protobuf do tipo descrito por type_url. Uma string codificada em base64.

EvaluationMetricsThresholds

Representação JSON
{ "goldenEvaluationMetricsThresholds": { object (GoldenEvaluationMetricsThresholds) }, "hallucinationMetricBehavior": enum (HallucinationMetricBehavior), "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior), "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior) }

Campos
goldenEvaluationMetricsThresholds	object (GoldenEvaluationMetricsThresholds) Opcional. Os limites das métricas de avaliação de dados de referência.
hallucinationMetricBehavior (deprecated)	enum (HallucinationMetricBehavior) Este item foi descontinuado. Opcional. Descontinuado: use golden_hallucination_metric_behavior. O comportamento da métrica de alucinação é usado atualmente para avaliações de ouro.
goldenHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Opcional. O comportamento da métrica de alucinação para avaliações de ouro.
scenarioHallucinationMetricBehavior	enum (HallucinationMetricBehavior) Opcional. O comportamento da métrica de alucinação para avaliações de cenário.

GoldenEvaluationMetricsThresholds

Representação JSON
{ "turnLevelMetricsThresholds": { object (TurnLevelMetricsThresholds) }, "expectationLevelMetricsThresholds": { object (ExpectationLevelMetricsThresholds) }, "toolMatchingSettings": { object (ToolMatchingSettings) } }

Campos
turnLevelMetricsThresholds	object (TurnLevelMetricsThresholds) Opcional. Os limites das métricas no nível da interação.
expectationLevelMetricsThresholds	object (ExpectationLevelMetricsThresholds) Opcional. Os limites das métricas de nível de expectativa.
toolMatchingSettings	object (ToolMatchingSettings) Opcional. As configurações de correspondência de ferramentas. Uma chamada de ferramenta extra é uma chamada de ferramenta presente na execução, mas que não corresponde a nenhuma chamada de ferramenta na expectativa de ouro.

ToolMatchingSettings

Representação JSON
{ "extraToolCallBehavior": enum (ExtraToolCallBehavior) }

Campos
extraToolCallBehavior	enum (ExtraToolCallBehavior) Opcional. Comportamento para chamadas de ferramentas extras. O padrão é FAIL.

EvaluationConfig

Representação JSON
{ "inputAudioConfig": { object (InputAudioConfig) }, "outputAudioConfig": { object (OutputAudioConfig) }, "evaluationChannel": enum (EvaluationChannel), "toolCallBehaviour": enum (EvaluationToolCallBehaviour) }

Campos
inputAudioConfig	object (InputAudioConfig) Opcional. Configuração para processar o áudio de entrada.
outputAudioConfig	object (OutputAudioConfig) Opcional. Configuração para gerar o áudio de saída.
evaluationChannel	enum (EvaluationChannel) Opcional. O canal a ser avaliado.
toolCallBehaviour	enum (EvaluationToolCallBehaviour) Opcional. Especifica se a avaliação deve usar chamadas de ferramentas reais ou falsas.

InputAudioConfig

Representação JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer, "noiseSuppressionLevel": string }

Campos
audioEncoding	enum (AudioEncoding) Obrigatório. A codificação dos dados de áudio de entrada.
sampleRateHertz	integer Obrigatório. A taxa de amostragem (em Hertz) dos dados de áudio de entrada.
noiseSuppressionLevel	string Opcional. Define se a supressão de ruído será ativada no áudio de entrada. Os valores disponíveis são "low", "moderate", "high", "very_high".

OutputAudioConfig

Representação JSON
{ "audioEncoding": enum (AudioEncoding), "sampleRateHertz": integer }

Campos
audioEncoding	enum (AudioEncoding) Obrigatório. A codificação dos dados de áudio de saída.
sampleRateHertz	integer Obrigatório. A taxa de amostragem (em Hertz) dos dados de áudio de saída.

EvaluationMetricsConfig

Representação JSON
{ "goldenMetricsConfig": { object (GoldenMetricsConfig) }, "scenarioMetricsConfig": { object (ScenarioMetricsConfig) } }

Campos
goldenMetricsConfig	object (GoldenMetricsConfig) Opcional. Configuração das métricas de ouro para a avaliação.
scenarioMetricsConfig	object (ScenarioMetricsConfig) Opcional. Configuração das métricas de cenário para a avaliação.

GoldenMetricsConfig

Representação JSON
{ "semanticSimilarityMetricsConfig": { object (SemanticSimilarityMetricsConfig) }, "toolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) }, "stepToolCorrectnessMetricsConfig": { object (ToolCorrectnessMetricsConfig) } }

Campos
semanticSimilarityMetricsConfig	object (SemanticSimilarityMetricsConfig) Opcional. Configuração global para métricas de similaridade semântica.
toolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Opcional. Configuração para métricas de correção da ferramenta no nível da vez.
stepToolCorrectnessMetricsConfig	object (ToolCorrectnessMetricsConfig) Opcional. Configuração para métricas de correção de ferramentas no nível da etapa.

ToolCorrectnessMetricsConfig

Representação JSON
{ "enableToolCorrectnessMetrics": boolean }

Campos
enableToolCorrectnessMetrics	boolean Opcional. Se as métricas de correção da ferramenta serão calculadas para a avaliação.

ScenarioMetricsConfig

Representação JSON
{ "userGoalMetMetricsConfig": { object (UserGoalMetMetricsConfig) }, "expectationsMetMetricsConfig": { object (ExpectationsMetMetricsConfig) } }

Campos
userGoalMetMetricsConfig	object (UserGoalMetMetricsConfig) Opcional. Configuração para métricas de objetivo do usuário atingido.
expectationsMetMetricsConfig	object (ExpectationsMetMetricsConfig) Opcional. Configuração para métricas de nível de expectativa.

UserGoalMetMetricsConfig

Representação JSON
{ "enableUserGoalMetMetrics": boolean }

Campos
enableUserGoalMetMetrics	boolean Opcional. Se as métricas de meta do usuário atendida devem ser calculadas para a avaliação.

ExpectationsMetMetricsConfig

Representação JSON
{ "enableExpectationsMetMetrics": boolean }

Campos
enableExpectationsMetMetrics	boolean Opcional. Se as métricas de nível de expectativa serão calculadas para a avaliação.

NullValue

Representa um null JSON.

NullValue é um sentinela que usa uma enumeração com apenas um valor para representar o valor nulo da união de tipos Value.

Um campo do tipo NullValue com qualquer valor diferente de 0 é considerado inválido. A maioria dos serializadores ProtoJSON vai emitir um Value com um null_value definido como um null JSON, independente do valor inteiro, e, portanto, fará uma viagem de ida e volta para um valor 0.

Tipos enumerados
NULL_VALUE	Valor nulo.

ComparisonType

Tipos de comparação compatíveis para verificar a resposta do agente.

Tipos enumerados
COMPARISON_TYPE_UNSPECIFIED	Tipo de comparação não especificado. O comportamento padrão é SEMANTIC_SIMILARITY para respostas do agente e chamadas de função.
EQUALS	Correspondência exata de string.
CONTAINS	Correspondência de substring (verifica se a string esperada está contida na resposta real).
SEMANTIC_SIMILARITY	Correspondência de similaridade semântica (avalia a similaridade de significado usando um LLM).

SemanticSimilarityChannel

Canal de similaridade semântica a ser usado.

Tipos enumerados
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED	Métrica não especificada. O padrão é TEXT.
TEXT	Use a similaridade semântica de texto.
AUDIO	Usar a similaridade semântica de áudio.

HallucinationMetricBehavior

O comportamento da métrica de alucinação. Independente do comportamento, a métrica sempre será calculada. A diferença é que, quando desativada, a métrica não é usada para calcular a pontuação geral da avaliação.

Tipos enumerados
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED	Comportamento não especificado da métrica de alucinação.
DISABLED	Desativa a métrica de alucinação.
ENABLED	Ative a métrica de alucinação.

TaskCompletionBehavior

O comportamento esperado da tarefa do usuário. Isso é usado para determinar se o cenário foi bem-sucedido.

Tipos enumerados
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED	Comportamento não especificado. O padrão é TASK_SATISFIED.
TASK_SATISFIED	A tarefa do usuário precisa ser concluída.
TASK_REJECTED	A tarefa do usuário precisa ser rejeitada.

UserGoalBehavior

O comportamento esperado do objetivo do usuário. Isso é usado para determinar se o cenário foi bem-sucedido.

Tipos enumerados
USER_GOAL_BEHAVIOR_UNSPECIFIED	Comportamento não especificado. O padrão é USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED	O objetivo do usuário precisa ser concluído.
USER_GOAL_REJECTED	O objetivo do usuário precisa ser rejeitada.
USER_GOAL_IGNORED	Ignorar o status do objetivo do usuário.

ScenarioExecutionMode

O modo de execução para avaliações de cenário.

Tipos enumerados
SCENARIO_EXECUTION_MODE_UNSPECIFIED	Modo de execução não especificado. O padrão é QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED	Modo otimizado para qualidade.
SPEED_OPTIMIZED	Modo otimizado para velocidade.

Resultado

O resultado da avaliação ou expectativa.

Tipos enumerados
OUTCOME_UNSPECIFIED	O resultado da avaliação não foi especificado.
PASS	Avaliação/expectativa aprovada. No caso de uma avaliação, isso significa que todas as expectativas foram atendidas.
FAIL	Falha na avaliação/expectativa. No caso de uma avaliação, isso significa que pelo menos uma expectativa não foi atendida.
SKIPPED	A avaliação/expectativa foi ignorada.

ErrorType

O tipo de erro

Tipos enumerados
ERROR_TYPE_UNSPECIFIED	Tipo de erro não especificado.
RUNTIME_FAILURE	Falha durante a execução do ambiente de execução.
CONVERSATION_RETRIEVAL_FAILURE	Falha ao recuperar a conversa do ambiente de execução do CES.
METRIC_CALCULATION_FAILURE	Falha ao calcular uma métrica / resultado.
EVALUATION_UPDATE_FAILURE	Falha ao atualizar a avaliação.
QUOTA_EXHAUSTED	A cota acabou.
USER_SIMULATION_FAILURE	Falha durante a simulação de usuários.

Tipo

O tipo de intervalo. Outros valores podem ser adicionados no futuro.

Tipos enumerados
TYPE_UNSPECIFIED	Valor padrão. Esse valor não é usado.
TOOL	Intervalo de chamada de ferramenta.
USER_CALLBACK	Intervalo de retorno de chamada do usuário.
GUARDRAIL	Intervalo de proteção.
LLM	Intervalo de LLM.

BackgroundEnvironment

Ambiente de áudio simulado.

Tipos enumerados
BACKGROUND_ENVIRONMENT_UNSPECIFIED	Ambiente em segundo plano não especificado.
CALL_CENTER	Ambiente de call center.
TRAFFIC	Ambiente de ruído de tráfego.
KIDS_NOISE	Ambiente com ruído de crianças.
CAFE	Ambiente de café.

ExecutionState

O estado da execução do resultado da avaliação.

Tipos enumerados
EXECUTION_STATE_UNSPECIFIED	O estado de execução do resultado da avaliação não foi especificado.
QUEUED	A execução do resultado da avaliação está na fila.
RUNNING	A execução do resultado da avaliação está em andamento.
COMPLETED	A execução do resultado da avaliação foi concluída.
ERROR	A execução do resultado da avaliação falhou devido a um erro interno.
CANCELLED	A execução do resultado da avaliação foi cancelada.

ExtraToolCallBehavior

Define o comportamento quando uma chamada de ferramenta extra é encontrada. Uma chamada de ferramenta extra é uma chamada de ferramenta presente na execução, mas que não corresponde a nenhuma chamada de ferramenta na expectativa de ouro.

Tipos enumerados
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED	Comportamento não especificado. O padrão é FAIL.
FAIL	Falha na avaliação se uma chamada de ferramenta extra for encontrada.
ALLOW	Permita a chamada extra da ferramenta.

AudioEncoding

"AudioEncoding" especifica o formato de codificação dos dados de áudio.

Tipos enumerados
AUDIO_ENCODING_UNSPECIFIED	Codificação de áudio não especificada.
LINEAR16	Codificação de áudio PCM linear de 16 bits.
MULAW	Amostras de 8 bits resultantes do compand de amostras de áudio de 14 bits em que foi usado G.711 PCMU/mu-law.
ALAW	Amostras de 8 bits resultantes do compand de amostras de áudio de 14 bits em que foi usado G.711 PCMU/A-law.

EvaluationChannel

O canal a ser avaliado.

Tipos enumerados
EVALUATION_CHANNEL_UNSPECIFIED	Canal de avaliação não especificado.
TEXT	Canal de avaliação somente de texto.
AUDIO	Canal de avaliação de áudio.

EvaluationToolCallBehaviour

Configura o comportamento de chamada de função para execuções de avaliação.

Tipos enumerados
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED	Comportamento de chamada de ferramenta não especificado. O padrão é chamadas de função reais.
REAL	Use chamadas de função reais.
FAKE	Usar chamadas de ferramentas falsas.

GoldenRunMethod

O método usado para executar a avaliação.

Tipos enumerados
GOLDEN_RUN_METHOD_UNSPECIFIED	O método de execução não foi especificado.
STABLE	Execute a avaliação como uma repetição estável, em que cada turno é uma sessão única com os turnos esperados anteriores injetados como contexto.
NAIVE	Execute a avaliação como uma repetição simples, em que a execução é uma única sessão sem contexto injetado.

OutcomeMetadata

Metadados sobre o resultado da avaliação.

Tipos enumerados
OUTCOME_METADATA_UNSPECIFIED	Metadados de resultado não especificados.
GRACEFUL_HANDOFF	A avaliação resultou em uma transferência adequada para um representante humano.

Anotações de ferramentas

As anotações de ferramentas são enviadas aos clientes do MCP para descrever o risco básico de uma determinada ferramenta. A maioria dos clientes trata essas dicas como não confiáveis, mas elas podem ser usadas para decidir quando um pedido de confirmação pode ser enviado a um usuário.

Além da string de título, as seguintes dicas booleanas são definidas da seguinte maneira:

• readOnlyHint: se for "true", a ferramenta não vai modificar o ambiente. Padrão: false.
• destructiveHint: se for "true", a ferramenta poderá realizar ações destrutivas. Se for "false", a ferramenta só poderá realizar ações de adição. Padrão: verdadeiro.
• idempotentHint: se for "true", chamar a ferramenta repetidamente com os mesmos argumentos não terá efeito adicional no ambiente dela. Padrão: false.
• openWorldHint: se for "true", a ferramenta poderá interagir com um "mundo aberto" de entidades externas. Se for "false", a ferramenta só poderá interagir com entidades internas. Por exemplo, uma ferramenta de pesquisa na Web seria de mundo aberto, enquanto uma ferramenta de memória não seria.

Dica destrutiva: ❌ | Dica idempotente: ❌ | Dica somente leitura: ❌ | Dica de mundo aberto: ❌