MCP Tools Reference: ces.googleapis.com

Ferramenta: get_evaluation

Recebe detalhes da avaliação especificada.

O exemplo de código abaixo mostra como usar curl para chamar a ferramenta MCP get_evaluation.

Solicitação curl 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "get_evaluation",
    "arguments": {
      // Provide these details according to the MCP tool specification.
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Esquema de entrada

Mensagem de solicitação para EvaluationService.GetEvaluation.

GetEvaluationRequest

Representação JSON 
{
  "name": string
}
Campos
name

string

Obrigatório. O nome do recurso da avaliação a ser recuperada.

Esquema de saída

Uma avaliação representa todas as informações necessárias para simular e avaliar um agente.

Avaliação

Representação JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Campos
name

string

Identificador. O identificador exclusivo desta avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Obrigatório. Nome de exibição da avaliação definido pelo usuário. Exclusivo em um app.
description

string

Opcional. Descrição da avaliação definida pelo usuário.
tags[]

string

Opcional. Tags definidas pelo usuário para categorizar a avaliação.
evaluationDatasets[]

string

Apenas saída. Lista de conjuntos de dados de avaliação a que a avaliação pertence. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora em que a avaliação foi criada.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
createdBy

string

Apenas saída. O usuário que criou a avaliação.
updateTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora de quando a avaliação foi atualizada pela última vez.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

Apenas saída. O usuário que atualizou a avaliação pela última vez.
evaluationRuns[]

string

Apenas saída. As EvaluationRuns associadas a esta avaliação.
etag

string

Apenas saída. Etag usada para garantir que o objeto não tenha sido alterado durante uma operação de leitura-modificação-gravação. Se a etag estiver vazia, a atualização vai substituir todas as mudanças simultâneas.
aggregatedMetrics

object (AggregatedMetrics)

Apenas saída. As métricas agregadas para essa avaliação em todas as execuções.
lastCompletedResult

object (EvaluationResult)

Apenas saída. O resultado mais recente desta avaliação.
invalid

boolean

Apenas saída. Se a avaliação é inválida. Isso pode acontecer se uma avaliação estiver referenciando uma ferramenta, um conjunto de ferramentas ou um agente que foi excluído.
lastTenResults[]

object (EvaluationResult)

Apenas saída. Os últimos 10 resultados desta avaliação. Isso só será preenchido se include_last_ten_results estiver definido como verdadeiro em ListEvaluationsRequest ou GetEvaluationRequest.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

Opcional. Substitui os limites de métricas para essa avaliação específica.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

Opcional. Substitui a configuração de métricas para essa avaliação específica.
Campo de união inputs. As entradas para a avaliação inputs podem ser apenas uma das seguintes:
golden

object (Golden)

Opcional. As etapas de referência a serem avaliadas.
scenario

object (Scenario)

Opcional. A configuração de um cenário.

Golden

Representação JSON 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Campos
turns[]

object (GoldenTurn)

Obrigatório. As interações de ouro necessárias para reproduzir uma conversa de ouro. O número máximo de turnos permitidos é 100.
evaluationExpectations[]

string

Opcional. As expectativas de avaliação para avaliar a conversa reproduzida. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representação JSON 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (HallucinationMetricBehavior)
}
Campos
steps[]

object (Step)

Obrigatório. As etapas necessárias para reproduzir uma conversa de ouro.
rootSpan

object (Span)

Opcional. O período raiz da rodada de ouro para processar e manter informações de áudio. O URI do áudio precisa conter áudio salvo em uma taxa de amostragem de 16 Khz.
turnLevelMetricsThresholdsOverride

object (TurnLevelMetricsThresholds)

Opcional. Substituições para limites de métricas no nível da rodada.
hallucinationMetricBehaviorOverride

enum (HallucinationMetricBehavior)

Opcional. Substituição do comportamento da métrica de alucinação no nível da rodada.

Etapa

Representação JSON 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Campos
Campo de união step. A etapa a ser realizada. step pode ser apenas de um dos tipos a seguir:
userInput

object (SessionInput)

Opcional. Entrada do usuário para a conversa.
agentTransfer

object (AgentTransfer)

Opcional. Transferir a conversa para outro agente.
expectation

object (GoldenExpectation)

Opcional. Executa uma expectativa na rodada atual.

SessionInput

Representação JSON 
{
  "willContinue": boolean,
  "recordingControl": enum (RecordingControl),

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Campos
willContinue

boolean

Opcional. Uma flag para indicar se a mensagem atual é um fragmento de uma entrada maior na sessão de streaming bidirecional.

Quando definido como true, o agente adia o processamento até receber uma mensagem subsequente em que will_continue é false ou até que o sistema detecte um endpoint na entrada de áudio.

OBSERVAÇÃO: esse campo não se aplica a entradas de áudio e DTMF, porque elas são sempre processadas automaticamente com base no sinal de endpointing.
recordingControl

enum (RecordingControl)

Opcional. Se a conversa pode ser gravada e registrada a partir de agora.

Use essa opção quando o app, e não o agente, decidir o que pode ser mantido: por exemplo, quando o usuário final precisa consentir com a gravação antes que qualquer informação sobre a chamada seja armazenada.

O valor permanece em vigor até que o cliente envie um diferente. Portanto, ele só precisa ser enviado quando a resposta mudar. O que estiver em vigor quando uma rodada for concluída decide essa rodada, tanto se o áudio chega ao bucket de gravação quanto se a transcrição chega ao histórico de conversas, ao BigQuery e ao Cloud Logging. Ela abrange o lado do agente e do usuário final.

As curvas que terminam antes do cliente enviar isso pela primeira vez são registradas de acordo com as configurações de registro do app, como se o campo não existisse.

Se mais de uma entrada na mesma solicitação definir esse valor, a última vai prevalecer.
Campo de união input_type. O tipo da entrada. input_type pode ser apenas de um dos tipos a seguir:
text

string

Opcional. Dados de texto do usuário final.
dtmf

string

Opcional. Dígitos DTMF do usuário final.
audio

string (bytes format)

Opcional. Dados de áudio do usuário final.

Uma string codificada em base64.
toolResponses

object (ToolResponses)

Opcional. Resultados da execução das chamadas de ferramenta do cliente.
image

object (Image)

Opcional. Dados de imagem do usuário final.
blob

object (Blob)

Opcional. Dados de blob do usuário final.
variables

object (Struct format)

Opcional. Variáveis contextuais para a sessão, identificadas por nome. Somente as variáveis declaradas no app serão usadas pelo agente do CES.

As variáveis não reconhecidas ainda serão enviadas ao [agente do Dialogflow][Agent.RemoteDialogflowAgent] como parâmetros de sessão adicionais.
event

object (Event)

Opcional. Entrada de evento.

ToolResponses

Representação JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Campos
toolResponses[]

object (ToolResponse)

Opcional. A lista de resultados da execução da ferramenta.

ToolResponse

Representação JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campos
id

string

Opcional. O código correspondente do tool call a que a resposta se refere.
displayName

string

Apenas saída. Nome de exibição da ferramenta.
response

object (Struct format)

Obrigatório. O resultado da execução da ferramenta no formato de objeto JSON. Use a chave "output" para especificar a resposta da ferramenta e a chave "error" para especificar os detalhes do erro (se houver). Se as chaves "output" e "error" não forem especificadas, toda a "response" será tratada como resultado da execução da ferramenta.
parentToolCallId

string

Apenas saída. O ID da chamada de ferramenta que causou esta, quando foi emitida por um subagente trabalhando em nome de uma chamada pai. Vazio para chamadas de nível superior. Permite que um cliente agrupe o trabalho de um subagente na chamada que o iniciou, em vez de renderizar cada etapa como um irmão.
agentName

string

Apenas saída. Nome legível por humanos do agente que emitiu essa chamada, por exemplo, "Arquiteto de contratos". Vazio quando o agente raiz o emitiu.
targetApp

string

Apenas saída. O app que a ferramenta executada segmentou; espelha ToolCall.target_app.
Campo de união tool_identifier. O identificador da ferramenta que foi executada. Pode ser uma ferramenta persistente ou de um conjunto de ferramentas. tool_identifier pode ser apenas de um dos tipos a seguir:
tool

string

Opcional. O nome da ferramenta a ser executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Opcional. A ferramenta do conjunto que foi executada.

ToolsetTool

Representação JSON 
{
  "toolset": string,
  "toolId": string
}
Campos
toolset

string

Obrigatório. O nome do recurso do conjunto de ferramentas de onde essa ferramenta é derivada. Formato: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Opcional. O ID da ferramenta para filtrar as ferramentas e recuperar o esquema.

Struct

Representação JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Campos
fields

map (key: string, value: value (Value format))

Mapa não ordenado de valores digitados dinamicamente.

Um objeto com uma lista de pares "key": value. Exemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representação JSON 
{
  "key": string,
  "value": value
}
Campos
key

string
value

value (Value format)

Valor

Representação JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Campos
Campo de união kind. O tipo de valor. kind pode ser apenas de um dos tipos a seguir:
nullValue

null

Representa um null JSON.
numberValue

number

Representa um número JSON. Não pode ser NaN, Infinity ou -Infinity, porque eles não são compatíveis com JSON. Isso também não pode representar valores Int64 grandes, já que o formato JSON geralmente não os aceita no tipo de número.
stringValue

string

Representa uma string JSON.
boolValue

boolean

Representa um booleano JSON (literal true ou false em JSON).
structValue

object (Struct format)

Representa um objeto JSON.
listValue

array (ListValue format)

Representa uma matriz JSON.

ListValue

Representação JSON 
{
  "values": [
    value
  ]
}
Campos
values[]

value (Value format)

Campo repetido de valores digitados dinamicamente.

Imagem

Representação JSON 
{
  "mimeType": string,
  "data": string,
  "altText": string
}
Campos
mimeType

string

Obrigatório. O tipo MIME padrão da IANA dos dados de origem. Os tipos de imagem compatíveis incluem: * image/png * image/jpeg * image/webp
data

string (bytes format)

Obrigatório. Bytes brutos da imagem.

Uma string codificada em base64.
altText

string

Opcional. O texto alternativo da imagem.

Blob

Representação JSON 
{
  "mimeType": string,
  "data": string
}
Campos
mimeType

string

Obrigatório. O tipo MIME padrão da IANA dos dados de origem.
data

string (bytes format)

Obrigatório. Bytes brutos do blob.

Uma string codificada em base64.

Evento

Representação JSON 
{
  "event": string,
  "variables": {
    object
  }
}
Campos
event

string

Obrigatório. O nome do evento.
variables

object (Struct format)

Opcional. Variáveis adicionais associadas ao evento.

AgentTransfer

Representação JSON 
{
  "targetAgent": string,
  "displayName": string
}
Campos
targetAgent

string

Obrigatório. O agente para quem a conversa está sendo transferida. O agente vai assumir a conversa a partir desse momento. Formato: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Apenas saída. Nome de exibição do agente.

GoldenExpectation

Representação JSON 
{
  "note": string,
  "skipEvaluation": boolean,
  "expectationLevelMetricsThresholdsOverride": {
    object (ExpectationLevelMetricsThresholds)
  },
  "agentResponseSemanticSimilarityMetricsConfigOverride": {
    object (SemanticSimilarityMetricsConfig)
  },
  "agentResponseHallucinationMetricsConfigOverride": {
    object (HallucinationMetricsConfig)
  },
  "comparisonType": enum (ComparisonType),

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  },
  "noToolCalls": boolean
  // End of list of possible types for union field condition.
}
Campos
note

string

Opcional. Uma observação para esse requisito, útil para relatar quando verificações específicas falham. Por exemplo, "Check_Payment_Tool_Called".
skipEvaluation

boolean

Opcional. Se definido como verdadeiro, essa expectativa específica não será avaliada.
expectationLevelMetricsThresholdsOverride

object (ExpectationLevelMetricsThresholds)

Opcional. Substitui as métricas no nível da etapa.
agentResponseSemanticSimilarityMetricsConfigOverride

object (SemanticSimilarityMetricsConfig)

Opcional. Substituições para métricas de similaridade semântica de agent_response.
agentResponseHallucinationMetricsConfigOverride

object (HallucinationMetricsConfig)

Opcional. Substituições para métricas de alucinação de agent_response.
comparisonType

enum (ComparisonType)

Opcional. O tipo de comparação a ser usado na verificação de expectativa.
Campo de união condition. A verificação real a ser realizada. condition pode ser apenas de um dos tipos a seguir:
toolCall

object (ToolCall)

Opcional. Verifique se uma ferramenta específica foi chamada com os parâmetros.
toolResponse

object (ToolResponse)

Opcional. Verifique se uma ferramenta específica teve a resposta esperada.
agentResponse

object (Message)

Opcional. Verifique se o agente respondeu corretamente. O papel "agente" está implícito.
agentTransfer

object (AgentTransfer)

Opcional. Verifique se o agente transferiu a conversa para outro agente.
updatedVariables

object (Struct format)

Opcional. Verifique se o agente atualizou as variáveis de sessão para os valores esperados. Usado para também capturar atualizações de variáveis de agente para avaliações de ouro.
mockToolResponse

object (ToolResponse)

Opcional. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.
noToolCalls

boolean

Opcional. Verifique se nenhuma ferramenta foi chamada durante essa rodada.

ToolCall

Representação JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },
  "parentToolCallId": string,
  "agentName": string,
  "targetApp": string,

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campos
id

string

Opcional. O identificador exclusivo da chamada de ferramenta. Se preenchido, o cliente vai retornar o resultado da execução com o código correspondente em ToolResponse.
displayName

string

Apenas saída. Nome de exibição da ferramenta.
args

object (Struct format)

Opcional. Os parâmetros de entrada e os valores da ferramenta no formato de objeto JSON.
parentToolCallId

string

Apenas saída. O ID da chamada de ferramenta que causou esta, quando foi emitida por um subagente trabalhando em nome de uma chamada pai. Vazio para chamadas de nível superior. Permite que um cliente agrupe o trabalho de um subagente na chamada que o iniciou, em vez de renderizar cada etapa como um irmão.
agentName

string

Apenas saída. Nome legível por humanos do agente que emitiu essa chamada, por exemplo, "Arquiteto de contratos". Vazio quando o agente raiz o emitiu.
targetApp

string

Apenas saída. O app que essa chamada segmenta, derivado pelo assistente dos argumentos de recurso da chamada: um nome de recurso de app, PROJECT para ferramentas com escopo de local ou vazio para ferramentas locais de sessão. Defina apenas em sessões do assistente com escopo de projeto.
Campo de união tool_identifier. O identificador da ferramenta a ser executada. Pode ser uma ferramenta persistente ou de um conjunto de ferramentas. tool_identifier pode ser apenas de um dos tipos a seguir:
tool

string

Opcional. O nome da ferramenta a ser executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Opcional. A ferramenta do conjunto de ferramentas a ser executada.

Mensagem

Representação JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Campos
role

string

Opcional. O papel na conversa, por exemplo, usuário, agente.
chunks[]

object (Chunk)

Opcional. Conteúdo da mensagem como uma série de blocos.
eventTime

string (Timestamp format)

Opcional. Carimbo de data/hora de quando a mensagem foi enviada ou recebida. Não deve ser usado se a mensagem fizer parte de um example.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

Pedaço

Representação JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Campos
Campo de união data. Dividir dados em blocos. data pode ser apenas de um dos tipos a seguir:
text

string

Opcional. Dados de texto.
transcript

string

Opcional. Transcrição associada ao áudio.
blob

object (Blob)

Opcional. Dados de blob.
payload

object (Struct format)

Opcional. Dados de payload personalizados.
image

object (Image)

Opcional. Dados da imagem.
toolCall

object (ToolCall)

Opcional. Solicitação de execução de ferramenta.
toolResponse

object (ToolResponse)

Opcional. Resposta da execução da ferramenta.
agentTransfer

object (AgentTransfer)

Opcional. Evento de transferência do agente.
updatedVariables

object (Struct format)

Uma estrutura representa as variáveis que foram atualizadas na conversa, identificadas pelos nomes das variáveis.
defaultVariables

object (Struct format)

Uma struct representa variáveis padrão no início da conversa, identificadas por nomes de variáveis.

Carimbo de data/hora

Representação JSON 
{
  "seconds": string,
  "nanos": integer
}
Campos
seconds

string (int64 format)

Representa os segundos do horário UTC desde a época Unix 1970-01-01T00:00:00Z. Precisa estar entre -62135596800 e 253402300799, inclusive (o que corresponde a 0001-01-01T00:00:00Z a 9999-12-31T23:59:59Z).
nanos

integer

Frações não negativas de um segundo com resolução de nanossegundos. Esse campo é a parte de nanossegundos da duração, não uma alternativa aos segundos. Os valores de segundos negativos com frações ainda precisam ter valores em nanossegundos não negativos que representam períodos posteriores. O valor precisa ser de 0 a 999.999.999.

ExpectationLevelMetricsThresholds

Representação JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Campos

Campo de união _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold pode ser apenas de um dos tipos a seguir:
toolInvocationParameterCorrectnessThreshold

number

Opcional. O limite de sucesso para a correção do parâmetro de invocação de ferramenta individual. Precisa ser um número de ponto flutuante entre 0 e 1. O padrão é 1.0.

SemanticSimilarityMetricsConfig

Representação JSON 
{
  "enableSemanticSimilarityMetrics": boolean
}
Campos
enableSemanticSimilarityMetrics

boolean

Opcional. Se as métricas de similaridade semântica devem ser calculadas para a avaliação.

HallucinationMetricsConfig

Representação JSON 
{
  "enableHallucinationMetrics": boolean
}
Campos
enableHallucinationMetrics

boolean

Opcional. Se as métricas de alucinação devem ser calculadas para a avaliação.

Período

Representação JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Campos
name

string

Apenas saída. O nome do período.
startTime

string (Timestamp format)

Apenas saída. O horário de início do período.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Apenas saída. O horário de término do período.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

Apenas saída. A duração do período.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
attributes

object (Struct format)

Apenas saída. Atributos de chave-valor associados ao período.
childSpans[]

object (Span)

Apenas saída. Os períodos filhos que estão aninhados neste período.

Duração

Representação JSON 
{
  "seconds": string,
  "nanos": integer
}
Campos
seconds

string (int64 format)

Segundos assinados do período. Precisa ser de -315.576.000.000 a +315.576.000.000, inclusive. Observação: esses limites são calculados da seguinte forma: 60 s/min * 60 min/h * 24 h/dia * 365,25 dias/ano * 10.000 anos
nanos

integer

Frações assinadas de um segundo com resolução de nanossegundos do período. As durações menores que um segundo são representadas com um campo seconds de 0 e um campo nanos positivo ou negativo. Para durações de um segundo ou mais, um valor diferente de zero para o campo nanos precisa ter o mesmo sinal que o campo seconds. O valor precisa ser de -999.999.999 a +999.999.999.

TurnLevelMetricsThresholds

Representação JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Campos
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Opcional. O canal de semelhança semântica a ser usado para avaliação.

Campo de união _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold pode ser apenas de um dos tipos a seguir:
semanticSimilaritySuccessThreshold

integer

Opcional. O limite de sucesso para similaridade semântica. O valor precisa ser um número inteiro entre 0 e 4. O padrão é >= 3.

Campo de união _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold pode ser apenas de um dos tipos a seguir:
overallToolInvocationCorrectnessThreshold

number

Opcional. O limite de sucesso para a precisão geral da invocação de ferramentas. Precisa ser um número de ponto flutuante entre 0 e 1. O padrão é 1.0.

Cenário

Representação JSON 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "milestones": [
    {
      object (Milestone)
    }
  ],
  "scenarioExecutionMode": enum (ScenarioExecutionMode)
}
Campos
task

string

Obrigatório. A tarefa que será segmentada pelo cenário.
userFacts[]

object (UserFact)

Opcional. Os fatos do usuário que serão usados pelo cenário.
maxTurns

integer

Opcional. O número máximo de turnos a serem simulados. O valor máximo permitido é 100. O valor padrão é 100.
rubrics[]

string

Obrigatório. As rubricas para pontuar o cenário.
scenarioExpectations[]

object (ScenarioExpectation)

Obrigatório. O ScenarioExpectations para avaliar a conversa produzida pela simulação do usuário.
variableOverrides

object (Struct format)

Opcional. Variáveis / parâmetros de sessão como contexto para a sessão, com chave por nomes de variáveis. Os membros dessa estrutura vão substituir os valores padrão definidos pelo sistema.

Observação: eles são diferentes dos fatos do usuário, que são fatos conhecidos pelo usuário. As variáveis são parâmetros conhecidos pelo agente, como o MDN (número de telefone) transmitido pelo sistema de telefonia.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Opcional. Obsoleto. Use user_goal_behavior.
userGoalBehavior

enum (UserGoalBehavior)

Opcional. O comportamento esperado da meta do usuário.
evaluationExpectations[]

string

Opcional. As expectativas de avaliação para avaliar a conversa produzida pela simulação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
milestones[]

object (Milestone)

Opcional. Os marcos deste cenário.
scenarioExecutionMode

enum (ScenarioExecutionMode)

Opcional. O modo de execução para avaliações de cenário.

UserFact

Representação JSON 
{
  "name": string,
  "value": string
}
Campos
name

string

Obrigatório. O nome do fato do usuário.
value

string

Obrigatório. O valor do fato do usuário.

ScenarioExpectation

Representação JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Campos
Campo de união expectation. A expectativa para avaliar a conversa produzida pela simulação. expectation pode ser apenas de um dos tipos a seguir:
toolExpectation

object (ToolExpectation)

Opcional. O par de chamada de ferramenta e resposta a ser avaliado.
agentResponse

object (Message)

Opcional. A resposta do agente a ser avaliada.

ToolExpectation

Representação JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Campos
expectedToolCall

object (ToolCall)

Obrigatório. A chamada de ferramenta esperada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.
mockToolResponse

object (ToolResponse)

Obrigatório. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.

Marco

Representação JSON 
{
  "goal": string,
  "maxTurnCount": integer,
  "successCriteria": string,
  "protocol": string,
  "staticUtterance": string,
  "event": {
    object (Event)
  }
}
Campos
goal

string

Obrigatório. A meta do marco.
maxTurnCount

integer

Opcional. O número máximo de turnos para este marco.
successCriteria

string

Opcional. Os critérios de sucesso do marco.
protocol

string

Opcional. As diretrizes que o agente deve seguir durante a conversa.
staticUtterance

string

Opcional. Uma frase estática que o simulador vai enviar exatamente, em vez de gerar dinamicamente a entrada do usuário.
event

object (Event)

Opcional. Uma entrada de evento para enviar em vez da geração dinâmica.

AggregatedMetrics

Representação JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Campos
metricsByAppVersion[]

object (MetricsByAppVersion)

Apenas saída. Métricas agregadas, agrupadas por ID da versão do app.

MetricsByAppVersion

Representação JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Campos
appVersionId

string

Apenas saída. O ID da versão do app.
toolMetrics[]

object (ToolMetrics)

Apenas saída. Métricas de cada ferramenta nessa versão do app.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Apenas saída. Métricas de semelhança semântica nesta versão do app.
hallucinationMetrics[]

object (HallucinationMetrics)

Apenas saída. Métricas de alucinação nesta versão do app.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Apenas saída. Métricas de latência de chamada de ferramenta nesta versão do app.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Apenas saída. Métricas de latência de turno nesta versão do app.
passCount

integer

Apenas saída. O número de vezes que a avaliação foi aprovada.
failCount

integer

Apenas saída. O número de vezes que a avaliação falhou.
metricsByTurn[]

object (MetricsByTurn)

Apenas saída. Métricas agregadas por turno nesta versão do app.

ToolMetrics

Representação JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Campos
tool

string

Apenas saída. O nome da ferramenta.
passCount

integer

Apenas saída. O número de vezes que a ferramenta foi aprovada.
failCount

integer

Apenas saída. O número de vezes que a ferramenta falhou.

SemanticSimilarityMetrics

Representação JSON 
{
  "score": number
}
Campos
score

number

Apenas saída. A pontuação média de similaridade semântica (0 a 4).

HallucinationMetrics

Representação JSON 
{
  "score": number
}
Campos
score

number

Apenas saída. A pontuação média de alucinação (0 a 1).

ToolCallLatencyMetrics

Representação JSON 
{
  "tool": string,
  "averageLatency": string
}
Campos
tool

string

Apenas saída. O nome da ferramenta.
averageLatency

string (Duration format)

Apenas saída. A latência média das chamadas de ferramenta.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

TurnLatencyMetrics

Representação JSON 
{
  "averageLatency": string
}
Campos
averageLatency

string (Duration format)

Apenas saída. A latência média dos turnos.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

MetricsByTurn

Representação JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Campos
turnIndex

integer

Apenas saída. O índice de turno (baseado em 0).
toolMetrics[]

object (ToolMetrics)

Apenas saída. Métricas de cada ferramenta neste turno.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Apenas saída. Métricas de semelhança semântica neste turno.
hallucinationMetrics[]

object (HallucinationMetrics)

Apenas saída. Métricas de alucinação dentro deste turno.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Apenas saída. Métricas de latência de chamada de ferramenta neste turno.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Apenas saída. Métricas de latência de turno neste turno.

EvaluationResult

Representação JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (OutcomeMetadata),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Campos
name

string

Identificador. O identificador exclusivo do resultado da avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Obrigatório. Nome de exibição do resultado da avaliação. Exclusivo em uma avaliação. Por padrão, ele tem o seguinte formato: " resultado - ".
createTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora em que o resultado da avaliação foi criado.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

Apenas saída. O resultado da avaliação. Preenchido apenas se execution_state for COMPLETE.
evaluationRun

string

Apenas saída. A execução de avaliação que produziu esse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Apenas saída. A persona usada para gerar a conversa para o resultado da avaliação.
errorInfo

object (EvaluationErrorInfo)

Apenas saída. Informações de erro para o resultado da avaliação.
error
(deprecated)

object (Status)

Apenas saída. Descontinuado: use error_info. Erros encontrados durante a execução.
initiatedBy

string

Apenas saída. O usuário que iniciou a execução de avaliação que gerou esse resultado.
appVersion

string

Apenas saída. A versão do app usada para gerar a conversa que resultou nesse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Apenas saída. O nome de exibição do app_version em que a avaliação foi executada.
changelog

string

Apenas saída. O registro de alterações da versão do app em que a avaliação foi executada. Isso é preenchido se o usuário executar a avaliação na versão mais recente/rascunho.
changelogCreateTime

string (Timestamp format)

Apenas saída. O horário de criação do registro de alterações da versão do app em que a avaliação foi executada. Isso é preenchido se o usuário executar a avaliação na versão mais recente/rascunho.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

Apenas saída. O estado da execução do resultado da avaliação.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Apenas saída. Os limites de avaliação do resultado.
config

object (EvaluationConfig)

Apenas saída. A configuração usada na execução de avaliação que gerou esse resultado.
goldenRunMethod

enum (GoldenRunMethod)

Apenas saída. O método usado para executar a avaliação de referência.
rootSpan

object (Span)

Apenas saída. O período raiz da execução da avaliação, que inclui informações sobre cada etapa da avaliação.
outcomeMetadata

enum (OutcomeMetadata)

Apenas saída. Os metadados de resultado da avaliação. Preenchido apenas se execution_state for COMPLETE.
Campo de união result. O resultado da avaliação. Preenchido apenas quando execution_state é COMPLETED. result pode ser apenas de um dos tipos a seguir:
goldenResult

object (GoldenResult)

Apenas saída. O resultado de uma avaliação de respostas ideais.
scenarioResult

object (ScenarioResult)

Apenas saída. O resultado de uma avaliação de cenário.

GoldenResult

Representação JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Campos
turnReplayResults[]

object (TurnReplayResult)

Apenas saída. O resultado da execução de cada turno da conversa de ouro.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Apenas saída. Os resultados das expectativas de avaliação.

TurnReplayResult

Representação JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Campos
conversation

string

Apenas saída. A conversa que foi gerada para essa vez.
expectationOutcome[]

object (GoldenExpectationOutcome)

Apenas saída. O resultado de cada expectativa.
hallucinationResult

object (HallucinationResult)

Apenas saída. O resultado da verificação de alucinação.
toolInvocationScore
(deprecated)

number

Apenas saída. Obsoleto. Use OverallToolInvocationResult.
turnLatency

string (Duration format)

Apenas saída. Duração da curva.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Apenas saída. A latência de cada chamada de ferramenta no turno.
semanticSimilarityResult

object (SemanticSimilarityResult)

Apenas saída. O resultado da verificação de semelhança semântica.
overallToolInvocationResult

object (OverallToolInvocationResult)

Apenas saída. O resultado da verificação geral de invocação da ferramenta.
errorInfo

object (EvaluationErrorInfo)

Apenas saída. Informações sobre o erro que ocorreu durante essa rodada.
spanLatencies[]

object (SpanLatency)

Apenas saída. A latência dos períodos na vez.

Campo de união _tool_ordered_invocation_score.

_tool_ordered_invocation_score pode ser apenas de um dos tipos a seguir:
toolOrderedInvocationScore

number

Apenas saída. A pontuação geral de invocação ordenada de ferramentas para este turno. Indica a porcentagem geral de ferramentas da vez esperada que foram realmente invocadas na ordem esperada.

GoldenExpectationOutcome

Representação JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of list of possible types for union field result.
}
Campos
expectation

object (GoldenExpectation)

Apenas saída. A expectativa que foi avaliada.
outcome

enum (Outcome)

Apenas saída. O resultado da expectativa.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Apenas saída. O resultado da verificação de semelhança semântica.
toolInvocationResult

object (ToolInvocationResult)

Apenas saída. O resultado da verificação de invocação da ferramenta.
Campo de união result. O resultado da expectativa. result pode ser apenas de um dos tipos a seguir:
observedToolCall

object (ToolCall)

Apenas saída. O resultado da expectativa de chamada de ferramenta.
observedToolResponse

object (ToolResponse)

Apenas saída. O resultado da expectativa de resposta da ferramenta.
observedAgentResponse

object (Message)

Apenas saída. O resultado da expectativa de resposta do agente.
observedAgentTransfer

object (AgentTransfer)

Apenas saída. O resultado da expectativa de transferência do agente.
observedPayload

object (Struct format)

Apenas saída. Um payload personalizado observado. Não há expectativas para payloads personalizados. Isso é usado apenas para o cálculo de métricas. O resultado é sempre SKIPPED.

SemanticSimilarityResult

Representação JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 4: totalmente consistente Pontuação 3: consistente na maior parte Pontuação 2: parcialmente consistente (pequenas omissões) Pontuação 1: inconsistente na maior parte (grandes omissões) Pontuação 0: completamente inconsistente / contraditório
explanation

string

Apenas saída. A explicação da pontuação de semelhança semântica.
outcome

enum (Outcome)

Apenas saída. O resultado da verificação de semelhança semântica. Isso é determinado comparando a pontuação com o semantic_similarity_success_threshold. Se a pontuação for igual ou maior que o limite, o resultado será PASS (APROVADO). Caso contrário, o resultado será FAIL.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de similaridade semântica. Pode ser 0, 1, 2, 3 ou 4.

ToolInvocationResult

Representação JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Campos
outcome

enum (Outcome)

Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o parameter_correctness_score com o limite. Se a pontuação for igual ou maior que o limite, o resultado será PASS (APROVADO). Caso contrário, o resultado será FAIL.
explanation

string

Apenas saída. Uma explicação em texto livre para o resultado da invocação da ferramenta.

Campo de união _parameter_correctness_score.

_parameter_correctness_score pode ser apenas de um dos tipos a seguir:
parameterCorrectnessScore

number

Apenas saída. A pontuação de precisão do parâmetro de invocação da ferramenta. Indica a porcentagem de parâmetros da chamada de ferramenta esperada que também estavam presentes na chamada de ferramenta real.

HallucinationResult

Representação JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: justificada Pontuação 0: não justificada Pontuação -1: sem declaração para avaliar
explanation

string

Apenas saída. A explicação da pontuação de alucinação.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de alucinação. Pode ser -1, 0, 1.

ToolCallLatency

Representação JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Campos
tool

string

Apenas saída. O nome da ferramenta que foi executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Apenas saída. O nome de exibição da ferramenta.
startTime

string (Timestamp format)

Apenas saída. O horário de início da execução da chamada de ferramenta.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Apenas saída. O horário de término da execução da chamada de ferramenta.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Apenas saída. A latência da execução da chamada de ferramenta.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

OverallToolInvocationResult

Representação JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Campos
outcome

enum (Outcome)

Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o tool_invocation_score com o overall_tool_invocation_correctness_threshold. Se a pontuação for igual ou maior que o limite, o resultado será PASS (APROVADO). Caso contrário, o resultado será FAIL.

Campo de união _tool_invocation_score.

_tool_invocation_score pode ser apenas de um dos tipos a seguir:
toolInvocationScore

number

A pontuação geral de invocação de ferramentas para este turno. Indica a porcentagem geral de ferramentas da vez esperada que foram realmente invocadas.

EvaluationErrorInfo

Representação JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string,
  "userFacingErrorMessage": string
}
Campos
errorType

enum (ErrorType)

Apenas saída. O tipo de erro.
errorMessage

string

Apenas saída. A mensagem de erro.
sessionId

string

Apenas saída. O ID da sessão da conversa que causou o erro.
userFacingErrorMessage

string

Apenas saída. A mensagem de erro voltada ao usuário.

SpanLatency

Representação JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Campos
type

enum (Type)

Apenas saída. O tipo de período.
displayName

string

Apenas saída. O nome de exibição do período. Aplicável a períodos de ferramentas e proteções.
startTime

string (Timestamp format)

Apenas saída. O horário de início do período.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Apenas saída. O horário de término do período.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Apenas saída. A latência do período.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
Campo de união identifier. O identificador do item específico com base no tipo dele. identifier pode ser apenas de um dos tipos a seguir:
resource

string

Apenas saída. O nome do recurso da proteção ou dos períodos da ferramenta.
toolset

object (ToolsetTool)

Apenas saída. O identificador da ferramenta do conjunto de ferramentas.
model

string

Apenas saída. O nome do período do LLM.
callback

string

Apenas saída. O nome do período de callback do usuário.

EvaluationExpectationResult

Representação JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Campos
evaluationExpectation

string

Apenas saída. A expectativa de avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Apenas saída. O comando usado para a avaliação.
outcome

enum (Outcome)

Apenas saída. O resultado da expectativa de avaliação.
explanation

string

Apenas saída. A explicação do resultado.

ScenarioResult

Representação JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (MilestoneResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Campos
conversation

string

Apenas saída. A conversa que foi gerada no cenário.
task

string

Apenas saída. A tarefa usada ao executar o cenário para esse resultado.
userFacts[]

object (UserFact)

Apenas saída. Os fatos do usuário que foram usados pelo cenário para esse resultado.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Apenas saída. O resultado de cada expectativa.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Apenas saída. O resultado da rubrica.
hallucinationResult[]

object (HallucinationResult)

Apenas saída. O resultado da verificação de alucinação. Haverá um resultado de alucinação para cada turno na conversa.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Apenas saída. O resultado da verificação de conclusão da tarefa.
toolCallLatencies[]

object (ToolCallLatency)

Apenas saída. A latência de cada execução de chamada de ferramenta na conversa.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Apenas saída. O resultado da verificação de satisfação do objetivo do usuário.
spanLatencies[]

object (SpanLatency)

Apenas saída. A latência dos períodos na conversa.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Apenas saída. Os resultados das expectativas de avaliação.
milestoneResults[]

object (MilestoneResult)

Apenas saída. Os resultados de cada marco no cenário.

Campo de união _all_expectations_satisfied.

_all_expectations_satisfied pode ser apenas de um dos tipos a seguir:
allExpectationsSatisfied

boolean

Apenas saída. Se todas as expectativas foram atendidas para essa vez.

Campo de união _task_completed.

_task_completed pode ser apenas de um dos tipos a seguir:
taskCompleted

boolean

Apenas saída. Se a tarefa foi concluída para essa vez. É uma combinação de todas as expectativas atendidas, sem alucinações e com a satisfação do objetivo do usuário.

ScenarioExpectationOutcome

Representação JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Campos
expectation

object (ScenarioExpectation)

Apenas saída. A expectativa que foi avaliada.
outcome

enum (Outcome)

Apenas saída. O resultado do ScenarioExpectation.
Campo de união result. O resultado da expectativa. result pode ser apenas de um dos tipos a seguir:
observedToolCall

object (ObservedToolCall)

Apenas saída. A chamada de ferramenta observada.
observedAgentResponse

object (Message)

Apenas saída. A resposta observada do agente.

ObservedToolCall

Representação JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Campos
toolCall

object (ToolCall)

Apenas saída. A chamada de ferramenta observada.
toolResponse

object (ToolResponse)

Apenas saída. A resposta observada da ferramenta.

ScenarioRubricOutcome

Representação JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Campos
rubric

string

Apenas saída. A rubrica usada para avaliar a conversa.
scoreExplanation

string

Apenas saída. A resposta do avaliador à rubrica.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

number

Apenas saída. A pontuação da conversa de acordo com a rubrica.

TaskCompletionResult

Representação JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: tarefa concluída Pontuação 0: tarefa não concluída Pontuação -1: meta do usuário indefinida
explanation

string

Apenas saída. A explicação da pontuação de conclusão da tarefa.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de conclusão da tarefa. Pode ser -1, 0, 1

UserGoalSatisfactionResult

Representação JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 2: transferência sem problemas Pontuação 1: tarefa do usuário concluída Pontuação 0: tarefa do usuário não concluída Pontuação -1: tarefa do usuário não especificada
explanation

string

Apenas saída. A explicação para a pontuação de satisfação do usuário com a tarefa.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de satisfação do usuário com a tarefa. Pode ser -1, 0, 1, 2.

MilestoneResult

Representação JSON 
{
  "milestone": {
    object (Milestone)
  },
  "status": enum (MilestoneStatus),
  "justification": string
}
Campos
milestone

object (Milestone)

Apenas saída. O marco que está sendo monitorado.
status

enum (MilestoneStatus)

Apenas saída. O status atual do marco.
justification

string

Apenas saída. A justificativa para o status atual.

EvaluationPersona

Representação JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Campos
name

string

Obrigatório. O identificador exclusivo da persona. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Opcional. A descrição da persona.
displayName

string

Obrigatório. O nome de exibição da persona. Exclusivo em um app.
personality

string

Obrigatório. Uma instrução para o agente sobre como se comportar na avaliação.
speechConfig

object (SpeechConfig)

Opcional. Configuração de como a persona soa (configurações de TTS).

SpeechConfig

Representação JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Campos
speakingRate

number

Opcional. A velocidade da fala. 1,0 é normal. Valores menores são mais lentos (por exemplo, 0,8), e valores maiores são mais rápidos (por exemplo, 1,5). Útil para testar como o agente lida com pessoas que falam rápido.
environment

enum (BackgroundEnvironment)

Opcional. O ambiente de áudio simulado.
voiceId

string

Opcional. O identificador/sotaque de voz específico a ser usado. Exemplo: "en-US-Wavenet-D" ou "en-GB-Standard-A"

Status

Representação JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Campos
code

integer

O código de status, que precisa ser um valor de enumeração de google.rpc.Code.
message

string

Uma mensagem de erro em inglês para o desenvolvedor. Qualquer mensagem de erro para o usuário precisa ser localizada e enviada no campo google.rpc.Status.details, ou localizada pelo cliente.
details[]

object

Uma lista de mensagens com os detalhes do erro. Há um conjunto comum de tipos de mensagens para as APIs usarem.

Um objeto contendo campos de um tipo arbitrário. Um campo adicional "@type" contém uma URI que identifica o tipo. Exemplo: { "id": 1234, "@type": "types.example.com/standard/id" }.

Qualquer

Representação JSON 
{
  "typeUrl": string,
  "value": string
}
Campos
typeUrl

string

Identifica o tipo da mensagem Protobuf serializada com uma referência de URI que consiste em um prefixo que termina em uma barra e o nome do tipo totalmente qualificado.

Exemplo: type.googleapis.com/google.protobuf.StringValue

Essa string precisa conter pelo menos um caractere /, e o conteúdo após o último / precisa ser o nome totalmente qualificado do tipo na forma canônica, sem um ponto inicial. Não escreva um esquema nessas referências de URI para que os clientes não tentem entrar em contato com eles.

O prefixo é arbitrário, e as implementações do Protobuf precisam simplesmente remover tudo até o último /, inclusive, para identificar o tipo. type.googleapis.com/ é um prefixo padrão comum que algumas implementações legadas exigem. Esse prefixo não indica a origem do tipo, e os URIs que o contêm não devem responder a nenhuma solicitação.

Todas as strings de URL de tipo precisam ser referências de URI válidas com a restrição adicional (para o formato de texto) de que o conteúdo da referência precisa consistir apenas em caracteres alfanuméricos, escapes codificados por porcentagem e caracteres no seguinte conjunto (não incluindo as aspas externas): /-.~_!$&()*+,;=. Embora permitamos codificações percentuais, as implementações não devem remover o escape delas para evitar confusão com os analisadores atuais. Por exemplo, type.googleapis.com%2FFoo deve ser rejeitado.

No design original de Any, a possibilidade de iniciar um serviço de resolução de tipo nesses URLs de tipo foi considerada, mas o Protobuf nunca implementou um e considera que entrar em contato com esses URLs é problemático e um possível problema de segurança. Não tente entrar em contato com URLs de tipo.
value

string (bytes format)

Contém uma serialização de Protobuf do tipo descrito por type_url.

Uma string codificada em base64.

EvaluationMetricsThresholds

Representação JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Campos
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Opcional. Os limites das métricas de avaliação de ouro.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Opcional. Descontinuado: use golden_hallucination_metric_behavior. O comportamento da métrica de alucinação é usado atualmente para avaliações de ouro.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Opcional. O comportamento da métrica de alucinação para avaliações de referência.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Opcional. O comportamento da métrica de alucinação para avaliações de cenário.

GoldenEvaluationMetricsThresholds

Representação JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Campos
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Opcional. Os limites das métricas no nível da rodada.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Opcional. Os limites de métricas do nível de expectativa.
toolMatchingSettings

object (ToolMatchingSettings)

Opcional. As configurações de correspondência da ferramenta. Uma chamada de ferramenta extra é uma chamada de ferramenta que está presente na execução, mas não corresponde a nenhuma chamada de ferramenta na expectativa de ouro.

ToolMatchingSettings

Representação JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Campos
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Opcional. Comportamento para chamadas de ferramentas extras. O padrão é FAIL.

EvaluationConfig

Representação JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Campos
inputAudioConfig

object (InputAudioConfig)

Opcional. Configuração para processar o áudio de entrada.
outputAudioConfig

object (OutputAudioConfig)

Opcional. Configuração para gerar o áudio de saída.
evaluationChannel

enum (EvaluationChannel)

Opcional. O canal a ser avaliado.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Opcional. Especifica se a avaliação deve usar chamadas de ferramentas reais ou falsas.

InputAudioConfig

Representação JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Campos
audioEncoding

enum (AudioEncoding)

Obrigatório. A codificação dos dados de áudio de entrada.
sampleRateHertz

integer

Obrigatório. A taxa de amostragem (em Hertz) dos dados de áudio de entrada.
noiseSuppressionLevel

string

Opcional. Se a supressão de ruído deve ser ativada no áudio de entrada. Os valores disponíveis são "low", "moderate", "high", "very_high".

OutputAudioConfig

Representação JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Campos
audioEncoding

enum (AudioEncoding)

Obrigatório. A codificação dos dados de áudio de saída.
sampleRateHertz

integer

Obrigatório. A taxa de amostragem (em Hertz) dos dados de áudio de saída.

EvaluationMetricsConfig

Representação JSON 
{
  "goldenMetricsConfig": {
    object (GoldenMetricsConfig)
  },
  "scenarioMetricsConfig": {
    object (ScenarioMetricsConfig)
  }
}
Campos
goldenMetricsConfig

object (GoldenMetricsConfig)

Opcional. Configuração das métricas de ouro para a avaliação.
scenarioMetricsConfig

object (ScenarioMetricsConfig)

Opcional. Configuração das métricas de cenário para a avaliação.

GoldenMetricsConfig

Representação JSON 
{
  "semanticSimilarityMetricsConfig": {
    object (SemanticSimilarityMetricsConfig)
  },
  "toolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  },
  "stepToolCorrectnessMetricsConfig": {
    object (ToolCorrectnessMetricsConfig)
  }
}
Campos
semanticSimilarityMetricsConfig

object (SemanticSimilarityMetricsConfig)

Opcional. Configuração global para métricas de similaridade semântica.
toolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Opcional. Configuração para métricas de precisão da ferramenta no nível da rodada.
stepToolCorrectnessMetricsConfig

object (ToolCorrectnessMetricsConfig)

Opcional. Configuração para métricas de precisão da ferramenta no nível da etapa.

ToolCorrectnessMetricsConfig

Representação JSON 
{
  "enableToolCorrectnessMetrics": boolean
}
Campos
enableToolCorrectnessMetrics

boolean

Opcional. Se as métricas de correção da ferramenta devem ser calculadas para a avaliação.

ScenarioMetricsConfig

Representação JSON 
{
  "userGoalMetMetricsConfig": {
    object (UserGoalMetMetricsConfig)
  },
  "expectationsMetMetricsConfig": {
    object (ExpectationsMetMetricsConfig)
  }
}
Campos
userGoalMetMetricsConfig

object (UserGoalMetMetricsConfig)

Opcional. Configuração para métricas de meta do usuário atingida.
expectationsMetMetricsConfig

object (ExpectationsMetMetricsConfig)

Opcional. Configuração para métricas de nível de expectativa.

UserGoalMetMetricsConfig

Representação JSON 
{
  "enableUserGoalMetMetrics": boolean
}
Campos
enableUserGoalMetMetrics

boolean

Opcional. Se as métricas de meta do usuário atingida devem ser calculadas para a avaliação.

ExpectationsMetMetricsConfig

Representação JSON 
{
  "enableExpectationsMetMetrics": boolean
}
Campos
enableExpectationsMetMetrics

boolean

Opcional. Se as métricas de nível de expectativa devem ser calculadas para a avaliação.

NullValue

Representa um null JSON.

NullValue é um sentinela, que usa um tipo enumerado com apenas um valor para representar o valor nulo da união de tipos Value.

Um campo do tipo NullValue com qualquer valor diferente de 0 é considerado inválido. A maioria dos serializadores ProtoJSON emite um Value com um null_value definido como um null JSON, independentemente do valor inteiro, e, portanto, faz uma ida e volta para um valor 0.

Tipos enumerados
NULL_VALUE Valor nulo.

RecordingControl

O que o app decidiu pode ser gravado e registrado.

Esse tipo enumerado é extensível, e novos valores podem ser adicionados no futuro.

Tipos enumerados
RECORDING_CONTROL_UNSPECIFIED O app não está controlando a gravação. As configurações de registro do app decidem, como fazem para cada sessão que nunca define esse campo.
RECORDING_ENABLED A conversa pode ser gravada e registrada a partir de agora.
RECORDING_DISABLED A conversa não será mais gravada ou registrada.

ComparisonType

Tipos de comparação compatíveis para verificar a resposta do agente.

Tipos enumerados
COMPARISON_TYPE_UNSPECIFIED Tipo de comparação não especificado. O comportamento padrão é SEMANTIC_SIMILARITY para respostas de agentes e chamadas de ferramentas.
EQUALS Correspondência exata de string.
CONTAINS Correspondência de substring (verifica se a string esperada está contida na resposta real).
SEMANTIC_SIMILARITY Correspondência de similaridade semântica (avalia a similaridade de significado usando um LLM).

SemanticSimilarityChannel

Canal de similaridade semântica a ser usado.

Tipos enumerados
SEMANTIC_SIMILARITY_CHANNEL_UNSPECIFIED Métrica não especificada. O padrão é TEXT.
TEXT Use a semelhança semântica de texto.
AUDIO Use a semelhança semântica de áudio.

HallucinationMetricBehavior

O comportamento da métrica de alucinação. Independentemente do comportamento, a métrica sempre será calculada. A diferença é que, quando desativada, a métrica não é usada para calcular a pontuação geral da avaliação.

Tipos enumerados
HALLUCINATION_METRIC_BEHAVIOR_UNSPECIFIED Comportamento não especificado da métrica de alucinação.
DISABLED Desativar a métrica de alucinação.
ENABLED Ativar a métrica de alucinação.

TaskCompletionBehavior

O comportamento esperado da tarefa do usuário. Isso é usado para determinar se o cenário foi bem-sucedido.

Tipos enumerados
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED Comportamento não especificado. O padrão é TASK_SATISFIED.
TASK_SATISFIED A tarefa do usuário precisa ser concluída.
TASK_REJECTED A tarefa do usuário deve ser rejeitada.

UserGoalBehavior

O comportamento esperado da meta do usuário. Isso é usado para determinar se o cenário foi bem-sucedido.

Tipos enumerados
USER_GOAL_BEHAVIOR_UNSPECIFIED Comportamento não especificado. O padrão é USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED A meta do usuário deve ser concluída com sucesso.
USER_GOAL_REJECTED A meta do usuário deve ser rejeitada.
USER_GOAL_IGNORED Ignorar o status da meta do usuário.

ScenarioExecutionMode

O modo de execução para avaliações de cenário.

Tipos enumerados
SCENARIO_EXECUTION_MODE_UNSPECIFIED Modo de execução não especificado. O padrão é QUALITY_OPTIMIZED.
QUALITY_OPTIMIZED Modo otimizado para qualidade.
SPEED_OPTIMIZED Modo otimizado para velocidade.

Resultado

O resultado da avaliação ou expectativa.

Tipos enumerados
OUTCOME_UNSPECIFIED O resultado da avaliação não foi especificado.
PASS A avaliação/expectativa foi aprovada. No caso de uma avaliação, isso significa que todas as expectativas foram atendidas.
FAIL Falha na avaliação/expectativa. No caso de uma avaliação, isso significa que pelo menos uma expectativa não foi atendida.
SKIPPED A avaliação/expectativa foi ignorada.

ErrorType

O tipo de erro

Tipos enumerados
ERROR_TYPE_UNSPECIFIED Tipo de erro não especificado.
RUNTIME_FAILURE Falha durante a execução do ambiente de execução.
CONVERSATION_RETRIEVAL_FAILURE Falha ao recuperar a conversa do ambiente de execução do CES.
METRIC_CALCULATION_FAILURE Falha ao calcular uma métrica / resultado.
EVALUATION_UPDATE_FAILURE Falha ao atualizar a avaliação.
QUOTA_EXHAUSTED A cota acabou.
USER_SIMULATION_FAILURE Falha durante a simulação do usuário.

Tipo

O tipo de período. Outros valores podem ser adicionados no futuro.

Tipos enumerados
TYPE_UNSPECIFIED Valor padrão. Esse valor não é usado.
TOOL Período de chamada de ferramenta.
USER_CALLBACK Período de callback do usuário.
GUARDRAIL Período de proteção.
LLM Período do LLM.

MilestoneStatus

O status do marco.

Tipos enumerados
MILESTONE_STATUS_UNSPECIFIED Status não especificado.
NOT_STARTED O marco ainda não começou.
IN_PROGRESS O marco está em andamento.
COMPLETED O marco foi concluído.

BackgroundEnvironment

Ambiente de áudio simulado.

Tipos enumerados
BACKGROUND_ENVIRONMENT_UNSPECIFIED Ambiente de segundo plano não especificado.
CALL_CENTER Ambiente de call center.
TRAFFIC Ambiente com ruído de trânsito.
KIDS_NOISE Ambiente com barulho de crianças.
CAFE Ambiente de café.

ExecutionState

O estado da execução do resultado da avaliação.

Tipos enumerados
EXECUTION_STATE_UNSPECIFIED O estado de execução do resultado da avaliação não foi especificado.
QUEUED A execução do resultado da avaliação está na fila.
RUNNING A execução do resultado da avaliação está em andamento.
COMPLETED A execução do resultado da avaliação foi concluída.
ERROR Falha na execução do resultado da avaliação devido a um erro interno.
CANCELLED A execução do resultado da avaliação foi cancelada.

ExtraToolCallBehavior

Define o comportamento quando uma chamada de ferramenta extra é encontrada. Uma chamada de ferramenta extra é uma chamada de ferramenta que está presente na execução, mas não corresponde a nenhuma chamada de ferramenta na expectativa de ouro.

Tipos enumerados
EXTRA_TOOL_CALL_BEHAVIOR_UNSPECIFIED Comportamento não especificado. O padrão é FAIL.
FAIL Falha na avaliação se uma chamada de ferramenta extra for encontrada.
ALLOW Permita a chamada de ferramenta extra.

AudioEncoding

AudioEncoding especifica o formato de codificação para dados de áudio.

Tipos enumerados
AUDIO_ENCODING_UNSPECIFIED Codificação de áudio não especificada.
LINEAR16 Codificação de áudio PCM linear de 16 bits.
MULAW Amostras de 8 bits resultantes do compand de amostras de áudio de 14 bits em que foi usado G.711 PCMU/mu-law.
ALAW Amostras de 8 bits que compactam amostras de áudio de 14 bits usando a lei G.711 PCMU/A.

EvaluationChannel

O canal a ser avaliado.

Tipos enumerados
EVALUATION_CHANNEL_UNSPECIFIED Canal de avaliação não especificado.
TEXT Canal de avaliação somente de texto.
AUDIO Canal de avaliação de áudio.

EvaluationToolCallBehaviour

Configura o comportamento da chamada de ferramenta para execuções de avaliação.

Tipos enumerados
EVALUATION_TOOL_CALL_BEHAVIOUR_UNSPECIFIED Comportamento de chamada de ferramenta não especificado. O padrão será chamadas de ferramentas reais.
REAL Use chamadas de ferramentas reais.
FAKE Usar chamadas de ferramentas falsas.

GoldenRunMethod

O método usado para executar a avaliação.

Tipos enumerados
GOLDEN_RUN_METHOD_UNSPECIFIED O método de execução não foi especificado.
STABLE Execute a avaliação como uma repetição estável, em que cada turno é uma sessão única com os turnos esperados anteriores injetados como contexto.
NAIVE Execute a avaliação como uma repetição simples, em que a execução é uma única sessão sem contexto injetado.

OutcomeMetadata

Metadados sobre o resultado da avaliação.

Tipos enumerados
OUTCOME_METADATA_UNSPECIFIED Metadados de resultado não especificados.
GRACEFUL_HANDOFF A avaliação resultou em uma transferência tranquila para um representante humano.

Anotações de ferramentas

As anotações de ferramentas são enviadas aos clientes do MCP para descrever o risco básico de uma determinada ferramenta. A maioria dos clientes trata essas dicas como não confiáveis, mas elas podem ser usadas para decidir quando uma solicitação de confirmação pode ser enviada a um usuário.

Além da string de título, as seguintes dicas booleanas são definidas:

  • readOnlyHint: se for verdadeiro, a ferramenta não vai modificar o ambiente. Padrão: false.
  • destructiveHint: se for verdadeiro, a ferramenta poderá realizar ações destrutivas. Se for falso, a ferramenta só poderá realizar ações aditivas. Padrão: verdadeiro.
  • idempotentHint: se for verdadeiro, chamar a ferramenta repetidamente com os mesmos argumentos não terá efeito adicional no ambiente. Padrão: false.
  • openWorldHint: se for verdadeiro, a ferramenta poderá interagir com um "mundo aberto" de entidades externas. Se for falso, a ferramenta só poderá interagir com entidades internas. Por exemplo, uma ferramenta de pesquisa na Web seria de mundo aberto, enquanto uma ferramenta de memória não seria.

Dica destrutiva: ❌ | Dica idempotente: ✅ | Dica somente leitura: ✅ | Dica de jogos de mundo aberto: ❌