MCP Tools Reference: ces.googleapis.com

Ferramenta: create_evaluation

Cria uma nova avaliação.

O exemplo a seguir demonstra como usar curl para invocar a ferramenta create_evaluation MCP.

Solicitação curl 
                  
curl --location 'https://ces.[REGION].rep.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "create_evaluation",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

Esquema de entrada

Mensagem de solicitação para EvaluationService.CreateEvaluation.

CreateEvaluationRequest

Representação JSON 
{
  "parent": string,
  "evaluationId": string,
  "evaluation": {
    object (Evaluation)
  }
}
Campos
parent

string

Obrigatório. O app para criar a avaliação. Formato: projects/{project}/locations/{location}/apps/{app}
evaluationId

string

Opcional. O ID a ser usado na avaliação, que se tornará o componente final do nome do recurso da avaliação. Se não for fornecido, um ID exclusivo será atribuído automaticamente à avaliação.
evaluation

object (Evaluation)

Obrigatório. A avaliação a ser criada.

Avaliação

Representação JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Campos
name

string

Identificador. O identificador exclusivo desta avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Obrigatório. Nome de exibição da avaliação definido pelo usuário. Exclusivo em um app.
description

string

Opcional. Descrição da avaliação definida pelo usuário.
tags[]

string

Opcional. Tags definidas pelo usuário para categorizar a avaliação.
evaluationDatasets[]

string

Apenas saída. Lista de conjuntos de dados de avaliação a que a avaliação pertence. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora em que a avaliação foi criada.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
createdBy

string

Apenas saída. O usuário que criou a avaliação.
updateTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora da última atualização da avaliação.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

Apenas saída. O usuário que atualizou a avaliação por último.
evaluationRuns[]

string

Apenas saída. As EvaluationRuns associadas a esta avaliação.
etag

string

Apenas saída. Etag usada para garantir que o objeto não mudou durante uma operação de leitura-modificação-gravação. Se a ETag estiver vazia, a atualização vai substituir todas as mudanças simultâneas.
aggregatedMetrics

object (AggregatedMetrics)

Apenas saída. As métricas agregadas dessa avaliação em todas as execuções.
lastCompletedResult

object (EvaluationResult)

Apenas saída. O resultado mais recente da avaliação.
invalid

boolean

Apenas saída. Se a avaliação é inválida. Isso pode acontecer se uma avaliação estiver fazendo referência a uma ferramenta, um conjunto de ferramentas ou um agente que foi excluído.
lastTenResults[]

object (EvaluationResult)

Apenas saída. Os últimos 10 resultados da avaliação. Isso só será preenchido se include_last_ten_results estiver definido como "true" em ListEvaluationsRequest ou GetEvaluationRequest.
Campo de união inputs. As entradas para a avaliação inputs podem ser apenas uma das seguintes opções:
golden

object (Golden)

Opcional. As etapas de referência a serem avaliadas.
scenario

object (Scenario)

Opcional. A configuração de um cenário.

Dourado

Representação JSON 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Campos
turns[]

object (GoldenTurn)

Obrigatório. As rodadas de ouro necessárias para reproduzir uma conversa de ouro.
evaluationExpectations[]

string

Opcional. As expectativas de avaliação para avaliar a conversa reproduzida. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representação JSON 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  }
}
Campos
steps[]

object (Step)

Obrigatório. As etapas necessárias para reproduzir uma conversa de ouro.
rootSpan

object (Span)

Opcional. O intervalo raiz da resposta de ouro para processar e manter informações de áudio.

Etapa

Representação JSON 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Campos
Campo de união step. A etapa a ser realizada. step pode ser apenas de um dos tipos a seguir:
userInput

object (SessionInput)

Opcional. Entrada do usuário para a conversa.
agentTransfer

object (AgentTransfer)

Opcional. Transfira a conversa para outro agente.
expectation

object (GoldenExpectation)

Opcional. Executa uma expectativa no turno atual.

SessionInput

Representação JSON 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Campos
willContinue

boolean

Opcional. Uma flag para indicar se a mensagem atual é um fragmento de uma entrada maior na sessão de streaming bidirecional.

Quando definido como true, o agente adia o processamento até receber uma mensagem subsequente em que will_continue seja false ou até que o sistema detecte um ponto final na entrada de áudio.

OBSERVAÇÃO: esse campo não se aplica a entradas de áudio e DTMF, já que elas são sempre processadas automaticamente com base no sinal de encerramento.
Campo de união input_type. O tipo da entrada. input_type pode ser apenas de um dos tipos a seguir:
text

string

Opcional. Dados de texto do usuário final.
dtmf

string

Opcional. Dígitos DTMF do usuário final.
audio

string (bytes format)

Opcional. Dados de áudio do usuário final.

Uma string codificada em base64.
toolResponses

object (ToolResponses)

Opcional. Resultados da execução das chamadas de função do cliente.
image

object (Image)

Opcional. Dados de imagem do usuário final.
blob

object (Blob)

Opcional. Dados de blob do usuário final.
variables

object (Struct format)

Opcional. Variáveis contextuais da sessão, com chave pelo nome. Somente as variáveis declaradas no app serão usadas pelo agente da CES.

Variáveis não reconhecidas ainda serão enviadas ao [agente do Dialogflow][Agent.RemoteDialogflowAgent] como parâmetros de sessão adicionais.
event

object (Event)

Opcional. Entrada de evento.

ToolResponses

Representação JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Campos
toolResponses[]

object (ToolResponse)

Opcional. A lista de resultados da execução da ferramenta.

ToolResponse

Representação JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campos
id

string

Opcional. O código correspondente do tool call a que a resposta se refere.
displayName

string

Apenas saída. Nome de exibição da ferramenta.
response

object (Struct format)

Obrigatório. O resultado da execução da ferramenta no formato de objeto JSON. Use a chave "output" para especificar a resposta da ferramenta e a chave "error" para especificar os detalhes do erro (se houver). Se as chaves "output" e "error" não forem especificadas, toda a "response" será tratada como resultado da execução da ferramenta.
Campo de união tool_identifier. O identificador da ferramenta que foi executada. Ela pode ser uma ferramenta persistente ou de um conjunto de ferramentas. tool_identifier pode ser apenas de um dos tipos a seguir:
tool

string

Opcional. O nome da ferramenta a ser executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Opcional. A ferramenta do conjunto de ferramentas que foi executada.

ToolsetTool

Representação JSON 
{
  "toolset": string,
  "toolId": string
}
Campos
toolset

string

Obrigatório. O nome do recurso do conjunto de ferramentas de que essa ferramenta deriva. Formato: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Opcional. O ID da ferramenta para filtrar as ferramentas e recuperar o esquema.

Struct

Representação JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Campos
fields

map (key: string, value: value (Value format))

Mapa não ordenado de valores com tipagem dinâmica.

Um objeto com uma lista de pares "key": value. Exemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representação JSON 
{
  "key": string,
  "value": value
}
Campos
key

string
value

value (Value format)

Valor

Representação JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Campos
Campo de união kind. O tipo de valor. kind pode ser apenas de um dos tipos a seguir:
nullValue

null

Representa um valor nulo.
numberValue

number

Representa um valor double.
stringValue

string

Representa um valor de string.
boolValue

boolean

Representa um valor booleano.
structValue

object (Struct format)

Representa um valor estruturado.
listValue

array (ListValue format)

Representa um Value repetido.

ListValue

Representação JSON 
{
  "values": [
    value
  ]
}
Campos
values[]

value (Value format)

Campo repetido de valores digitados dinamicamente.

Image

Representação JSON 
{
  "mimeType": string,
  "data": string
}
Campos
mimeType

string

Obrigatório. O tipo MIME padrão da IANA dos dados de origem. Os tipos de imagem compatíveis incluem: * image/png * image/jpeg * image/webp
data

string (bytes format)

Obrigatório. Bytes brutos da imagem.

Uma string codificada em base64.

Blob

Representação JSON 
{
  "mimeType": string,
  "data": string
}
Campos
mimeType

string

Obrigatório. O tipo MIME padrão da IANA dos dados de origem.
data

string (bytes format)

Obrigatório. Bytes brutos do blob.

Uma string codificada em base64.

Evento

Representação JSON 
{
  "event": string
}
Campos
event

string

Obrigatório. O nome do evento.

AgentTransfer

Representação JSON 
{
  "targetAgent": string,
  "displayName": string
}
Campos
targetAgent

string

Obrigatório. O agente para quem a conversa está sendo transferida. O agente vai cuidar da conversa a partir desse ponto. Formato: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Apenas saída. Nome de exibição do agente.

GoldenExpectation

Representação JSON 
{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}
Campos
note

string

Opcional. Uma observação para esse requisito, útil ao informar quando verificações específicas falham. Ex.: "Check_Payment_Tool_Called".
Campo de união condition. A verificação real a ser realizada. condition pode ser apenas de um dos tipos a seguir:
toolCall

object (ToolCall)

Opcional. Verifique se uma ferramenta específica foi chamada com os parâmetros.
toolResponse

object (ToolResponse)

Opcional. Verifique se uma ferramenta específica teve a resposta esperada.
agentResponse

object (Message)

Opcional. Verifique se o agente respondeu corretamente. A função "agente" está implícita.
agentTransfer

object (AgentTransfer)

Opcional. Verifique se o agente transferiu a conversa para outro agente.
updatedVariables

object (Struct format)

Opcional. Verifique se o agente atualizou as variáveis de sessão para os valores esperados. Usado também para capturar atualizações de variáveis do agente para avaliações de ouro.
mockToolResponse

object (ToolResponse)

Opcional. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.

ToolCall

Representação JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campos
id

string

Opcional. O identificador exclusivo da chamada de função. Se preenchido, o cliente vai retornar o resultado da execução com o código correspondente em ToolResponse.
displayName

string

Apenas saída. Nome de exibição da ferramenta.
args

object (Struct format)

Opcional. Os parâmetros e valores de entrada da ferramenta no formato de objeto JSON.
Campo de união tool_identifier. O identificador da ferramenta a ser executada. Ela pode ser uma ferramenta persistente ou de um conjunto de ferramentas. tool_identifier pode ser apenas de um dos tipos a seguir:
tool

string

Opcional. O nome da ferramenta a ser executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Opcional. A ferramenta do conjunto de ferramentas a ser executada.

Mensagem

Representação JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Campos
role

string

Opcional. A função na conversa, por exemplo, usuário, agente.
chunks[]

object (Chunk)

Opcional. Conteúdo da mensagem como uma série de partes.
eventTime

string (Timestamp format)

Opcional. Carimbo de data/hora em que a mensagem foi enviada ou recebida. Não pode ser usado se a mensagem fizer parte de um example.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

Chunk

Representação JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Campos
Campo de união data. Dados de bloco. data pode ser apenas de um dos tipos a seguir:
text

string

Opcional. Dados de texto.
transcript

string

Opcional. Transcrição associada ao áudio.
blob

object (Blob)

Opcional. Dados de blob.
payload

object (Struct format)

Opcional. Dados de payload personalizados.
image

object (Image)

Opcional. Dados da imagem.
toolCall

object (ToolCall)

Opcional. Solicitação de execução de ferramenta.
toolResponse

object (ToolResponse)

Opcional. Resposta de execução da ferramenta.
agentTransfer

object (AgentTransfer)

Opcional. Evento de transferência de agente.
updatedVariables

object (Struct format)

Uma struct representa variáveis que foram atualizadas na conversa, com chaves pelos nomes das variáveis.
defaultVariables

object (Struct format)

Uma struct representa variáveis padrão no início da conversa, com chaves de nomes de variáveis.

Carimbo de data/hora

Representação JSON 
{
  "seconds": string,
  "nanos": integer
}
Campos
seconds

string (int64 format)

Representa os segundos do horário UTC desde a época Unix 1970-01-01T00:00:00Z. Precisa estar entre -62135596800 e 253402300799 (o que corresponde a 0001-01-01T00:00:00Z a 9999-12-31T23:59:59Z).
nanos

integer

Frações não negativas de um segundo com resolução de nanossegundos. Esse campo é a parte de nanossegundos da duração, não uma alternativa aos segundos. Os valores de segundos negativos com frações ainda precisam ter valores em nanossegundos não negativos que representam períodos posteriores. O valor precisa ser de 0 a 999.999.999 (inclusive).

Período

Representação JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Campos
name

string

Apenas saída. O nome do intervalo.
startTime

string (Timestamp format)

Apenas saída. O horário de início do intervalo.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Apenas saída. O horário de término do período.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

Apenas saída. A duração do período.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
attributes

object (Struct format)

Apenas saída. Atributos de chave-valor associados ao intervalo.
childSpans[]

object (Span)

Apenas saída. Os intervalos filhos aninhados neste intervalo.

Duração

Representação JSON 
{
  "seconds": string,
  "nanos": integer
}
Campos
seconds

string (int64 format)

Segundos assinados do período. Precisa estar entre -315.576.000.000 e +315.576.000.000 (inclusive). Observação: esses limites são calculados da seguinte forma: 60 s/min * 60 min/h * 24 h/dia * 365,25 dias/ano * 10.000 anos
nanos

integer

Frações assinadas de um segundo com resolução de nanossegundos do período. Durações menores que um segundo são representadas com um campo seconds 0 e um campo nanos positivo ou negativo. Para durações de um segundo ou mais, um valor diferente de zero para o campo nanos precisa ter o mesmo sinal do campo seconds. Precisa estar entre -999.999.999 e +999.999.999 (inclusive).

Cenário

Representação JSON 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ]
}
Campos
task

string

Obrigatório. A tarefa que será afetada pelo cenário.
userFacts[]

object (UserFact)

Opcional. Os fatos do usuário a serem usados pelo cenário.
maxTurns

integer

Opcional. O número máximo de turnos a serem simulados. Se não for especificado, a simulação vai continuar até que a tarefa seja concluída.
rubrics[]

string

Obrigatório. As rubricas para pontuar o cenário.
scenarioExpectations[]

object (ScenarioExpectation)

Obrigatório. O ScenarioExpectations para avaliar a conversa produzida pela simulação do usuário.
variableOverrides

object (Struct format)

Opcional. Variáveis / parâmetros de sessão como contexto para a sessão, com chave pelos nomes das variáveis. Os membros dessa struct vão substituir todos os valores padrão definidos pelo sistema.

Esses fatos são diferentes dos fatos do usuário, que são conhecidos por ele. Variáveis são parâmetros conhecidos pelo agente, ou seja, MDN (número de telefone) transmitido pelo sistema de telefonia.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Opcional. Obsoleto. Use user_goal_behavior.
userGoalBehavior

enum (UserGoalBehavior)

Opcional. O comportamento esperado da meta do usuário.
evaluationExpectations[]

string

Opcional. As expectativas de avaliação para avaliar a conversa produzida pela simulação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

UserFact

Representação JSON 
{
  "name": string,
  "value": string
}
Campos
name

string

Obrigatório. O nome do fato do usuário.
value

string

Obrigatório. O valor do fato do usuário.

ScenarioExpectation

Representação JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Campos
Campo de união expectation. A expectativa de avaliar a conversa produzida pela simulação. expectation pode ser apenas de um dos tipos a seguir:
toolExpectation

object (ToolExpectation)

Opcional. O par de chamada de ferramenta e resposta que será avaliado.
agentResponse

object (Message)

Opcional. A resposta do agente a ser avaliada.

ToolExpectation

Representação JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Campos
expectedToolCall

object (ToolCall)

Obrigatório. A chamada de ferramenta esperada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.
mockToolResponse

object (ToolResponse)

Obrigatório. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.

AggregatedMetrics

Representação JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Campos
metricsByAppVersion[]

object (MetricsByAppVersion)

Apenas saída. Métricas agregadas, agrupadas por ID da versão do app.

MetricsByAppVersion

Representação JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Campos
appVersionId

string

Apenas saída. O ID da versão do app.
toolMetrics[]

object (ToolMetrics)

Apenas saída. Métricas de cada ferramenta nesta versão do app.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Apenas saída. Métricas de similaridade semântica nesta versão do app.
hallucinationMetrics[]

object (HallucinationMetrics)

Apenas saída. Métricas de alucinação nesta versão do app.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Apenas saída. Métricas para latência de chamada de ferramenta nesta versão do app.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Apenas saída. Métricas para latência de turno nesta versão do app.
passCount

integer

Apenas saída. O número de vezes que a avaliação foi aprovada.
failCount

integer

Apenas saída. O número de vezes que a avaliação falhou.
metricsByTurn[]

object (MetricsByTurn)

Apenas saída. Métricas agregadas por turno nessa versão do app.

ToolMetrics

Representação JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Campos
tool

string

Apenas saída. O nome da ferramenta.
passCount

integer

Apenas saída. O número de vezes que a ferramenta foi aprovada.
failCount

integer

Apenas saída. O número de vezes que a ferramenta falhou.

SemanticSimilarityMetrics

Representação JSON 
{
  "score": number
}
Campos
score

number

Apenas saída. A pontuação média de similaridade semântica (0 a 4).

HallucinationMetrics

Representação JSON 
{
  "score": number
}
Campos
score

number

Apenas saída. A pontuação média de alucinação (0 a 1).

ToolCallLatencyMetrics

Representação JSON 
{
  "tool": string,
  "averageLatency": string
}
Campos
tool

string

Apenas saída. O nome da ferramenta.
averageLatency

string (Duration format)

Apenas saída. A latência média das chamadas de ferramenta.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

TurnLatencyMetrics

Representação JSON 
{
  "averageLatency": string
}
Campos
averageLatency

string (Duration format)

Apenas saída. A latência média dos turnos.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

MetricsByTurn

Representação JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Campos
turnIndex

integer

Apenas saída. O índice da vez (com base em 0).
toolMetrics[]

object (ToolMetrics)

Apenas saída. Métricas para cada ferramenta nesta rodada.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Apenas saída. Métricas de similaridade semântica neste turno.
hallucinationMetrics[]

object (HallucinationMetrics)

Apenas saída. Métricas para alucinação neste turno.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Apenas saída. Métricas para latência de chamada de ferramenta neste turno.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Apenas saída. Métricas de latência do turno.

EvaluationResult

Representação JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Campos
name

string

Identificador. O identificador exclusivo do resultado da avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Obrigatório. Nome de exibição do resultado da avaliação. Exclusivo em uma avaliação. Por padrão, ele tem o seguinte formato: " resultado - ".
createTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora em que o resultado da avaliação foi criado.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

Apenas saída. O resultado da avaliação. Preenchido apenas se "execution_state" for "COMPLETE".
evaluationRun

string

Apenas saída. A execução da avaliação que gerou esse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Apenas saída. A persona usada para gerar a conversa do resultado da avaliação.
errorInfo

object (EvaluationErrorInfo)

Apenas saída. Informações de erro para o resultado da avaliação.
error
(deprecated)

object (Status)

Apenas saída. Descontinuado: use error_info. Erros encontrados durante a execução.
initiatedBy

string

Apenas saída. O usuário que iniciou a execução da avaliação que resultou neste resultado.
appVersion

string

Apenas saída. A versão do app usada para gerar a conversa que resultou nesse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Apenas saída. O nome de exibição do app_version em que a avaliação foi executada.
changelog

string

Apenas saída. O changelog da versão do app em que a avaliação foi executada. Esse campo é preenchido se o usuário executar a avaliação na versão mais recente/rascunho.
changelogCreateTime

string (Timestamp format)

Apenas saída. O horário de criação do changelog da versão do app em que a avaliação foi executada. Esse campo é preenchido se o usuário executar a avaliação na versão mais recente/rascunho.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

Apenas saída. O estado da execução do resultado da avaliação.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Apenas saída. Os limites de avaliação do resultado.
config

object (EvaluationConfig)

Apenas saída. A configuração usada na execução da avaliação que resultou nesse resultado.
goldenRunMethod

enum (GoldenRunMethod)

Apenas saída. O método usado para executar a avaliação de ouro.
Campo de união result. O resultado da avaliação. Preenchido apenas quando o "execution_state" é "COMPLETED". result pode ser apenas de um dos tipos a seguir:
goldenResult

object (GoldenResult)

Apenas saída. O resultado de uma avaliação de ouro.
scenarioResult

object (ScenarioResult)

Apenas saída. O resultado de uma avaliação de cenário.

GoldenResult

Representação JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Campos
turnReplayResults[]

object (TurnReplayResult)

Apenas saída. O resultado da execução de cada turno da conversa de referência.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Apenas saída. Os resultados das expectativas de avaliação.

TurnReplayResult

Representação JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Campos
conversation

string

Apenas saída. A conversa gerada para essa vez.
expectationOutcome[]

object (GoldenExpectationOutcome)

Apenas saída. O resultado de cada expectativa.
hallucinationResult

object (HallucinationResult)

Apenas saída. O resultado da verificação de alucinação.
toolInvocationScore
(deprecated)

number

Apenas saída. Obsoleto. Use OverallToolInvocationResult.
turnLatency

string (Duration format)

Apenas saída. Duração da vez.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Apenas saída. A latência de cada chamada de ferramenta no turno.
semanticSimilarityResult

object (SemanticSimilarityResult)

Apenas saída. O resultado da verificação de similaridade semântica.
overallToolInvocationResult

object (OverallToolInvocationResult)

Apenas saída. O resultado da verificação geral de invocação da ferramenta.
errorInfo

object (EvaluationErrorInfo)

Apenas saída. Informações sobre o erro que ocorreu durante essa interação.
spanLatencies[]

object (SpanLatency)

Apenas saída. A latência dos períodos na vez.

Campo de união _tool_ordered_invocation_score.

_tool_ordered_invocation_score pode ser apenas de um dos tipos a seguir:
toolOrderedInvocationScore

number

Apenas saída. A pontuação geral de invocação ordenada da ferramenta para esta vez. Isso indica a porcentagem geral de ferramentas do turno esperado que foram realmente invocadas na ordem esperada.

GoldenExpectationOutcome

Representação JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}
Campos
expectation

object (GoldenExpectation)

Apenas saída. A expectativa que foi avaliada.
outcome

enum (Outcome)

Apenas saída. O resultado da expectativa.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Apenas saída. O resultado da verificação de similaridade semântica.
toolInvocationResult

object (ToolInvocationResult)

Apenas saída. O resultado da verificação de invocação da ferramenta.
Campo de união result. O resultado da expectativa. result pode ser apenas de um dos tipos a seguir:
observedToolCall

object (ToolCall)

Apenas saída. O resultado da expectativa de chamada de função.
observedToolResponse

object (ToolResponse)

Apenas saída. O resultado da expectativa de resposta da ferramenta.
observedAgentResponse

object (Message)

Apenas saída. O resultado da expectativa de resposta do agente.
observedAgentTransfer

object (AgentTransfer)

Apenas saída. O resultado da expectativa de transferência do agente.

SemanticSimilarityResult

Representação JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 4: totalmente consistente; Pontuação 3: quase totalmente consistente; Pontuação 2: parcialmente consistente (pequenas omissões); Pontuação 1: muito inconsistente (grandes omissões); Pontuação 0: completamente inconsistente / contraditória
explanation

string

Apenas saída. A explicação da pontuação de semelhança semântica.
outcome

enum (Outcome)

Apenas saída. O resultado da verificação de similaridade semântica. Isso é determinado comparando a pontuação com o semantic_similarity_success_threshold. Se a pontuação for igual ou maior que o limite, o resultado será "PASS". Caso contrário, o resultado será FAIL.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de similaridade semântica. Pode ser 0, 1, 2, 3 ou 4.

ToolInvocationResult

Representação JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Campos
outcome

enum (Outcome)

Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o parameter_correctness_score ao limite. Se a pontuação for igual ou maior que o limite, o resultado será "PASS". Caso contrário, o resultado será FAIL.
explanation

string

Apenas saída. Uma explicação em texto livre para o resultado da invocação da ferramenta.

Campo de união _parameter_correctness_score.

_parameter_correctness_score pode ser apenas de um dos tipos a seguir:
parameterCorrectnessScore

number

Apenas saída. A pontuação de correção do parâmetro de invocação da ferramenta. Isso indica a porcentagem de parâmetros da chamada de ferramenta esperada que também estavam presentes na chamada de ferramenta real.

HallucinationResult

Representação JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: justificada. Pontuação 0: não justificada. Pontuação -1: nenhuma declaração para avaliar.
explanation

string

Apenas saída. A explicação da pontuação de alucinação.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de alucinação. Pode ser -1, 0 ou 1.

ToolCallLatency

Representação JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Campos
tool

string

Apenas saída. O nome da ferramenta que foi executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Apenas saída. O nome de exibição da ferramenta.
startTime

string (Timestamp format)

Apenas saída. O horário de início da execução da chamada de função.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Apenas saída. O horário de término da execução da chamada de função.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Apenas saída. A latência da execução da chamada de ferramenta.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

OverallToolInvocationResult

Representação JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Campos
outcome

enum (Outcome)

Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o tool_invocation_score com o overall_tool_invocation_correctness_threshold. Se a pontuação for igual ou maior que o limite, o resultado será "PASS". Caso contrário, o resultado será FAIL.

Campo de união _tool_invocation_score.

_tool_invocation_score pode ser apenas de um dos tipos a seguir:
toolInvocationScore

number

A pontuação geral de invocação da ferramenta para esta vez. Isso indica a porcentagem geral de ferramentas do turno esperado que foram realmente invocadas.

EvaluationErrorInfo

Representação JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
Campos
errorType

enum (ErrorType)

Apenas saída. O tipo de erro.
errorMessage

string

Apenas saída. A mensagem de erro.
sessionId

string

Apenas saída. O ID da sessão da conversa que causou o erro.

SpanLatency

Representação JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Campos
type

enum (Type)

Apenas saída. O tipo de intervalo.
displayName

string

Apenas saída. O nome de exibição do intervalo. Aplicável a intervalos de ferramentas e proteções.
startTime

string (Timestamp format)

Apenas saída. O horário de início do intervalo.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Apenas saída. O horário de término do período.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Apenas saída. A latência do período.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
Campo de união identifier. O identificador do item específico com base no tipo dele. identifier pode ser apenas de um dos tipos a seguir:
resource

string

Apenas saída. O nome do recurso dos intervalos de proteção ou ferramenta.
toolset

object (ToolsetTool)

Apenas saída. O identificador da ferramenta do conjunto de ferramentas.
model

string

Apenas saída. O nome do intervalo do LLM.
callback

string

Apenas saída. O nome do intervalo de retorno de chamada do usuário.

EvaluationExpectationResult

Representação JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Campos
evaluationExpectation

string

Apenas saída. A expectativa de avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Apenas saída. O comando usado para a avaliação.
outcome

enum (Outcome)

Apenas saída. O resultado da expectativa de avaliação.
explanation

string

Apenas saída. A explicação do resultado.

ScenarioResult

Representação JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Campos
conversation

string

Apenas saída. A conversa gerada no cenário.
task

string

Apenas saída. A tarefa usada ao executar o cenário para esse resultado.
userFacts[]

object (UserFact)

Apenas saída. Os fatos do usuário que foram usados pelo cenário para esse resultado.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Apenas saída. O resultado de cada expectativa.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Apenas saída. O resultado da rubrica.
hallucinationResult[]

object (HallucinationResult)

Apenas saída. O resultado da verificação de alucinação. Haverá um resultado de alucinação para cada turno na conversa.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Apenas saída. O resultado da verificação de conclusão da tarefa.
toolCallLatencies[]

object (ToolCallLatency)

Apenas saída. A latência de cada execução de chamada de ferramenta na conversa.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Apenas saída. O resultado da verificação de satisfação da meta do usuário.
spanLatencies[]

object (SpanLatency)

Apenas saída. A latência dos intervalos na conversa.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Apenas saída. Os resultados das expectativas de avaliação.

Campo de união _all_expectations_satisfied.

_all_expectations_satisfied pode ser apenas de um dos tipos a seguir:
allExpectationsSatisfied

boolean

Apenas saída. Se todas as expectativas foram atendidas nesta rodada.

Campo de união _task_completed.

_task_completed pode ser apenas de um dos tipos a seguir:
taskCompleted

boolean

Apenas saída. Indica se a tarefa foi concluída nesta rodada. É uma combinação de todas as expectativas atendidas, sem alucinações e com satisfação da meta do usuário.

ScenarioExpectationOutcome

Representação JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Campos
expectation

object (ScenarioExpectation)

Apenas saída. A expectativa que foi avaliada.
outcome

enum (Outcome)

Apenas saída. O resultado do ScenarioExpectation.
Campo de união result. O resultado da expectativa. result pode ser apenas de um dos tipos a seguir:
observedToolCall

object (ObservedToolCall)

Apenas saída. A chamada de ferramenta observada.
observedAgentResponse

object (Message)

Apenas saída. A resposta observada do agente.

ObservedToolCall

Representação JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Campos
toolCall

object (ToolCall)

Apenas saída. A chamada de ferramenta observada.
toolResponse

object (ToolResponse)

Apenas saída. A resposta da ferramenta observada.

ScenarioRubricOutcome

Representação JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Campos
rubric

string

Apenas saída. A rubrica usada para avaliar a conversa.
scoreExplanation

string

Apenas saída. A resposta do avaliador à rubrica.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

number

Apenas saída. A pontuação da conversa em relação à rubrica.

TaskCompletionResult

Representação JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: tarefa concluída. Pontuação 0: tarefa não concluída. Pontuação -1: meta do usuário indefinida.
explanation

string

Apenas saída. A explicação da pontuação de conclusão da tarefa.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de conclusão da tarefa. Pode ser -1, 0 ou 1

UserGoalSatisfactionResult

Representação JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: tarefa do usuário concluída. Pontuação 0: tarefa do usuário não concluída. Pontuação -1: tarefa do usuário não especificada.
explanation

string

Apenas saída. A explicação da pontuação de satisfação da tarefa do usuário.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de satisfação da tarefa do usuário. Pode ser -1, 0 ou 1.

EvaluationPersona

Representação JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Campos
name

string

Obrigatório. O identificador exclusivo da persona. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Opcional. A descrição da persona.
displayName

string

Obrigatório. O nome de exibição da persona. Exclusivo em um app.
personality

string

Obrigatório. Uma instrução para o agente sobre como se comportar na avaliação.
speechConfig

object (SpeechConfig)

Opcional. Configuração de como a persona soa (configurações de TTS).

SpeechConfig

Representação JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Campos
speakingRate

number

Opcional. A velocidade da fala. 1,0 é normal. Valores menores são mais lentos (por exemplo, 0,8), quanto maior, mais rápido (por exemplo, 1.5). Útil para testar como o agente lida com pessoas que falam rápido.
environment

enum (BackgroundEnvironment)

Opcional. O ambiente de áudio simulado.
voiceId

string

Opcional. O identificador/sotaque de voz específico a ser usado. Exemplo: "en-US-Wavenet-D" ou "en-GB-Standard-A"

Status

Representação JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Campos
code

integer

O código de status, que precisa ser um valor de enumeração de google.rpc.Code.
message

string

Uma mensagem de erro em inglês para o desenvolvedor. Qualquer mensagem de erro para o usuário precisa ser localizada e enviada no campo google.rpc.Status.details, ou localizada pelo cliente.
details[]

object

Uma lista de mensagens com os detalhes do erro. Há um conjunto comum de tipos de mensagens para as APIs usarem.

Um objeto contendo campos de um tipo arbitrário. Um campo adicional "@type" contém uma URI que identifica o tipo. Exemplo: { "id": 1234, "@type": "types.example.com/standard/id" }.

Qualquer

Representação JSON 
{
  "typeUrl": string,
  "value": string
}
Campos
typeUrl

string

Identifica o tipo da mensagem Protobuf serializada com uma referência de URI que consiste em um prefixo que termina em uma barra e o nome de tipo totalmente qualificado.

Exemplo: type.googleapis.com/google.protobuf.StringValue

Essa string precisa conter pelo menos um caractere /, e o conteúdo após o último / precisa ser o nome totalmente qualificado do tipo na forma canônica, sem um ponto inicial. Não escreva um esquema nessas referências de URI para que os clientes não tentem entrar em contato com elas.

O prefixo é arbitrário, e as implementações do Protobuf devem remover tudo até o último /, inclusive, para identificar o tipo. type.googleapis.com/ é um prefixo padrão comum exigido por algumas implementações legadas. Esse prefixo não indica a origem do tipo, e não é esperado que URIs que o contenham respondam a solicitações.

Todas as strings de URL de tipo precisam ser referências de URI válidas com a restrição adicional (para o formato de texto) de que o conteúdo da referência deve consistir apenas em caracteres alfanuméricos, escapes codificados por porcentagem e caracteres no seguinte conjunto (sem incluir as crases externas): /-.~_!$&()*+,;=. Embora permitamos codificações de porcentagem, as implementações não devem remover o escape delas para evitar confusão com analisadores atuais. Por exemplo, type.googleapis.com%2FFoo deve ser rejeitado.

No design original do Any, foi considerada a possibilidade de iniciar um serviço de resolução de tipos nesses URLs, mas o Protobuf nunca implementou um e considera o contato com esses URLs problemático e um possível problema de segurança. Não tente entrar em contato com URLs de tipo.
value

string (bytes format)

Contém uma serialização Protobuf do tipo descrito por type_url.

Uma string codificada em base64.

EvaluationMetricsThresholds

Representação JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Campos
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Opcional. Os limites das métricas de avaliação de ouro.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Opcional. Descontinuado: use golden_hallucination_metric_behavior. O comportamento da métrica de alucinação é usado atualmente para avaliações de ouro.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Opcional. O comportamento da métrica de alucinação para avaliações de ouro.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Opcional. O comportamento da métrica de alucinação para avaliações de cenário.

GoldenEvaluationMetricsThresholds

Representação JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Campos
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Opcional. Os limites das métricas no nível da rodada.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Opcional. Os limites das métricas de nível de expectativa.
toolMatchingSettings

object (ToolMatchingSettings)

Opcional. As configurações de correspondência de ferramentas. Uma chamada de ferramenta extra é uma chamada de ferramenta presente na execução, mas que não corresponde a nenhuma chamada de ferramenta na expectativa de ouro.

TurnLevelMetricsThresholds

Representação JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Campos
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Opcional. O canal de similaridade semântica a ser usado para avaliação.

Campo de união _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold pode ser apenas de um dos tipos a seguir:
semanticSimilaritySuccessThreshold

integer

Opcional. O limite de sucesso para similaridade semântica. O valor precisa ser um número inteiro entre 0 e 4. O padrão é ">= 3".

Campo de união _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold pode ser apenas de um dos tipos a seguir:
overallToolInvocationCorrectnessThreshold

number

Opcional. O limite de sucesso para a correção geral da invocação da ferramenta. Precisa ser um número de ponto flutuante entre 0 e 1. O padrão é 1,0.

ExpectationLevelMetricsThresholds

Representação JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Campos

Campo de união _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold pode ser apenas de um dos tipos a seguir:
toolInvocationParameterCorrectnessThreshold

number

Opcional. O limite de sucesso para a correção de parâmetros de invocação de ferramentas individuais. Precisa ser um número de ponto flutuante entre 0 e 1. O padrão é 1,0.

ToolMatchingSettings

Representação JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Campos
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Opcional. Comportamento para chamadas de função extras. O padrão é FAIL.

EvaluationConfig

Representação JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Campos
inputAudioConfig
(deprecated)

object (InputAudioConfig)

Opcional. Configuração para processar o áudio de entrada.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

Opcional. Configuração para gerar o áudio de saída.
evaluationChannel

enum (EvaluationChannel)

Opcional. O canal a ser avaliado.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Opcional. Especifica se a avaliação deve usar chamadas de ferramentas reais ou falsas.

InputAudioConfig

Representação JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Campos
audioEncoding

enum (AudioEncoding)

Obrigatório. A codificação dos dados de áudio de entrada.
sampleRateHertz

integer

Obrigatório. A taxa de amostragem (em Hertz) dos dados de áudio de entrada.
noiseSuppressionLevel

string

Opcional. Define se a redução de ruído será ativada no áudio de entrada. Os valores disponíveis são "low", "moderate", "high", "very_high".

OutputAudioConfig

Representação JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Campos
audioEncoding

enum (AudioEncoding)

Obrigatório. A codificação dos dados de áudio de saída.
sampleRateHertz

integer

Obrigatório. A taxa de amostragem (em Hertz) dos dados de áudio de saída.

Esquema de saída

Uma avaliação representa todas as informações necessárias para simular e avaliar um agente.

Avaliação

Representação JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],

  // Union field inputs can be only one of the following:
  "golden": {
    object (Golden)
  },
  "scenario": {
    object (Scenario)
  }
  // End of list of possible types for union field inputs.
}
Campos
name

string

Identificador. O identificador exclusivo desta avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Obrigatório. Nome de exibição da avaliação definido pelo usuário. Exclusivo em um app.
description

string

Opcional. Descrição da avaliação definida pelo usuário.
tags[]

string

Opcional. Tags definidas pelo usuário para categorizar a avaliação.
evaluationDatasets[]

string

Apenas saída. Lista de conjuntos de dados de avaliação a que a avaliação pertence. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora em que a avaliação foi criada.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
createdBy

string

Apenas saída. O usuário que criou a avaliação.
updateTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora da última atualização da avaliação.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

Apenas saída. O usuário que atualizou a avaliação por último.
evaluationRuns[]

string

Apenas saída. As EvaluationRuns associadas a esta avaliação.
etag

string

Apenas saída. Etag usada para garantir que o objeto não mudou durante uma operação de leitura-modificação-gravação. Se a ETag estiver vazia, a atualização vai substituir todas as mudanças simultâneas.
aggregatedMetrics

object (AggregatedMetrics)

Apenas saída. As métricas agregadas dessa avaliação em todas as execuções.
lastCompletedResult

object (EvaluationResult)

Apenas saída. O resultado mais recente da avaliação.
invalid

boolean

Apenas saída. Se a avaliação é inválida. Isso pode acontecer se uma avaliação estiver fazendo referência a uma ferramenta, um conjunto de ferramentas ou um agente que foi excluído.
lastTenResults[]

object (EvaluationResult)

Apenas saída. Os últimos 10 resultados da avaliação. Isso só será preenchido se include_last_ten_results estiver definido como "true" em ListEvaluationsRequest ou GetEvaluationRequest.
Campo de união inputs. As entradas para a avaliação inputs podem ser apenas uma das seguintes opções:
golden

object (Golden)

Opcional. As etapas de referência a serem avaliadas.
scenario

object (Scenario)

Opcional. A configuração de um cenário.

Dourado

Representação JSON 
{
  "turns": [
    {
      object (GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Campos
turns[]

object (GoldenTurn)

Obrigatório. As rodadas de ouro necessárias para reproduzir uma conversa de ouro.
evaluationExpectations[]

string

Opcional. As expectativas de avaliação para avaliar a conversa reproduzida. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

GoldenTurn

Representação JSON 
{
  "steps": [
    {
      object (Step)
    }
  ],
  "rootSpan": {
    object (Span)
  }
}
Campos
steps[]

object (Step)

Obrigatório. As etapas necessárias para reproduzir uma conversa de ouro.
rootSpan

object (Span)

Opcional. O intervalo raiz da resposta de ouro para processar e manter informações de áudio.

Etapa

Representação JSON 
{

  // Union field step can be only one of the following:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (GoldenExpectation)
  }
  // End of list of possible types for union field step.
}
Campos
Campo de união step. A etapa a ser realizada. step pode ser apenas de um dos tipos a seguir:
userInput

object (SessionInput)

Opcional. Entrada do usuário para a conversa.
agentTransfer

object (AgentTransfer)

Opcional. Transfira a conversa para outro agente.
expectation

object (GoldenExpectation)

Opcional. Executa uma expectativa no turno atual.

SessionInput

Representação JSON 
{
  "willContinue": boolean,

  // Union field input_type can be only one of the following:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of list of possible types for union field input_type.
}
Campos
willContinue

boolean

Opcional. Uma flag para indicar se a mensagem atual é um fragmento de uma entrada maior na sessão de streaming bidirecional.

Quando definido como true, o agente adia o processamento até receber uma mensagem subsequente em que will_continue seja false ou até que o sistema detecte um ponto final na entrada de áudio.

OBSERVAÇÃO: esse campo não se aplica a entradas de áudio e DTMF, já que elas são sempre processadas automaticamente com base no sinal de encerramento.
Campo de união input_type. O tipo da entrada. input_type pode ser apenas de um dos tipos a seguir:
text

string

Opcional. Dados de texto do usuário final.
dtmf

string

Opcional. Dígitos DTMF do usuário final.
audio

string (bytes format)

Opcional. Dados de áudio do usuário final.

Uma string codificada em base64.
toolResponses

object (ToolResponses)

Opcional. Resultados da execução das chamadas de função do cliente.
image

object (Image)

Opcional. Dados de imagem do usuário final.
blob

object (Blob)

Opcional. Dados de blob do usuário final.
variables

object (Struct format)

Opcional. Variáveis contextuais da sessão, com chave pelo nome. Somente as variáveis declaradas no app serão usadas pelo agente da CES.

Variáveis não reconhecidas ainda serão enviadas ao [agente do Dialogflow][Agent.RemoteDialogflowAgent] como parâmetros de sessão adicionais.
event

object (Event)

Opcional. Entrada de evento.

ToolResponses

Representação JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Campos
toolResponses[]

object (ToolResponse)

Opcional. A lista de resultados da execução da ferramenta.

ToolResponse

Representação JSON 
{
  "id": string,
  "displayName": string,
  "response": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campos
id

string

Opcional. O código correspondente do tool call a que a resposta se refere.
displayName

string

Apenas saída. Nome de exibição da ferramenta.
response

object (Struct format)

Obrigatório. O resultado da execução da ferramenta no formato de objeto JSON. Use a chave "output" para especificar a resposta da ferramenta e a chave "error" para especificar os detalhes do erro (se houver). Se as chaves "output" e "error" não forem especificadas, toda a "response" será tratada como resultado da execução da ferramenta.
Campo de união tool_identifier. O identificador da ferramenta que foi executada. Ela pode ser uma ferramenta persistente ou de um conjunto de ferramentas. tool_identifier pode ser apenas de um dos tipos a seguir:
tool

string

Opcional. O nome da ferramenta a ser executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Opcional. A ferramenta do conjunto de ferramentas que foi executada.

ToolsetTool

Representação JSON 
{
  "toolset": string,
  "toolId": string
}
Campos
toolset

string

Obrigatório. O nome do recurso do conjunto de ferramentas de que essa ferramenta deriva. Formato: projects/{project}/locations/{location}/apps/{app}/toolsets/{toolset}
toolId

string

Opcional. O ID da ferramenta para filtrar as ferramentas e recuperar o esquema.

Struct

Representação JSON 
{
  "fields": {
    string: value,
    ...
  }
}
Campos
fields

map (key: string, value: value (Value format))

Mapa não ordenado de valores com tipagem dinâmica.

Um objeto com uma lista de pares "key": value. Exemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.

FieldsEntry

Representação JSON 
{
  "key": string,
  "value": value
}
Campos
key

string
value

value (Value format)

Valor

Representação JSON 
{

  // Union field kind can be only one of the following:
  "nullValue": null,
  "numberValue": number,
  "stringValue": string,
  "boolValue": boolean,
  "structValue": {
    object
  },
  "listValue": array
  // End of list of possible types for union field kind.
}
Campos
Campo de união kind. O tipo de valor. kind pode ser apenas de um dos tipos a seguir:
nullValue

null

Representa um valor nulo.
numberValue

number

Representa um valor double.
stringValue

string

Representa um valor de string.
boolValue

boolean

Representa um valor booleano.
structValue

object (Struct format)

Representa um valor estruturado.
listValue

array (ListValue format)

Representa um Value repetido.

ListValue

Representação JSON 
{
  "values": [
    value
  ]
}
Campos
values[]

value (Value format)

Campo repetido de valores digitados dinamicamente.

Image

Representação JSON 
{
  "mimeType": string,
  "data": string
}
Campos
mimeType

string

Obrigatório. O tipo MIME padrão da IANA dos dados de origem. Os tipos de imagem compatíveis incluem: * image/png * image/jpeg * image/webp
data

string (bytes format)

Obrigatório. Bytes brutos da imagem.

Uma string codificada em base64.

Blob

Representação JSON 
{
  "mimeType": string,
  "data": string
}
Campos
mimeType

string

Obrigatório. O tipo MIME padrão da IANA dos dados de origem.
data

string (bytes format)

Obrigatório. Bytes brutos do blob.

Uma string codificada em base64.

Evento

Representação JSON 
{
  "event": string
}
Campos
event

string

Obrigatório. O nome do evento.

AgentTransfer

Representação JSON 
{
  "targetAgent": string,
  "displayName": string
}
Campos
targetAgent

string

Obrigatório. O agente para quem a conversa está sendo transferida. O agente vai cuidar da conversa a partir desse ponto. Formato: projects/{project}/locations/{location}/apps/{app}/agents/{agent}
displayName

string

Apenas saída. Nome de exibição do agente.

GoldenExpectation

Representação JSON 
{
  "note": string,

  // Union field condition can be only one of the following:
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentResponse": {
    object (Message)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
  // End of list of possible types for union field condition.
}
Campos
note

string

Opcional. Uma observação para esse requisito, útil ao informar quando verificações específicas falham. Ex.: "Check_Payment_Tool_Called".
Campo de união condition. A verificação real a ser realizada. condition pode ser apenas de um dos tipos a seguir:
toolCall

object (ToolCall)

Opcional. Verifique se uma ferramenta específica foi chamada com os parâmetros.
toolResponse

object (ToolResponse)

Opcional. Verifique se uma ferramenta específica teve a resposta esperada.
agentResponse

object (Message)

Opcional. Verifique se o agente respondeu corretamente. A função "agente" está implícita.
agentTransfer

object (AgentTransfer)

Opcional. Verifique se o agente transferiu a conversa para outro agente.
updatedVariables

object (Struct format)

Opcional. Verifique se o agente atualizou as variáveis de sessão para os valores esperados. Usado também para capturar atualizações de variáveis do agente para avaliações de ouro.
mockToolResponse

object (ToolResponse)

Opcional. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.

ToolCall

Representação JSON 
{
  "id": string,
  "displayName": string,
  "args": {
    object
  },

  // Union field tool_identifier can be only one of the following:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of list of possible types for union field tool_identifier.
}
Campos
id

string

Opcional. O identificador exclusivo da chamada de função. Se preenchido, o cliente vai retornar o resultado da execução com o código correspondente em ToolResponse.
displayName

string

Apenas saída. Nome de exibição da ferramenta.
args

object (Struct format)

Opcional. Os parâmetros e valores de entrada da ferramenta no formato de objeto JSON.
Campo de união tool_identifier. O identificador da ferramenta a ser executada. Ela pode ser uma ferramenta persistente ou de um conjunto de ferramentas. tool_identifier pode ser apenas de um dos tipos a seguir:
tool

string

Opcional. O nome da ferramenta a ser executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}
toolsetTool

object (ToolsetTool)

Opcional. A ferramenta do conjunto de ferramentas a ser executada.

Mensagem

Representação JSON 
{
  "role": string,
  "chunks": [
    {
      object (Chunk)
    }
  ],
  "eventTime": string
}
Campos
role

string

Opcional. A função na conversa, por exemplo, usuário, agente.
chunks[]

object (Chunk)

Opcional. Conteúdo da mensagem como uma série de partes.
eventTime

string (Timestamp format)

Opcional. Carimbo de data/hora em que a mensagem foi enviada ou recebida. Não pode ser usado se a mensagem fizer parte de um example.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

Chunk

Representação JSON 
{

  // Union field data can be only one of the following:
  "text": string,
  "transcript": string,
  "blob": {
    object (Blob)
  },
  "payload": {
    object
  },
  "image": {
    object (Image)
  },
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "updatedVariables": {
    object
  },
  "defaultVariables": {
    object
  }
  // End of list of possible types for union field data.
}
Campos
Campo de união data. Dados de bloco. data pode ser apenas de um dos tipos a seguir:
text

string

Opcional. Dados de texto.
transcript

string

Opcional. Transcrição associada ao áudio.
blob

object (Blob)

Opcional. Dados de blob.
payload

object (Struct format)

Opcional. Dados de payload personalizados.
image

object (Image)

Opcional. Dados da imagem.
toolCall

object (ToolCall)

Opcional. Solicitação de execução de ferramenta.
toolResponse

object (ToolResponse)

Opcional. Resposta de execução da ferramenta.
agentTransfer

object (AgentTransfer)

Opcional. Evento de transferência de agente.
updatedVariables

object (Struct format)

Uma struct representa variáveis que foram atualizadas na conversa, com chaves pelos nomes das variáveis.
defaultVariables

object (Struct format)

Uma struct representa variáveis padrão no início da conversa, com chaves de nomes de variáveis.

Carimbo de data/hora

Representação JSON 
{
  "seconds": string,
  "nanos": integer
}
Campos
seconds

string (int64 format)

Representa os segundos do horário UTC desde a época Unix 1970-01-01T00:00:00Z. Precisa estar entre -62135596800 e 253402300799 (o que corresponde a 0001-01-01T00:00:00Z a 9999-12-31T23:59:59Z).
nanos

integer

Frações não negativas de um segundo com resolução de nanossegundos. Esse campo é a parte de nanossegundos da duração, não uma alternativa aos segundos. Os valores de segundos negativos com frações ainda precisam ter valores em nanossegundos não negativos que representam períodos posteriores. O valor precisa ser de 0 a 999.999.999 (inclusive).

Período

Representação JSON 
{
  "name": string,
  "startTime": string,
  "endTime": string,
  "duration": string,
  "attributes": {
    object
  },
  "childSpans": [
    {
      object (Span)
    }
  ]
}
Campos
name

string

Apenas saída. O nome do intervalo.
startTime

string (Timestamp format)

Apenas saída. O horário de início do intervalo.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Apenas saída. O horário de término do período.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
duration

string (Duration format)

Apenas saída. A duração do período.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
attributes

object (Struct format)

Apenas saída. Atributos de chave-valor associados ao intervalo.
childSpans[]

object (Span)

Apenas saída. Os intervalos filhos aninhados neste intervalo.

Duração

Representação JSON 
{
  "seconds": string,
  "nanos": integer
}
Campos
seconds

string (int64 format)

Segundos assinados do período. Precisa estar entre -315.576.000.000 e +315.576.000.000 (inclusive). Observação: esses limites são calculados da seguinte forma: 60 s/min * 60 min/h * 24 h/dia * 365,25 dias/ano * 10.000 anos
nanos

integer

Frações assinadas de um segundo com resolução de nanossegundos do período. Durações menores que um segundo são representadas com um campo seconds 0 e um campo nanos positivo ou negativo. Para durações de um segundo ou mais, um valor diferente de zero para o campo nanos precisa ter o mesmo sinal do campo seconds. Precisa estar entre -999.999.999 e +999.999.999 (inclusive).

Cenário

Representação JSON 
{
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (TaskCompletionBehavior),
  "userGoalBehavior": enum (UserGoalBehavior),
  "evaluationExpectations": [
    string
  ]
}
Campos
task

string

Obrigatório. A tarefa que será afetada pelo cenário.
userFacts[]

object (UserFact)

Opcional. Os fatos do usuário a serem usados pelo cenário.
maxTurns

integer

Opcional. O número máximo de turnos a serem simulados. Se não for especificado, a simulação vai continuar até que a tarefa seja concluída.
rubrics[]

string

Obrigatório. As rubricas para pontuar o cenário.
scenarioExpectations[]

object (ScenarioExpectation)

Obrigatório. O ScenarioExpectations para avaliar a conversa produzida pela simulação do usuário.
variableOverrides

object (Struct format)

Opcional. Variáveis / parâmetros de sessão como contexto para a sessão, com chave pelos nomes das variáveis. Os membros dessa struct vão substituir todos os valores padrão definidos pelo sistema.

Esses fatos são diferentes dos fatos do usuário, que são conhecidos por ele. Variáveis são parâmetros conhecidos pelo agente, ou seja, MDN (número de telefone) transmitido pelo sistema de telefonia.
taskCompletionBehavior
(deprecated)

enum (TaskCompletionBehavior)

Opcional. Obsoleto. Use user_goal_behavior.
userGoalBehavior

enum (UserGoalBehavior)

Opcional. O comportamento esperado da meta do usuário.
evaluationExpectations[]

string

Opcional. As expectativas de avaliação para avaliar a conversa produzida pela simulação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

UserFact

Representação JSON 
{
  "name": string,
  "value": string
}
Campos
name

string

Obrigatório. O nome do fato do usuário.
value

string

Obrigatório. O valor do fato do usuário.

ScenarioExpectation

Representação JSON 
{

  // Union field expectation can be only one of the following:
  "toolExpectation": {
    object (ToolExpectation)
  },
  "agentResponse": {
    object (Message)
  }
  // End of list of possible types for union field expectation.
}
Campos
Campo de união expectation. A expectativa de avaliar a conversa produzida pela simulação. expectation pode ser apenas de um dos tipos a seguir:
toolExpectation

object (ToolExpectation)

Opcional. O par de chamada de ferramenta e resposta que será avaliado.
agentResponse

object (Message)

Opcional. A resposta do agente a ser avaliada.

ToolExpectation

Representação JSON 
{
  "expectedToolCall": {
    object (ToolCall)
  },
  "mockToolResponse": {
    object (ToolResponse)
  }
}
Campos
expectedToolCall

object (ToolCall)

Obrigatório. A chamada de ferramenta esperada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.
mockToolResponse

object (ToolResponse)

Obrigatório. A resposta da ferramenta a ser simulada, com os parâmetros de interesse especificados. Os parâmetros não especificados serão alucinados pelo LLM.

AggregatedMetrics

Representação JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
Campos
metricsByAppVersion[]

object (MetricsByAppVersion)

Apenas saída. Métricas agregadas, agrupadas por ID da versão do app.

MetricsByAppVersion

Representação JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
Campos
appVersionId

string

Apenas saída. O ID da versão do app.
toolMetrics[]

object (ToolMetrics)

Apenas saída. Métricas de cada ferramenta nesta versão do app.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Apenas saída. Métricas de similaridade semântica nesta versão do app.
hallucinationMetrics[]

object (HallucinationMetrics)

Apenas saída. Métricas de alucinação nesta versão do app.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Apenas saída. Métricas para latência de chamada de ferramenta nesta versão do app.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Apenas saída. Métricas para latência de turno nesta versão do app.
passCount

integer

Apenas saída. O número de vezes que a avaliação foi aprovada.
failCount

integer

Apenas saída. O número de vezes que a avaliação falhou.
metricsByTurn[]

object (MetricsByTurn)

Apenas saída. Métricas agregadas por turno nessa versão do app.

ToolMetrics

Representação JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
Campos
tool

string

Apenas saída. O nome da ferramenta.
passCount

integer

Apenas saída. O número de vezes que a ferramenta foi aprovada.
failCount

integer

Apenas saída. O número de vezes que a ferramenta falhou.

SemanticSimilarityMetrics

Representação JSON 
{
  "score": number
}
Campos
score

number

Apenas saída. A pontuação média de similaridade semântica (0 a 4).

HallucinationMetrics

Representação JSON 
{
  "score": number
}
Campos
score

number

Apenas saída. A pontuação média de alucinação (0 a 1).

ToolCallLatencyMetrics

Representação JSON 
{
  "tool": string,
  "averageLatency": string
}
Campos
tool

string

Apenas saída. O nome da ferramenta.
averageLatency

string (Duration format)

Apenas saída. A latência média das chamadas de ferramenta.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

TurnLatencyMetrics

Representação JSON 
{
  "averageLatency": string
}
Campos
averageLatency

string (Duration format)

Apenas saída. A latência média dos turnos.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

MetricsByTurn

Representação JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
Campos
turnIndex

integer

Apenas saída. O índice da vez (com base em 0).
toolMetrics[]

object (ToolMetrics)

Apenas saída. Métricas para cada ferramenta nesta rodada.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

Apenas saída. Métricas de similaridade semântica neste turno.
hallucinationMetrics[]

object (HallucinationMetrics)

Apenas saída. Métricas para alucinação neste turno.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

Apenas saída. Métricas para latência de chamada de ferramenta neste turno.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

Apenas saída. Métricas de latência do turno.

EvaluationResult

Representação JSON 
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),

  // Union field result can be only one of the following:
  "goldenResult": {
    object (GoldenResult)
  },
  "scenarioResult": {
    object (ScenarioResult)
  }
  // End of list of possible types for union field result.
}
Campos
name

string

Identificador. O identificador exclusivo do resultado da avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
displayName

string

Obrigatório. Nome de exibição do resultado da avaliação. Exclusivo em uma avaliação. Por padrão, ele tem o seguinte formato: " resultado - ".
createTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora em que o resultado da avaliação foi criado.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluationStatus

enum (Outcome)

Apenas saída. O resultado da avaliação. Preenchido apenas se "execution_state" for "COMPLETE".
evaluationRun

string

Apenas saída. A execução da avaliação que gerou esse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
persona

object (EvaluationPersona)

Apenas saída. A persona usada para gerar a conversa do resultado da avaliação.
errorInfo

object (EvaluationErrorInfo)

Apenas saída. Informações de erro para o resultado da avaliação.
error
(deprecated)

object (Status)

Apenas saída. Descontinuado: use error_info. Erros encontrados durante a execução.
initiatedBy

string

Apenas saída. O usuário que iniciou a execução da avaliação que resultou neste resultado.
appVersion

string

Apenas saída. A versão do app usada para gerar a conversa que resultou nesse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Apenas saída. O nome de exibição do app_version em que a avaliação foi executada.
changelog

string

Apenas saída. O changelog da versão do app em que a avaliação foi executada. Esse campo é preenchido se o usuário executar a avaliação na versão mais recente/rascunho.
changelogCreateTime

string (Timestamp format)

Apenas saída. O horário de criação do changelog da versão do app em que a avaliação foi executada. Esse campo é preenchido se o usuário executar a avaliação na versão mais recente/rascunho.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionState

enum (ExecutionState)

Apenas saída. O estado da execução do resultado da avaliação.
evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Apenas saída. Os limites de avaliação do resultado.
config

object (EvaluationConfig)

Apenas saída. A configuração usada na execução da avaliação que resultou nesse resultado.
goldenRunMethod

enum (GoldenRunMethod)

Apenas saída. O método usado para executar a avaliação de ouro.
Campo de união result. O resultado da avaliação. Preenchido apenas quando o "execution_state" é "COMPLETED". result pode ser apenas de um dos tipos a seguir:
goldenResult

object (GoldenResult)

Apenas saída. O resultado de uma avaliação de ouro.
scenarioResult

object (ScenarioResult)

Apenas saída. O resultado de uma avaliação de cenário.

GoldenResult

Representação JSON 
{
  "turnReplayResults": [
    {
      object (TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ]
}
Campos
turnReplayResults[]

object (TurnReplayResult)

Apenas saída. O resultado da execução de cada turno da conversa de referência.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Apenas saída. Os resultados das expectativas de avaliação.

TurnReplayResult

Representação JSON 
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],

  // Union field _tool_ordered_invocation_score can be only one of the following:
  "toolOrderedInvocationScore": number
  // End of list of possible types for union field
  // _tool_ordered_invocation_score.
}
Campos
conversation

string

Apenas saída. A conversa gerada para essa vez.
expectationOutcome[]

object (GoldenExpectationOutcome)

Apenas saída. O resultado de cada expectativa.
hallucinationResult

object (HallucinationResult)

Apenas saída. O resultado da verificação de alucinação.
toolInvocationScore
(deprecated)

number

Apenas saída. Obsoleto. Use OverallToolInvocationResult.
turnLatency

string (Duration format)

Apenas saída. Duração da vez.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
toolCallLatencies[]

object (ToolCallLatency)

Apenas saída. A latência de cada chamada de ferramenta no turno.
semanticSimilarityResult

object (SemanticSimilarityResult)

Apenas saída. O resultado da verificação de similaridade semântica.
overallToolInvocationResult

object (OverallToolInvocationResult)

Apenas saída. O resultado da verificação geral de invocação da ferramenta.
errorInfo

object (EvaluationErrorInfo)

Apenas saída. Informações sobre o erro que ocorreu durante essa interação.
spanLatencies[]

object (SpanLatency)

Apenas saída. A latência dos períodos na vez.

Campo de união _tool_ordered_invocation_score.

_tool_ordered_invocation_score pode ser apenas de um dos tipos a seguir:
toolOrderedInvocationScore

number

Apenas saída. A pontuação geral de invocação ordenada da ferramenta para esta vez. Isso indica a porcentagem geral de ferramentas do turno esperado que foram realmente invocadas na ordem esperada.

GoldenExpectationOutcome

Representação JSON 
{
  "expectation": {
    object (GoldenExpectation)
  },
  "outcome": enum (Outcome),
  "semanticSimilarityResult": {
    object (SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (ToolInvocationResult)
  },

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  }
  // End of list of possible types for union field result.
}
Campos
expectation

object (GoldenExpectation)

Apenas saída. A expectativa que foi avaliada.
outcome

enum (Outcome)

Apenas saída. O resultado da expectativa.
semanticSimilarityResult
(deprecated)

object (SemanticSimilarityResult)

Apenas saída. O resultado da verificação de similaridade semântica.
toolInvocationResult

object (ToolInvocationResult)

Apenas saída. O resultado da verificação de invocação da ferramenta.
Campo de união result. O resultado da expectativa. result pode ser apenas de um dos tipos a seguir:
observedToolCall

object (ToolCall)

Apenas saída. O resultado da expectativa de chamada de função.
observedToolResponse

object (ToolResponse)

Apenas saída. O resultado da expectativa de resposta da ferramenta.
observedAgentResponse

object (Message)

Apenas saída. O resultado da expectativa de resposta do agente.
observedAgentTransfer

object (AgentTransfer)

Apenas saída. O resultado da expectativa de transferência do agente.

SemanticSimilarityResult

Representação JSON 
{
  "label": string,
  "explanation": string,
  "outcome": enum (Outcome),

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 4: totalmente consistente; Pontuação 3: quase totalmente consistente; Pontuação 2: parcialmente consistente (pequenas omissões); Pontuação 1: muito inconsistente (grandes omissões); Pontuação 0: completamente inconsistente / contraditória
explanation

string

Apenas saída. A explicação da pontuação de semelhança semântica.
outcome

enum (Outcome)

Apenas saída. O resultado da verificação de similaridade semântica. Isso é determinado comparando a pontuação com o semantic_similarity_success_threshold. Se a pontuação for igual ou maior que o limite, o resultado será "PASS". Caso contrário, o resultado será FAIL.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de similaridade semântica. Pode ser 0, 1, 2, 3 ou 4.

ToolInvocationResult

Representação JSON 
{
  "outcome": enum (Outcome),
  "explanation": string,

  // Union field _parameter_correctness_score can be only one of the following:
  "parameterCorrectnessScore": number
  // End of list of possible types for union field _parameter_correctness_score.
}
Campos
outcome

enum (Outcome)

Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o parameter_correctness_score ao limite. Se a pontuação for igual ou maior que o limite, o resultado será "PASS". Caso contrário, o resultado será FAIL.
explanation

string

Apenas saída. Uma explicação em texto livre para o resultado da invocação da ferramenta.

Campo de união _parameter_correctness_score.

_parameter_correctness_score pode ser apenas de um dos tipos a seguir:
parameterCorrectnessScore

number

Apenas saída. A pontuação de correção do parâmetro de invocação da ferramenta. Isso indica a porcentagem de parâmetros da chamada de ferramenta esperada que também estavam presentes na chamada de ferramenta real.

HallucinationResult

Representação JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: justificada. Pontuação 0: não justificada. Pontuação -1: nenhuma declaração para avaliar.
explanation

string

Apenas saída. A explicação da pontuação de alucinação.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de alucinação. Pode ser -1, 0 ou 1.

ToolCallLatency

Representação JSON 
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Campos
tool

string

Apenas saída. O nome da ferramenta que foi executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
displayName

string

Apenas saída. O nome de exibição da ferramenta.
startTime

string (Timestamp format)

Apenas saída. O horário de início da execução da chamada de função.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Apenas saída. O horário de término da execução da chamada de função.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Apenas saída. A latência da execução da chamada de ferramenta.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

OverallToolInvocationResult

Representação JSON 
{
  "outcome": enum (Outcome),

  // Union field _tool_invocation_score can be only one of the following:
  "toolInvocationScore": number
  // End of list of possible types for union field _tool_invocation_score.
}
Campos
outcome

enum (Outcome)

Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o tool_invocation_score com o overall_tool_invocation_correctness_threshold. Se a pontuação for igual ou maior que o limite, o resultado será "PASS". Caso contrário, o resultado será FAIL.

Campo de união _tool_invocation_score.

_tool_invocation_score pode ser apenas de um dos tipos a seguir:
toolInvocationScore

number

A pontuação geral de invocação da ferramenta para esta vez. Isso indica a porcentagem geral de ferramentas do turno esperado que foram realmente invocadas.

EvaluationErrorInfo

Representação JSON 
{
  "errorType": enum (ErrorType),
  "errorMessage": string,
  "sessionId": string
}
Campos
errorType

enum (ErrorType)

Apenas saída. O tipo de erro.
errorMessage

string

Apenas saída. A mensagem de erro.
sessionId

string

Apenas saída. O ID da sessão da conversa que causou o erro.

SpanLatency

Representação JSON 
{
  "type": enum (Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // Union field identifier can be only one of the following:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of list of possible types for union field identifier.
}
Campos
type

enum (Type)

Apenas saída. O tipo de intervalo.
displayName

string

Apenas saída. O nome de exibição do intervalo. Aplicável a intervalos de ferramentas e proteções.
startTime

string (Timestamp format)

Apenas saída. O horário de início do intervalo.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
endTime

string (Timestamp format)

Apenas saída. O horário de término do período.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
executionLatency

string (Duration format)

Apenas saída. A latência do período.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
Campo de união identifier. O identificador do item específico com base no tipo dele. identifier pode ser apenas de um dos tipos a seguir:
resource

string

Apenas saída. O nome do recurso dos intervalos de proteção ou ferramenta.
toolset

object (ToolsetTool)

Apenas saída. O identificador da ferramenta do conjunto de ferramentas.
model

string

Apenas saída. O nome do intervalo do LLM.
callback

string

Apenas saída. O nome do intervalo de retorno de chamada do usuário.

EvaluationExpectationResult

Representação JSON 
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (Outcome),
  "explanation": string
}
Campos
evaluationExpectation

string

Apenas saída. A expectativa de avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluation_expectation}
prompt

string

Apenas saída. O comando usado para a avaliação.
outcome

enum (Outcome)

Apenas saída. O resultado da expectativa de avaliação.
explanation

string

Apenas saída. A explicação do resultado.

ScenarioResult

Representação JSON 
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationExpectationResult)
    }
  ],

  // Union field _all_expectations_satisfied can be only one of the following:
  "allExpectationsSatisfied": boolean
  // End of list of possible types for union field _all_expectations_satisfied.

  // Union field _task_completed can be only one of the following:
  "taskCompleted": boolean
  // End of list of possible types for union field _task_completed.
}
Campos
conversation

string

Apenas saída. A conversa gerada no cenário.
task

string

Apenas saída. A tarefa usada ao executar o cenário para esse resultado.
userFacts[]

object (UserFact)

Apenas saída. Os fatos do usuário que foram usados pelo cenário para esse resultado.
expectationOutcomes[]

object (ScenarioExpectationOutcome)

Apenas saída. O resultado de cada expectativa.
rubricOutcomes[]

object (ScenarioRubricOutcome)

Apenas saída. O resultado da rubrica.
hallucinationResult[]

object (HallucinationResult)

Apenas saída. O resultado da verificação de alucinação. Haverá um resultado de alucinação para cada turno na conversa.
taskCompletionResult
(deprecated)

object (TaskCompletionResult)

Apenas saída. O resultado da verificação de conclusão da tarefa.
toolCallLatencies[]

object (ToolCallLatency)

Apenas saída. A latência de cada execução de chamada de ferramenta na conversa.
userGoalSatisfactionResult

object (UserGoalSatisfactionResult)

Apenas saída. O resultado da verificação de satisfação da meta do usuário.
spanLatencies[]

object (SpanLatency)

Apenas saída. A latência dos intervalos na conversa.
evaluationExpectationResults[]

object (EvaluationExpectationResult)

Apenas saída. Os resultados das expectativas de avaliação.

Campo de união _all_expectations_satisfied.

_all_expectations_satisfied pode ser apenas de um dos tipos a seguir:
allExpectationsSatisfied

boolean

Apenas saída. Se todas as expectativas foram atendidas nesta rodada.

Campo de união _task_completed.

_task_completed pode ser apenas de um dos tipos a seguir:
taskCompleted

boolean

Apenas saída. Indica se a tarefa foi concluída nesta rodada. É uma combinação de todas as expectativas atendidas, sem alucinações e com satisfação da meta do usuário.

ScenarioExpectationOutcome

Representação JSON 
{
  "expectation": {
    object (ScenarioExpectation)
  },
  "outcome": enum (Outcome),

  // Union field result can be only one of the following:
  "observedToolCall": {
    object (ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of list of possible types for union field result.
}
Campos
expectation

object (ScenarioExpectation)

Apenas saída. A expectativa que foi avaliada.
outcome

enum (Outcome)

Apenas saída. O resultado do ScenarioExpectation.
Campo de união result. O resultado da expectativa. result pode ser apenas de um dos tipos a seguir:
observedToolCall

object (ObservedToolCall)

Apenas saída. A chamada de ferramenta observada.
observedAgentResponse

object (Message)

Apenas saída. A resposta observada do agente.

ObservedToolCall

Representação JSON 
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Campos
toolCall

object (ToolCall)

Apenas saída. A chamada de ferramenta observada.
toolResponse

object (ToolResponse)

Apenas saída. A resposta da ferramenta observada.

ScenarioRubricOutcome

Representação JSON 
{
  "rubric": string,
  "scoreExplanation": string,

  // Union field _score can be only one of the following:
  "score": number
  // End of list of possible types for union field _score.
}
Campos
rubric

string

Apenas saída. A rubrica usada para avaliar a conversa.
scoreExplanation

string

Apenas saída. A resposta do avaliador à rubrica.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

number

Apenas saída. A pontuação da conversa em relação à rubrica.

TaskCompletionResult

Representação JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: tarefa concluída. Pontuação 0: tarefa não concluída. Pontuação -1: meta do usuário indefinida.
explanation

string

Apenas saída. A explicação da pontuação de conclusão da tarefa.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de conclusão da tarefa. Pode ser -1, 0 ou 1

UserGoalSatisfactionResult

Representação JSON 
{
  "label": string,
  "explanation": string,

  // Union field _score can be only one of the following:
  "score": integer
  // End of list of possible types for union field _score.
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: tarefa do usuário concluída. Pontuação 0: tarefa do usuário não concluída. Pontuação -1: tarefa do usuário não especificada.
explanation

string

Apenas saída. A explicação da pontuação de satisfação da tarefa do usuário.

Campo de união _score.

_score pode ser apenas de um dos tipos a seguir:
score

integer

Apenas saída. A pontuação de satisfação da tarefa do usuário. Pode ser -1, 0 ou 1.

EvaluationPersona

Representação JSON 
{
  "name": string,
  "description": string,
  "displayName": string,
  "personality": string,
  "speechConfig": {
    object (SpeechConfig)
  }
}
Campos
name

string

Obrigatório. O identificador exclusivo da persona. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationPersonas/{evaluationPersona}
description

string

Opcional. A descrição da persona.
displayName

string

Obrigatório. O nome de exibição da persona. Exclusivo em um app.
personality

string

Obrigatório. Uma instrução para o agente sobre como se comportar na avaliação.
speechConfig

object (SpeechConfig)

Opcional. Configuração de como a persona soa (configurações de TTS).

SpeechConfig

Representação JSON 
{
  "speakingRate": number,
  "environment": enum (BackgroundEnvironment),
  "voiceId": string
}
Campos
speakingRate

number

Opcional. A velocidade da fala. 1,0 é normal. Valores menores são mais lentos (por exemplo, 0,8), quanto maior, mais rápido (por exemplo, 1.5). Útil para testar como o agente lida com pessoas que falam rápido.
environment

enum (BackgroundEnvironment)

Opcional. O ambiente de áudio simulado.
voiceId

string

Opcional. O identificador/sotaque de voz específico a ser usado. Exemplo: "en-US-Wavenet-D" ou "en-GB-Standard-A"

Status

Representação JSON 
{
  "code": integer,
  "message": string,
  "details": [
    {
      "@type": string,
      field1: ...,
      ...
    }
  ]
}
Campos
code

integer

O código de status, que precisa ser um valor de enumeração de google.rpc.Code.
message

string

Uma mensagem de erro em inglês para o desenvolvedor. Qualquer mensagem de erro para o usuário precisa ser localizada e enviada no campo google.rpc.Status.details, ou localizada pelo cliente.
details[]

object

Uma lista de mensagens com os detalhes do erro. Há um conjunto comum de tipos de mensagens para as APIs usarem.

Um objeto contendo campos de um tipo arbitrário. Um campo adicional "@type" contém uma URI que identifica o tipo. Exemplo: { "id": 1234, "@type": "types.example.com/standard/id" }.

Qualquer

Representação JSON 
{
  "typeUrl": string,
  "value": string
}
Campos
typeUrl

string

Identifica o tipo da mensagem Protobuf serializada com uma referência de URI que consiste em um prefixo que termina em uma barra e o nome de tipo totalmente qualificado.

Exemplo: type.googleapis.com/google.protobuf.StringValue

Essa string precisa conter pelo menos um caractere /, e o conteúdo após o último / precisa ser o nome totalmente qualificado do tipo na forma canônica, sem um ponto inicial. Não escreva um esquema nessas referências de URI para que os clientes não tentem entrar em contato com elas.

O prefixo é arbitrário, e as implementações do Protobuf devem remover tudo até o último /, inclusive, para identificar o tipo. type.googleapis.com/ é um prefixo padrão comum exigido por algumas implementações legadas. Esse prefixo não indica a origem do tipo, e não é esperado que URIs que o contenham respondam a solicitações.

Todas as strings de URL de tipo precisam ser referências de URI válidas com a restrição adicional (para o formato de texto) de que o conteúdo da referência deve consistir apenas em caracteres alfanuméricos, escapes codificados por porcentagem e caracteres no seguinte conjunto (sem incluir as crases externas): /-.~_!$&()*+,;=. Embora permitamos codificações de porcentagem, as implementações não devem remover o escape delas para evitar confusão com analisadores atuais. Por exemplo, type.googleapis.com%2FFoo deve ser rejeitado.

No design original do Any, foi considerada a possibilidade de iniciar um serviço de resolução de tipos nesses URLs, mas o Protobuf nunca implementou um e considera o contato com esses URLs problemático e um possível problema de segurança. Não tente entrar em contato com URLs de tipo.
value

string (bytes format)

Contém uma serialização Protobuf do tipo descrito por type_url.

Uma string codificada em base64.

EvaluationMetricsThresholds

Representação JSON 
{
  "goldenEvaluationMetricsThresholds": {
    object (GoldenEvaluationMetricsThresholds)
  },
  "hallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "goldenHallucinationMetricBehavior": enum (HallucinationMetricBehavior),
  "scenarioHallucinationMetricBehavior": enum (HallucinationMetricBehavior)
}
Campos
goldenEvaluationMetricsThresholds

object (GoldenEvaluationMetricsThresholds)

Opcional. Os limites das métricas de avaliação de ouro.
hallucinationMetricBehavior
(deprecated)

enum (HallucinationMetricBehavior)

Opcional. Descontinuado: use golden_hallucination_metric_behavior. O comportamento da métrica de alucinação é usado atualmente para avaliações de ouro.
goldenHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Opcional. O comportamento da métrica de alucinação para avaliações de ouro.
scenarioHallucinationMetricBehavior

enum (HallucinationMetricBehavior)

Opcional. O comportamento da métrica de alucinação para avaliações de cenário.

GoldenEvaluationMetricsThresholds

Representação JSON 
{
  "turnLevelMetricsThresholds": {
    object (TurnLevelMetricsThresholds)
  },
  "expectationLevelMetricsThresholds": {
    object (ExpectationLevelMetricsThresholds)
  },
  "toolMatchingSettings": {
    object (ToolMatchingSettings)
  }
}
Campos
turnLevelMetricsThresholds

object (TurnLevelMetricsThresholds)

Opcional. Os limites das métricas no nível da rodada.
expectationLevelMetricsThresholds

object (ExpectationLevelMetricsThresholds)

Opcional. Os limites das métricas de nível de expectativa.
toolMatchingSettings

object (ToolMatchingSettings)

Opcional. As configurações de correspondência de ferramentas. Uma chamada de ferramenta extra é uma chamada de ferramenta presente na execução, mas que não corresponde a nenhuma chamada de ferramenta na expectativa de ouro.

TurnLevelMetricsThresholds

Representação JSON 
{
  "semanticSimilarityChannel": enum (SemanticSimilarityChannel),

  // Union field _semantic_similarity_success_threshold can be only one of the
  // following:
  "semanticSimilaritySuccessThreshold": integer
  // End of list of possible types for union field
  // _semantic_similarity_success_threshold.

  // Union field _overall_tool_invocation_correctness_threshold can be only one
  // of the following:
  "overallToolInvocationCorrectnessThreshold": number
  // End of list of possible types for union field
  // _overall_tool_invocation_correctness_threshold.
}
Campos
semanticSimilarityChannel

enum (SemanticSimilarityChannel)

Opcional. O canal de similaridade semântica a ser usado para avaliação.

Campo de união _semantic_similarity_success_threshold.

_semantic_similarity_success_threshold pode ser apenas de um dos tipos a seguir:
semanticSimilaritySuccessThreshold

integer

Opcional. O limite de sucesso para similaridade semântica. O valor precisa ser um número inteiro entre 0 e 4. O padrão é ">= 3".

Campo de união _overall_tool_invocation_correctness_threshold.

_overall_tool_invocation_correctness_threshold pode ser apenas de um dos tipos a seguir:
overallToolInvocationCorrectnessThreshold

number

Opcional. O limite de sucesso para a correção geral da invocação da ferramenta. Precisa ser um número de ponto flutuante entre 0 e 1. O padrão é 1,0.

ExpectationLevelMetricsThresholds

Representação JSON 
{

  // Union field _tool_invocation_parameter_correctness_threshold can be only one
  // of the following:
  "toolInvocationParameterCorrectnessThreshold": number
  // End of list of possible types for union field
  // _tool_invocation_parameter_correctness_threshold.
}
Campos

Campo de união _tool_invocation_parameter_correctness_threshold.

_tool_invocation_parameter_correctness_threshold pode ser apenas de um dos tipos a seguir:
toolInvocationParameterCorrectnessThreshold

number

Opcional. O limite de sucesso para a correção de parâmetros de invocação de ferramentas individuais. Precisa ser um número de ponto flutuante entre 0 e 1. O padrão é 1,0.

ToolMatchingSettings

Representação JSON 
{
  "extraToolCallBehavior": enum (ExtraToolCallBehavior)
}
Campos
extraToolCallBehavior

enum (ExtraToolCallBehavior)

Opcional. Comportamento para chamadas de função extras. O padrão é FAIL.

EvaluationConfig

Representação JSON 
{
  "inputAudioConfig": {
    object (InputAudioConfig)
  },
  "outputAudioConfig": {
    object (OutputAudioConfig)
  },
  "evaluationChannel": enum (EvaluationChannel),
  "toolCallBehaviour": enum (EvaluationToolCallBehaviour)
}
Campos
inputAudioConfig
(deprecated)

object (InputAudioConfig)

Opcional. Configuração para processar o áudio de entrada.
outputAudioConfig
(deprecated)

object (OutputAudioConfig)

Opcional. Configuração para gerar o áudio de saída.
evaluationChannel

enum (EvaluationChannel)

Opcional. O canal a ser avaliado.
toolCallBehaviour

enum (EvaluationToolCallBehaviour)

Opcional. Especifica se a avaliação deve usar chamadas de ferramentas reais ou falsas.

InputAudioConfig

Representação JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer,
  "noiseSuppressionLevel": string
}
Campos
audioEncoding

enum (AudioEncoding)

Obrigatório. A codificação dos dados de áudio de entrada.
sampleRateHertz

integer

Obrigatório. A taxa de amostragem (em Hertz) dos dados de áudio de entrada.
noiseSuppressionLevel

string

Opcional. Define se a redução de ruído será ativada no áudio de entrada. Os valores disponíveis são "low", "moderate", "high", "very_high".

OutputAudioConfig

Representação JSON 
{
  "audioEncoding": enum (AudioEncoding),
  "sampleRateHertz": integer
}
Campos
audioEncoding

enum (AudioEncoding)

Obrigatório. A codificação dos dados de áudio de saída.
sampleRateHertz

integer

Obrigatório. A taxa de amostragem (em Hertz) dos dados de áudio de saída.

Anotações de ferramentas

Dica destrutiva: ❌ | Dica idempotente: ❌ | Dica somente leitura: ❌ | Dica de mundo aberto: ❌