- Recurso: EvaluationResult
- Representação JSON
- EvaluationResult.GoldenResult
- EvaluationResult.GoldenResult.TurnReplayResult
- EvaluationResult.GoldenExpectationOutcome
- EvaluationResult.Outcome
- EvaluationResult.SemanticSimilarityResult
- EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
- EvaluationResult.HallucinationResult
- EvaluationResult.ToolCallLatency
- EvaluationResult.OverallToolInvocationResult
- EvaluationResult.SpanLatency
- EvaluationResult.SpanLatency.Type
- EvaluationResult.EvaluationExpectationResult
- EvaluationResult.ScenarioResult
- EvaluationResult.ScenarioExpectationOutcome
- EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
- EvaluationResult.ScenarioRubricOutcome
- EvaluationResult.TaskCompletionResult
- EvaluationResult.UserGoalSatisfactionResult
- EvaluationResult.ScenarioResult.MilestoneResult
- EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
- EvaluationResult.ExecutionState
- EvaluationResult.OutcomeMetadata
- Métodos
Recurso: EvaluationResult
Um resultado de avaliação representa a saída da execução de uma avaliação.
| Representação JSON |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| Campos | |
|---|---|
name |
Identificador. O identificador exclusivo do resultado da avaliação. Formato: |
displayName |
Obrigatório. Nome de exibição do resultado da avaliação. Exclusivo em uma avaliação. Por padrão, ele tem o seguinte formato: " |
createTime |
Apenas saída. Carimbo de data/hora em que o resultado da avaliação foi criado. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: |
evaluationStatus |
Apenas saída. O resultado da avaliação. Preenchido apenas se executionState for COMPLETE. |
evaluationRun |
Apenas saída. A execução de avaliação que produziu esse resultado. Formato: |
persona |
Apenas saída. A persona usada para gerar a conversa para o resultado da avaliação. |
errorInfo |
Apenas saída. Informações de erro para o resultado da avaliação. |
error |
Apenas saída. Descontinuado: use |
initiatedBy |
Apenas saída. O usuário que iniciou a execução de avaliação que gerou esse resultado. |
appVersion |
Apenas saída. A versão do app usada para gerar a conversa que resultou nesse resultado. Formato: |
appVersionDisplayName |
Apenas saída. O nome de exibição do |
changelog |
Apenas saída. O registro de alterações da versão do app em que a avaliação foi executada. Isso é preenchido se o usuário executar a avaliação na versão mais recente/rascunho. |
changelogCreateTime |
Apenas saída. O horário de criação do registro de alterações da versão do app em que a avaliação foi executada. Isso é preenchido se o usuário executar a avaliação na versão mais recente/rascunho. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: |
executionState |
Apenas saída. O estado da execução do resultado da avaliação. |
evaluationMetricsThresholds |
Apenas saída. Os limites de avaliação do resultado. |
config |
Apenas saída. A configuração usada na execução de avaliação que gerou esse resultado. |
goldenRunMethod |
Apenas saída. O método usado para executar a avaliação de referência. |
rootSpan |
Apenas saída. O período raiz da execução da avaliação, que inclui informações sobre cada etapa da avaliação. |
outcomeMetadata |
Apenas saída. Os metadados de resultado da avaliação. Preenchido apenas se executionState for COMPLETE. |
| O resultado da avaliação. Preenchido apenas quando execution_state é COMPLETED. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta: | |
goldenResult |
Apenas saída. O resultado de uma avaliação de respostas ideais. |
scenarioResult |
Apenas saída. O resultado de uma avaliação de cenário. |
| Fim dos campos mutuamente exclusivos. | |
EvaluationResult.GoldenResult
O resultado de uma avaliação de ouro.
| Representação JSON |
|---|
{ "turnReplayResults": [ { object ( |
| Campos | |
|---|---|
turnReplayResults[] |
Apenas saída. O resultado da execução de cada turno da conversa de ouro. |
evaluationExpectationResults[] |
Apenas saída. Os resultados das expectativas de avaliação. |
EvaluationResult.GoldenResult.TurnReplayResult
O resultado da execução de um único turno da conversa de ouro.
| Representação JSON |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| Campos | |
|---|---|
conversation |
Apenas saída. A conversa que foi gerada para essa vez. |
expectationOutcome[] |
Apenas saída. O resultado de cada expectativa. |
hallucinationResult |
Apenas saída. O resultado da verificação de alucinação. |
toolInvocationScore |
Apenas saída. Obsoleto. Use OverallToolInvocationResult. |
turnLatency |
Apenas saída. Duração da curva. Duração em segundos com até nove dígitos fracionários, terminando em " |
toolCallLatencies[] |
Apenas saída. A latência de cada chamada de ferramenta no turno. |
semanticSimilarityResult |
Apenas saída. O resultado da verificação de semelhança semântica. |
overallToolInvocationResult |
Apenas saída. O resultado da verificação geral de invocação da ferramenta. |
errorInfo |
Apenas saída. Informações sobre o erro que ocorreu durante essa rodada. |
spanLatencies[] |
Apenas saída. A latência dos períodos na vez. |
toolOrderedInvocationScore |
Apenas saída. A pontuação geral de invocação ordenada de ferramentas para este turno. Indica a porcentagem geral de ferramentas da vez esperada que foram realmente invocadas na ordem esperada. |
EvaluationResult.GoldenExpectationOutcome
Especifica a expectativa e o resultado dela.
| Representação JSON |
|---|
{ "expectation": { object ( |
| Campos | |
|---|---|
expectation |
Apenas saída. A expectativa que foi avaliada. |
outcome |
Apenas saída. O resultado da expectativa. |
semanticSimilarityResult |
Apenas saída. O resultado da verificação de semelhança semântica. |
toolInvocationResult |
Apenas saída. O resultado da verificação de invocação da ferramenta. |
| O resultado da expectativa. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta: | |
observedToolCall |
Apenas saída. O resultado da expectativa de chamada de ferramenta. |
observedToolResponse |
Apenas saída. O resultado da expectativa de resposta da ferramenta. |
observedAgentResponse |
Apenas saída. O resultado da expectativa de resposta do agente. |
observedAgentTransfer |
Apenas saída. O resultado da expectativa de transferência do agente. |
observedPayload |
Apenas saída. Um payload personalizado observado. Não há expectativas para payloads personalizados. Isso é usado apenas para o cálculo de métricas. O resultado é sempre SKIPPED. |
| Fim dos campos mutuamente exclusivos. | |
EvaluationResult.Outcome
O resultado da avaliação ou expectativa.
| Tipos enumerados | |
|---|---|
OUTCOME_UNSPECIFIED |
O resultado da avaliação não foi especificado. |
PASS |
A avaliação/expectativa foi aprovada. No caso de uma avaliação, isso significa que todas as expectativas foram atendidas. |
FAIL |
Falha na avaliação/expectativa. No caso de uma avaliação, isso significa que pelo menos uma expectativa não foi atendida. |
SKIPPED |
A avaliação/expectativa foi ignorada. |
EvaluationResult.SemanticSimilarityResult
O resultado da verificação de semelhança semântica.
| Representação JSON |
|---|
{
"label": string,
"explanation": string,
"outcome": enum ( |
| Campos | |
|---|---|
label |
Apenas saída. O rótulo associado a cada pontuação. Pontuação 4: totalmente consistente Pontuação 3: consistente na maior parte Pontuação 2: parcialmente consistente (pequenas omissões) Pontuação 1: inconsistente na maior parte (grandes omissões) Pontuação 0: completamente inconsistente / contraditório |
explanation |
Apenas saída. A explicação da pontuação de semelhança semântica. |
outcome |
Apenas saída. O resultado da verificação de semelhança semântica. Isso é determinado comparando a pontuação com o semanticSimilaritySuccessThreshold. Se a pontuação for igual ou maior que o limite, o resultado será PASS (APROVADO). Caso contrário, o resultado será FAIL. |
score |
Apenas saída. A pontuação de similaridade semântica. Pode ser 0, 1, 2, 3 ou 4. |
EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
O resultado da verificação de invocação da ferramenta.
| Representação JSON |
|---|
{
"outcome": enum ( |
| Campos | |
|---|---|
outcome |
Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o parameterCorrectnessScore com o limite. Se a pontuação for igual ou maior que o limite, o resultado será PASS (APROVADO). Caso contrário, o resultado será FAIL. |
explanation |
Apenas saída. Uma explicação em texto livre para o resultado da invocação da ferramenta. |
parameterCorrectnessScore |
Apenas saída. A pontuação de precisão do parâmetro de invocação da ferramenta. Indica a porcentagem de parâmetros da chamada de ferramenta esperada que também estavam presentes na chamada de ferramenta real. |
EvaluationResult.HallucinationResult
O resultado da verificação de alucinação para uma única rodada.
| Representação JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Campos | |
|---|---|
label |
Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: justificada Pontuação 0: não justificada Pontuação -1: sem declaração para avaliar |
explanation |
Apenas saída. A explicação da pontuação de alucinação. |
score |
Apenas saída. A pontuação de alucinação. Pode ser -1, 0, 1. |
EvaluationResult.ToolCallLatency
A latência de uma execução de chamada de ferramenta.
| Representação JSON |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| Campos | |
|---|---|
tool |
Apenas saída. O nome da ferramenta que foi executada. Formato: |
displayName |
Apenas saída. O nome de exibição da ferramenta. |
startTime |
Apenas saída. O horário de início da execução da chamada de ferramenta. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: |
endTime |
Apenas saída. O horário de término da execução da chamada de ferramenta. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: |
executionLatency |
Apenas saída. A latência da execução da chamada de ferramenta. Duração em segundos com até nove dígitos fracionários, terminando em " |
EvaluationResult.OverallToolInvocationResult
O resultado da verificação geral de invocação da ferramenta.
| Representação JSON |
|---|
{
"outcome": enum ( |
| Campos | |
|---|---|
outcome |
Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o toolInvocationScore com o overallToolInvocationCorrectnessThreshold. Se a pontuação for igual ou maior que o limite, o resultado será PASS (APROVADO). Caso contrário, o resultado será FAIL. |
toolInvocationScore |
A pontuação geral de invocação de ferramentas para este turno. Indica a porcentagem geral de ferramentas da vez esperada que foram realmente invocadas. |
EvaluationResult.SpanLatency
A latência de uma execução de período.
| Representação JSON |
|---|
{ "type": enum ( |
| Campos | |
|---|---|
type |
Apenas saída. O tipo de período. |
displayName |
Apenas saída. O nome de exibição do período. Aplicável a períodos de ferramentas e proteções. |
startTime |
Apenas saída. O horário de início do período. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: |
endTime |
Apenas saída. O horário de término do período. Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: |
executionLatency |
Apenas saída. A latência do período. Duração em segundos com até nove dígitos fracionários, terminando em " |
| O identificador do item específico com base no tipo dele. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta: | |
resource |
Apenas saída. O nome do recurso da proteção ou dos períodos da ferramenta. |
toolset |
Apenas saída. O identificador da ferramenta do conjunto de ferramentas. |
model |
Apenas saída. O nome do período do LLM. |
callback |
Apenas saída. O nome do período de callback do usuário. |
| Fim dos campos mutuamente exclusivos. | |
EvaluationResult.SpanLatency.Type
O tipo de período. Outros valores podem ser adicionados no futuro.
| Tipos enumerados | |
|---|---|
TYPE_UNSPECIFIED |
Valor padrão. Esse valor não é usado. |
TOOL |
Período de chamada de ferramenta. |
USER_CALLBACK |
Período de callback do usuário. |
GUARDRAIL |
Período de proteção. |
LLM |
Período do LLM. |
EvaluationResult.EvaluationExpectationResult
O resultado de uma única expectativa de avaliação.
| Representação JSON |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| Campos | |
|---|---|
evaluationExpectation |
Apenas saída. A expectativa de avaliação. Formato: |
prompt |
Apenas saída. O comando usado para a avaliação. |
outcome |
Apenas saída. O resultado da expectativa de avaliação. |
explanation |
Apenas saída. A explicação do resultado. |
EvaluationResult.ScenarioResult
O resultado de uma avaliação de cenário.
| Representação JSON |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| Campos | |
|---|---|
conversation |
Apenas saída. A conversa que foi gerada no cenário. |
task |
Apenas saída. A tarefa usada ao executar o cenário para esse resultado. |
userFacts[] |
Apenas saída. Os fatos do usuário que foram usados pelo cenário para esse resultado. |
expectationOutcomes[] |
Apenas saída. O resultado de cada expectativa. |
rubricOutcomes[] |
Apenas saída. O resultado da rubrica. |
hallucinationResult[] |
Apenas saída. O resultado da verificação de alucinação. Haverá um resultado de alucinação para cada turno na conversa. |
taskCompletionResult |
Apenas saída. O resultado da verificação de conclusão da tarefa. |
toolCallLatencies[] |
Apenas saída. A latência de cada execução de chamada de ferramenta na conversa. |
userGoalSatisfactionResult |
Apenas saída. O resultado da verificação de satisfação do objetivo do usuário. |
spanLatencies[] |
Apenas saída. A latência dos períodos na conversa. |
evaluationExpectationResults[] |
Apenas saída. Os resultados das expectativas de avaliação. |
milestoneResults[] |
Apenas saída. Os resultados de cada marco no cenário. |
allExpectationsSatisfied |
Apenas saída. Se todas as expectativas foram atendidas para essa vez. |
taskCompleted |
Apenas saída. Se a tarefa foi concluída para essa vez. É uma combinação de todas as expectativas atendidas, sem alucinações e com a satisfação do objetivo do usuário. |
EvaluationResult.ScenarioExpectationOutcome
O resultado de uma expectativa de cenário.
| Representação JSON |
|---|
{ "expectation": { object ( |
| Campos | |
|---|---|
expectation |
Apenas saída. A expectativa que foi avaliada. |
outcome |
Apenas saída. O resultado do ScenarioExpectation. |
| O resultado da expectativa. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta: | |
observedToolCall |
Apenas saída. A chamada de ferramenta observada. |
observedAgentResponse |
Apenas saída. A resposta observada do agente. |
| Fim dos campos mutuamente exclusivos. | |
EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
A chamada de ferramenta e a resposta observadas.
| Representação JSON |
|---|
{ "toolCall": { object ( |
| Campos | |
|---|---|
toolCall |
Apenas saída. A chamada de ferramenta observada. |
toolResponse |
Apenas saída. A resposta observada da ferramenta. |
EvaluationResult.ScenarioRubricOutcome
O resultado da avaliação com base na rubrica.
| Representação JSON |
|---|
{ "rubric": string, "scoreExplanation": string, "score": number } |
| Campos | |
|---|---|
rubric |
Apenas saída. A rubrica usada para avaliar a conversa. |
scoreExplanation |
Apenas saída. A resposta do avaliador à rubrica. |
score |
Apenas saída. A pontuação da conversa de acordo com a rubrica. |
EvaluationResult.TaskCompletionResult
O resultado da verificação de conclusão da tarefa para a conversa.
| Representação JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Campos | |
|---|---|
label |
Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: tarefa concluída Pontuação 0: tarefa não concluída Pontuação -1: meta do usuário indefinida |
explanation |
Apenas saída. A explicação da pontuação de conclusão da tarefa. |
score |
Apenas saída. A pontuação de conclusão da tarefa. Pode ser -1, 0, 1 |
EvaluationResult.UserGoalSatisfactionResult
O resultado de uma verificação de satisfação do objetivo do usuário em uma conversa.
| Representação JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Campos | |
|---|---|
label |
Apenas saída. O rótulo associado a cada pontuação. Pontuação 2: transferência sem problemas Pontuação 1: tarefa do usuário concluída Pontuação 0: tarefa do usuário não concluída Pontuação -1: tarefa do usuário não especificada |
explanation |
Apenas saída. A explicação para a pontuação de satisfação do usuário com a tarefa. |
score |
Apenas saída. A pontuação de satisfação do usuário com a tarefa. Pode ser -1, 0, 1, 2. |
EvaluationResult.ScenarioResult.MilestoneResult
Representa o resultado da execução de um marco.
| Representação JSON |
|---|
{ "milestone": { object ( |
| Campos | |
|---|---|
milestone |
Apenas saída. O marco que está sendo monitorado. |
status |
Apenas saída. O status atual do marco. |
justification |
Apenas saída. A justificativa para o status atual. |
EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
O status do marco.
| Tipos enumerados | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
Status não especificado. |
NOT_STARTED |
O marco ainda não começou. |
IN_PROGRESS |
O marco está em andamento. |
COMPLETED |
O marco foi concluído. |
EvaluationResult.ExecutionState
O estado da execução do resultado da avaliação.
| Tipos enumerados | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
O estado de execução do resultado da avaliação não foi especificado. |
QUEUED |
A execução do resultado da avaliação está na fila. |
RUNNING |
A execução do resultado da avaliação está em andamento. |
COMPLETED |
A execução do resultado da avaliação foi concluída. |
ERROR |
Falha na execução do resultado da avaliação devido a um erro interno. |
CANCELLED |
A execução do resultado da avaliação foi cancelada. |
EvaluationResult.OutcomeMetadata
Metadados sobre o resultado da avaliação.
| Tipos enumerados | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
Metadados de resultado não especificados. |
GRACEFUL_HANDOFF |
A avaliação resultou em uma transferência tranquila para um representante humano. |
Métodos |
|
|---|---|
|
Exclui um resultado de avaliação. |
|
Exporta os resultados das avaliações. |
|
Recebe detalhes do resultado da avaliação especificado. |
|
Lista todos os resultados de uma determinada avaliação. |
|
Executa métricas em um resultado de avaliação atual. |