REST Resource: projects.locations.apps.evaluations.results

Recurso: EvaluationResult

Um resultado de avaliação representa a saída da execução de uma avaliação.

Representação JSON
{
  "name": string,
  "displayName": string,
  "createTime": string,
  "evaluationStatus": enum (EvaluationResult.Outcome),
  "evaluationRun": string,
  "persona": {
    object (EvaluationPersona)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "error": {
    object (Status)
  },
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "executionState": enum (EvaluationResult.ExecutionState),
  "evaluationMetricsThresholds": {
    object (EvaluationMetricsThresholds)
  },
  "config": {
    object (EvaluationConfig)
  },
  "goldenRunMethod": enum (GoldenRunMethod),
  "rootSpan": {
    object (Span)
  },
  "outcomeMetadata": enum (EvaluationResult.OutcomeMetadata),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "goldenResult": {
    object (EvaluationResult.GoldenResult)
  },
  "scenarioResult": {
    object (EvaluationResult.ScenarioResult)
  }
  // End of mutually exclusive fields.
}
Campos
name

string

Identificador. O identificador exclusivo do resultado da avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}

displayName

string

Obrigatório. Nome de exibição do resultado da avaliação. Exclusivo em uma avaliação. Por padrão, ele tem o seguinte formato: " resultado - ".

createTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora em que o resultado da avaliação foi criado.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

evaluationStatus

enum (EvaluationResult.Outcome)

Apenas saída. O resultado da avaliação. Preenchido apenas se executionState for COMPLETE.

evaluationRun

string

Apenas saída. A execução de avaliação que produziu esse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}

persona

object (EvaluationPersona)

Apenas saída. A persona usada para gerar a conversa para o resultado da avaliação.

errorInfo

object (EvaluationErrorInfo)

Apenas saída. Informações de erro para o resultado da avaliação.

error
(deprecated)

object (Status)

Apenas saída. Descontinuado: use errorInfo. Erros encontrados durante a execução.

initiatedBy

string

Apenas saída. O usuário que iniciou a execução de avaliação que gerou esse resultado.

appVersion

string

Apenas saída. A versão do app usada para gerar a conversa que resultou nesse resultado. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}

appVersionDisplayName

string

Apenas saída. O nome de exibição do appVersion em que a avaliação foi executada.

changelog

string

Apenas saída. O registro de alterações da versão do app em que a avaliação foi executada. Isso é preenchido se o usuário executar a avaliação na versão mais recente/rascunho.

changelogCreateTime

string (Timestamp format)

Apenas saída. O horário de criação do registro de alterações da versão do app em que a avaliação foi executada. Isso é preenchido se o usuário executar a avaliação na versão mais recente/rascunho.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

executionState

enum (EvaluationResult.ExecutionState)

Apenas saída. O estado da execução do resultado da avaliação.

evaluationMetricsThresholds

object (EvaluationMetricsThresholds)

Apenas saída. Os limites de avaliação do resultado.

config

object (EvaluationConfig)

Apenas saída. A configuração usada na execução de avaliação que gerou esse resultado.

goldenRunMethod

enum (GoldenRunMethod)

Apenas saída. O método usado para executar a avaliação de referência.

rootSpan

object (Span)

Apenas saída. O período raiz da execução da avaliação, que inclui informações sobre cada etapa da avaliação.

outcomeMetadata

enum (EvaluationResult.OutcomeMetadata)

Apenas saída. Os metadados de resultado da avaliação. Preenchido apenas se executionState for COMPLETE.

O resultado da avaliação. Preenchido apenas quando execution_state é COMPLETED. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta:
goldenResult

object (EvaluationResult.GoldenResult)

Apenas saída. O resultado de uma avaliação de respostas ideais.

scenarioResult

object (EvaluationResult.ScenarioResult)

Apenas saída. O resultado de uma avaliação de cenário.

Fim dos campos mutuamente exclusivos.

EvaluationResult.GoldenResult

O resultado de uma avaliação de ouro.

Representação JSON
{
  "turnReplayResults": [
    {
      object (EvaluationResult.GoldenResult.TurnReplayResult)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ]
}
Campos
turnReplayResults[]

object (EvaluationResult.GoldenResult.TurnReplayResult)

Apenas saída. O resultado da execução de cada turno da conversa de ouro.

evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

Apenas saída. Os resultados das expectativas de avaliação.

EvaluationResult.GoldenResult.TurnReplayResult

O resultado da execução de um único turno da conversa de ouro.

Representação JSON
{
  "conversation": string,
  "expectationOutcome": [
    {
      object (EvaluationResult.GoldenExpectationOutcome)
    }
  ],
  "hallucinationResult": {
    object (EvaluationResult.HallucinationResult)
  },
  "toolInvocationScore": number,
  "turnLatency": string,
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "overallToolInvocationResult": {
    object (EvaluationResult.OverallToolInvocationResult)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "toolOrderedInvocationScore": number
}
Campos
conversation

string

Apenas saída. A conversa que foi gerada para essa vez.

expectationOutcome[]

object (EvaluationResult.GoldenExpectationOutcome)

Apenas saída. O resultado de cada expectativa.

hallucinationResult

object (EvaluationResult.HallucinationResult)

Apenas saída. O resultado da verificação de alucinação.

toolInvocationScore
(deprecated)

number

Apenas saída. Obsoleto. Use OverallToolInvocationResult.

turnLatency

string (Duration format)

Apenas saída. Duração da curva.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

Apenas saída. A latência de cada chamada de ferramenta no turno.

semanticSimilarityResult

object (EvaluationResult.SemanticSimilarityResult)

Apenas saída. O resultado da verificação de semelhança semântica.

overallToolInvocationResult

object (EvaluationResult.OverallToolInvocationResult)

Apenas saída. O resultado da verificação geral de invocação da ferramenta.

errorInfo

object (EvaluationErrorInfo)

Apenas saída. Informações sobre o erro que ocorreu durante essa rodada.

spanLatencies[]

object (EvaluationResult.SpanLatency)

Apenas saída. A latência dos períodos na vez.

toolOrderedInvocationScore

number

Apenas saída. A pontuação geral de invocação ordenada de ferramentas para este turno. Indica a porcentagem geral de ferramentas da vez esperada que foram realmente invocadas na ordem esperada.

EvaluationResult.GoldenExpectationOutcome

Especifica a expectativa e o resultado dela.

Representação JSON
{
  "expectation": {
    object (Evaluation.GoldenExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),
  "semanticSimilarityResult": {
    object (EvaluationResult.SemanticSimilarityResult)
  },
  "toolInvocationResult": {
    object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (ToolCall)
  },
  "observedToolResponse": {
    object (ToolResponse)
  },
  "observedAgentResponse": {
    object (Message)
  },
  "observedAgentTransfer": {
    object (AgentTransfer)
  },
  "observedPayload": {
    object
  }
  // End of mutually exclusive fields.
}
Campos
expectation

object (Evaluation.GoldenExpectation)

Apenas saída. A expectativa que foi avaliada.

outcome

enum (EvaluationResult.Outcome)

Apenas saída. O resultado da expectativa.

semanticSimilarityResult
(deprecated)

object (EvaluationResult.SemanticSimilarityResult)

Apenas saída. O resultado da verificação de semelhança semântica.

toolInvocationResult

object (EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult)

Apenas saída. O resultado da verificação de invocação da ferramenta.

O resultado da expectativa. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta:
observedToolCall

object (ToolCall)

Apenas saída. O resultado da expectativa de chamada de ferramenta.

observedToolResponse

object (ToolResponse)

Apenas saída. O resultado da expectativa de resposta da ferramenta.

observedAgentResponse

object (Message)

Apenas saída. O resultado da expectativa de resposta do agente.

observedAgentTransfer

object (AgentTransfer)

Apenas saída. O resultado da expectativa de transferência do agente.

observedPayload

object (Struct format)

Apenas saída. Um payload personalizado observado. Não há expectativas para payloads personalizados. Isso é usado apenas para o cálculo de métricas. O resultado é sempre SKIPPED.

Fim dos campos mutuamente exclusivos.

EvaluationResult.Outcome

O resultado da avaliação ou expectativa.

Tipos enumerados
OUTCOME_UNSPECIFIED O resultado da avaliação não foi especificado.
PASS A avaliação/expectativa foi aprovada. No caso de uma avaliação, isso significa que todas as expectativas foram atendidas.
FAIL Falha na avaliação/expectativa. No caso de uma avaliação, isso significa que pelo menos uma expectativa não foi atendida.
SKIPPED A avaliação/expectativa foi ignorada.

EvaluationResult.SemanticSimilarityResult

O resultado da verificação de semelhança semântica.

Representação JSON
{
  "label": string,
  "explanation": string,
  "outcome": enum (EvaluationResult.Outcome),
  "score": integer
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 4: totalmente consistente Pontuação 3: consistente na maior parte Pontuação 2: parcialmente consistente (pequenas omissões) Pontuação 1: inconsistente na maior parte (grandes omissões) Pontuação 0: completamente inconsistente / contraditório

explanation

string

Apenas saída. A explicação da pontuação de semelhança semântica.

outcome

enum (EvaluationResult.Outcome)

Apenas saída. O resultado da verificação de semelhança semântica. Isso é determinado comparando a pontuação com o semanticSimilaritySuccessThreshold. Se a pontuação for igual ou maior que o limite, o resultado será PASS (APROVADO). Caso contrário, o resultado será FAIL.

score

integer

Apenas saída. A pontuação de similaridade semântica. Pode ser 0, 1, 2, 3 ou 4.

EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult

O resultado da verificação de invocação da ferramenta.

Representação JSON
{
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string,
  "parameterCorrectnessScore": number
}
Campos
outcome

enum (EvaluationResult.Outcome)

Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o parameterCorrectnessScore com o limite. Se a pontuação for igual ou maior que o limite, o resultado será PASS (APROVADO). Caso contrário, o resultado será FAIL.

explanation

string

Apenas saída. Uma explicação em texto livre para o resultado da invocação da ferramenta.

parameterCorrectnessScore

number

Apenas saída. A pontuação de precisão do parâmetro de invocação da ferramenta. Indica a porcentagem de parâmetros da chamada de ferramenta esperada que também estavam presentes na chamada de ferramenta real.

EvaluationResult.HallucinationResult

O resultado da verificação de alucinação para uma única rodada.

Representação JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: justificada Pontuação 0: não justificada Pontuação -1: sem declaração para avaliar

explanation

string

Apenas saída. A explicação da pontuação de alucinação.

score

integer

Apenas saída. A pontuação de alucinação. Pode ser -1, 0, 1.

EvaluationResult.ToolCallLatency

A latência de uma execução de chamada de ferramenta.

Representação JSON
{
  "tool": string,
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string
}
Campos
tool

string

Apenas saída. O nome da ferramenta que foi executada. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.

displayName

string

Apenas saída. O nome de exibição da ferramenta.

startTime

string (Timestamp format)

Apenas saída. O horário de início da execução da chamada de ferramenta.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

Apenas saída. O horário de término da execução da chamada de ferramenta.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

executionLatency

string (Duration format)

Apenas saída. A latência da execução da chamada de ferramenta.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

EvaluationResult.OverallToolInvocationResult

O resultado da verificação geral de invocação da ferramenta.

Representação JSON
{
  "outcome": enum (EvaluationResult.Outcome),
  "toolInvocationScore": number
}
Campos
outcome

enum (EvaluationResult.Outcome)

Apenas saída. O resultado da verificação de invocação da ferramenta. Isso é determinado comparando o toolInvocationScore com o overallToolInvocationCorrectnessThreshold. Se a pontuação for igual ou maior que o limite, o resultado será PASS (APROVADO). Caso contrário, o resultado será FAIL.

toolInvocationScore

number

A pontuação geral de invocação de ferramentas para este turno. Indica a porcentagem geral de ferramentas da vez esperada que foram realmente invocadas.

EvaluationResult.SpanLatency

A latência de uma execução de período.

Representação JSON
{
  "type": enum (EvaluationResult.SpanLatency.Type),
  "displayName": string,
  "startTime": string,
  "endTime": string,
  "executionLatency": string,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "resource": string,
  "toolset": {
    object (ToolsetTool)
  },
  "model": string,
  "callback": string
  // End of mutually exclusive fields.
}
Campos
type

enum (EvaluationResult.SpanLatency.Type)

Apenas saída. O tipo de período.

displayName

string

Apenas saída. O nome de exibição do período. Aplicável a períodos de ferramentas e proteções.

startTime

string (Timestamp format)

Apenas saída. O horário de início do período.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

endTime

string (Timestamp format)

Apenas saída. O horário de término do período.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".

executionLatency

string (Duration format)

Apenas saída. A latência do período.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".

O identificador do item específico com base no tipo dele. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta:
resource

string

Apenas saída. O nome do recurso da proteção ou dos períodos da ferramenta.

toolset

object (ToolsetTool)

Apenas saída. O identificador da ferramenta do conjunto de ferramentas.

model

string

Apenas saída. O nome do período do LLM.

callback

string

Apenas saída. O nome do período de callback do usuário.

Fim dos campos mutuamente exclusivos.

EvaluationResult.SpanLatency.Type

O tipo de período. Outros valores podem ser adicionados no futuro.

Tipos enumerados
TYPE_UNSPECIFIED Valor padrão. Esse valor não é usado.
TOOL Período de chamada de ferramenta.
USER_CALLBACK Período de callback do usuário.
GUARDRAIL Período de proteção.
LLM Período do LLM.

EvaluationResult.EvaluationExpectationResult

O resultado de uma única expectativa de avaliação.

Representação JSON
{
  "evaluationExpectation": string,
  "prompt": string,
  "outcome": enum (EvaluationResult.Outcome),
  "explanation": string
}
Campos
evaluationExpectation

string

Apenas saída. A expectativa de avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

prompt

string

Apenas saída. O comando usado para a avaliação.

outcome

enum (EvaluationResult.Outcome)

Apenas saída. O resultado da expectativa de avaliação.

explanation

string

Apenas saída. A explicação do resultado.

EvaluationResult.ScenarioResult

O resultado de uma avaliação de cenário.

Representação JSON
{
  "conversation": string,
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "expectationOutcomes": [
    {
      object (EvaluationResult.ScenarioExpectationOutcome)
    }
  ],
  "rubricOutcomes": [
    {
      object (EvaluationResult.ScenarioRubricOutcome)
    }
  ],
  "hallucinationResult": [
    {
      object (EvaluationResult.HallucinationResult)
    }
  ],
  "taskCompletionResult": {
    object (EvaluationResult.TaskCompletionResult)
  },
  "toolCallLatencies": [
    {
      object (EvaluationResult.ToolCallLatency)
    }
  ],
  "userGoalSatisfactionResult": {
    object (EvaluationResult.UserGoalSatisfactionResult)
  },
  "spanLatencies": [
    {
      object (EvaluationResult.SpanLatency)
    }
  ],
  "evaluationExpectationResults": [
    {
      object (EvaluationResult.EvaluationExpectationResult)
    }
  ],
  "milestoneResults": [
    {
      object (EvaluationResult.ScenarioResult.MilestoneResult)
    }
  ],
  "allExpectationsSatisfied": boolean,
  "taskCompleted": boolean
}
Campos
conversation

string

Apenas saída. A conversa que foi gerada no cenário.

task

string

Apenas saída. A tarefa usada ao executar o cenário para esse resultado.

userFacts[]

object (Evaluation.Scenario.UserFact)

Apenas saída. Os fatos do usuário que foram usados pelo cenário para esse resultado.

expectationOutcomes[]

object (EvaluationResult.ScenarioExpectationOutcome)

Apenas saída. O resultado de cada expectativa.

rubricOutcomes[]

object (EvaluationResult.ScenarioRubricOutcome)

Apenas saída. O resultado da rubrica.

hallucinationResult[]

object (EvaluationResult.HallucinationResult)

Apenas saída. O resultado da verificação de alucinação. Haverá um resultado de alucinação para cada turno na conversa.

taskCompletionResult
(deprecated)

object (EvaluationResult.TaskCompletionResult)

Apenas saída. O resultado da verificação de conclusão da tarefa.

toolCallLatencies[]

object (EvaluationResult.ToolCallLatency)

Apenas saída. A latência de cada execução de chamada de ferramenta na conversa.

userGoalSatisfactionResult

object (EvaluationResult.UserGoalSatisfactionResult)

Apenas saída. O resultado da verificação de satisfação do objetivo do usuário.

spanLatencies[]

object (EvaluationResult.SpanLatency)

Apenas saída. A latência dos períodos na conversa.

evaluationExpectationResults[]

object (EvaluationResult.EvaluationExpectationResult)

Apenas saída. Os resultados das expectativas de avaliação.

milestoneResults[]

object (EvaluationResult.ScenarioResult.MilestoneResult)

Apenas saída. Os resultados de cada marco no cenário.

allExpectationsSatisfied

boolean

Apenas saída. Se todas as expectativas foram atendidas para essa vez.

taskCompleted

boolean

Apenas saída. Se a tarefa foi concluída para essa vez. É uma combinação de todas as expectativas atendidas, sem alucinações e com a satisfação do objetivo do usuário.

EvaluationResult.ScenarioExpectationOutcome

O resultado de uma expectativa de cenário.

Representação JSON
{
  "expectation": {
    object (Evaluation.ScenarioExpectation)
  },
  "outcome": enum (EvaluationResult.Outcome),

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "observedToolCall": {
    object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)
  },
  "observedAgentResponse": {
    object (Message)
  }
  // End of mutually exclusive fields.
}
Campos
expectation

object (Evaluation.ScenarioExpectation)

Apenas saída. A expectativa que foi avaliada.

outcome

enum (EvaluationResult.Outcome)

Apenas saída. O resultado do ScenarioExpectation.

O resultado da expectativa. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta:
observedToolCall

object (EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall)

Apenas saída. A chamada de ferramenta observada.

observedAgentResponse

object (Message)

Apenas saída. A resposta observada do agente.

Fim dos campos mutuamente exclusivos.

EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall

A chamada de ferramenta e a resposta observadas.

Representação JSON
{
  "toolCall": {
    object (ToolCall)
  },
  "toolResponse": {
    object (ToolResponse)
  }
}
Campos
toolCall

object (ToolCall)

Apenas saída. A chamada de ferramenta observada.

toolResponse

object (ToolResponse)

Apenas saída. A resposta observada da ferramenta.

EvaluationResult.ScenarioRubricOutcome

O resultado da avaliação com base na rubrica.

Representação JSON
{
  "rubric": string,
  "scoreExplanation": string,
  "score": number
}
Campos
rubric

string

Apenas saída. A rubrica usada para avaliar a conversa.

scoreExplanation

string

Apenas saída. A resposta do avaliador à rubrica.

score

number

Apenas saída. A pontuação da conversa de acordo com a rubrica.

EvaluationResult.TaskCompletionResult

O resultado da verificação de conclusão da tarefa para a conversa.

Representação JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 1: tarefa concluída Pontuação 0: tarefa não concluída Pontuação -1: meta do usuário indefinida

explanation

string

Apenas saída. A explicação da pontuação de conclusão da tarefa.

score

integer

Apenas saída. A pontuação de conclusão da tarefa. Pode ser -1, 0, 1

EvaluationResult.UserGoalSatisfactionResult

O resultado de uma verificação de satisfação do objetivo do usuário em uma conversa.

Representação JSON
{
  "label": string,
  "explanation": string,
  "score": integer
}
Campos
label

string

Apenas saída. O rótulo associado a cada pontuação. Pontuação 2: transferência sem problemas Pontuação 1: tarefa do usuário concluída Pontuação 0: tarefa do usuário não concluída Pontuação -1: tarefa do usuário não especificada

explanation

string

Apenas saída. A explicação para a pontuação de satisfação do usuário com a tarefa.

score

integer

Apenas saída. A pontuação de satisfação do usuário com a tarefa. Pode ser -1, 0, 1, 2.

EvaluationResult.ScenarioResult.MilestoneResult

Representa o resultado da execução de um marco.

Representação JSON
{
  "milestone": {
    object (Evaluation.Scenario.Milestone)
  },
  "status": enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus),
  "justification": string
}
Campos
milestone

object (Evaluation.Scenario.Milestone)

Apenas saída. O marco que está sendo monitorado.

status

enum (EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus)

Apenas saída. O status atual do marco.

justification

string

Apenas saída. A justificativa para o status atual.

EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus

O status do marco.

Tipos enumerados
MILESTONE_STATUS_UNSPECIFIED Status não especificado.
NOT_STARTED O marco ainda não começou.
IN_PROGRESS O marco está em andamento.
COMPLETED O marco foi concluído.

EvaluationResult.ExecutionState

O estado da execução do resultado da avaliação.

Tipos enumerados
EXECUTION_STATE_UNSPECIFIED O estado de execução do resultado da avaliação não foi especificado.
QUEUED A execução do resultado da avaliação está na fila.
RUNNING A execução do resultado da avaliação está em andamento.
COMPLETED A execução do resultado da avaliação foi concluída.
ERROR Falha na execução do resultado da avaliação devido a um erro interno.
CANCELLED A execução do resultado da avaliação foi cancelada.

EvaluationResult.OutcomeMetadata

Metadados sobre o resultado da avaliação.

Tipos enumerados
OUTCOME_METADATA_UNSPECIFIED Metadados de resultado não especificados.
GRACEFUL_HANDOFF A avaliação resultou em uma transferência tranquila para um representante humano.

Métodos

delete

Exclui um resultado de avaliação.

export

Exporta os resultados das avaliações.

get

Recebe detalhes do resultado da avaliação especificado.

list

Lista todos os resultados de uma determinada avaliação.

runEvaluationResultMetrics

Executa métricas em um resultado de avaliação atual.