REST Resource: projects.locations.apps.evaluationRuns

Recurso: EvaluationRun

Uma execução de avaliação representa todos os resultados de uma execução de avaliação.

Representação JSON 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationRun.EvaluationType),
  "state": enum (EvaluationRun.EvaluationRunState),
  "progress": {
    object (EvaluationRun.Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRun.EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod),
  "operation": string
}
Campos
name

string

Identificador. O identificador exclusivo da execução da avaliação. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

Opcional. Nome de exibição definido pelo usuário da execução da avaliação. Padrão: " run - ".
evaluationResults[]

string

Apenas saída. Os resultados da avaliação que fazem parte desta execução. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

Apenas saída. Carimbo de data/hora em que a execução da avaliação foi criada.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
initiatedBy

string

Apenas saída. O usuário que iniciou a execução da avaliação.
appVersion

string

Apenas saída. A versão do app a ser avaliada. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Apenas saída. O nome de exibição do appVersion em que a avaliação foi executada.
changelog

string

Apenas saída. O changelog da versão do app em que a avaliação foi executada. Isso é preenchido se o usuário executar a avaliação na versão mais recente/rascunho.
changelogCreateTime

string (Timestamp format)

Apenas saída. O horário de criação do changelog da versão do app em que a avaliação foi executada. Isso é preenchido se o usuário executar a avaliação na versão mais recente/rascunho.

Usa o padrão RFC 3339, em que a saída gerada é sempre convertida em Z e tem 0, 3, 6 ou 9 dígitos fracionários. Além de Z, outros ajustes também são aceitos. Exemplos: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluations[]

string

Apenas saída. As avaliações que fazem parte desta execução. A lista pode conter avaliações de qualquer tipo. Esse campo é mutuamente exclusivo com evaluationDataset. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

Apenas saída. O conjunto de dados de avaliação associado a esta execução. Esse campo é mutuamente exclusivo com evaluations. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationRun.EvaluationType)

Apenas saída. O tipo das avaliações nesta execução.
state

enum (EvaluationRun.EvaluationRunState)

Apenas saída. O estado da execução da avaliação.
progress

object (EvaluationRun.Progress)

Apenas saída. O progresso da execução da avaliação.
config

object (EvaluationConfig)

Apenas saída. A configuração usada na execução.
error
(deprecated)

object (Status)

Apenas saída. Descontinuado: use errorInfo. Erros encontrados durante a execução.
errorInfo

object (EvaluationErrorInfo)

Apenas saída. Informações de erro para a execução da avaliação.
evaluationRunSummaries

map (key: string, value: object (EvaluationRun.EvaluationRunSummary))

Apenas saída. Mapa do nome da avaliação para EvaluationRunSummary.

Um objeto com uma lista de pares "key": value. Exemplo: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
latencyReport

object (LatencyReport)

Apenas saída. Relatório de latência da execução da avaliação.
runCount

integer

Apenas saída. O número de vezes que as avaliações na execução foram feitas.
personaRunConfigs[]

object (PersonaRunConfig)

Apenas saída. A configuração a ser usada para a execução por persona.
optimizationConfig

object (OptimizationConfig)

Opcional. Configuração para executar a etapa de otimização após a execução da avaliação. Se não estiver definido, a etapa de otimização não será executada.
scheduledEvaluationRun

string

Apenas saída. O nome do recurso da execução de avaliação programada que criou esta execução de avaliação. Esse campo só é definido se a execução da avaliação foi criada por uma execução programada. Formato: projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduledEvaluationRun}
goldenRunMethod

enum (GoldenRunMethod)

Apenas saída. O método usado para executar a avaliação.
operation

string

Apenas saída. A operação que criou esta execução de avaliação. Formato: projects/{project}/locations/{location}/operations/{operation}

EvaluationRun.EvaluationType

O tipo das avaliações nesta execução. Outros valores podem ser adicionados no futuro.

Tipos enumerados
EVALUATION_TYPE_UNSPECIFIED O tipo de avaliação não foi especificado.
GOLDEN Avaliação de referência.
SCENARIO Avaliação de cenário.
MIXED Indica que a execução inclui uma combinação de avaliações de ouro e de cenário.

EvaluationRun.EvaluationRunState

O estado da execução da avaliação.

Tipos enumerados
EVALUATION_RUN_STATE_UNSPECIFIED O estado da execução da avaliação não foi especificado.
QUEUED Indica que a execução da avaliação está na fila.
RUNNING A execução da avaliação está em andamento.
COMPLETED A execução da avaliação foi concluída.
ERROR A execução da avaliação tem um erro.
CANCELLED A execução da avaliação foi cancelada.

EvaluationRun.Progress

O progresso da execução da avaliação.

Representação JSON 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer,
  "cancelledCount": integer
}
Campos
totalCount

integer

Apenas saída. Número total de resultados de avaliação nesta execução.
failedCount

integer

Apenas saída. Número de resultados de avaliação concluídos com um resultado de FALHA. (EvaluationResult.execution_state é COMPLETED e EvaluationResult.evaluation_status é FAIL).
errorCount

integer

Apenas saída. Número de resultados de avaliação que não foram executados. (EvaluationResult.execution_state é ERROR).
completedCount

integer

Apenas saída. Número de resultados de avaliação concluídos. (EvaluationResult.execution_state é COMPLETED).
passedCount

integer

Apenas saída. Número de resultados de avaliação concluídos com um resultado de APROVADO. (EvaluationResult.execution_state é COMPLETED e EvaluationResult.evaluation_status é PASS).
cancelledCount

integer

Apenas saída. Número de resultados de avaliação cancelados. (EvaluationResult.execution_state é CANCELLED).

EvaluationRun.EvaluationRunSummary

Contém o resumo das contagens de resultados aprovados e reprovados para uma avaliação específica em uma execução de avaliação.

Representação JSON 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
Campos
passedCount

integer

Apenas saída. Número de resultados aprovados para a avaliação associada nesta execução.
failedCount

integer

Apenas saída. Número de resultados com falha para a avaliação associada nesta execução.
errorCount

integer

Apenas saída. Número de resultados de erro para a avaliação associada nesta execução.

LatencyReport

Relatório de latência da execução da avaliação.

Representação JSON 
{
  "toolLatencies": [
    {
      object (LatencyReport.ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (LatencyReport.CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (LatencyReport.GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LatencyReport.LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
Campos
toolLatencies[]

object (LatencyReport.ToolLatency)

Apenas saída. Lista não ordenada. Métricas de latência para cada ferramenta.
callbackLatencies[]

object (LatencyReport.CallbackLatency)

Apenas saída. Lista não ordenada. Métricas de latência para cada callback.
guardrailLatencies[]

object (LatencyReport.GuardrailLatency)

Apenas saída. Lista não ordenada. Métricas de latência para cada proteção.
llmCallLatencies[]

object (LatencyReport.LlmCallLatency)

Apenas saída. Lista não ordenada. Métricas de latência para cada chamada de LLM.
sessionCount

integer

Apenas saída. O número total de sessões consideradas no relatório de latência.

LatencyReport.ToolLatency

Métricas de latência para uma única ferramenta.

Representação JSON 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of mutually exclusive fields.
}
Campos
toolDisplayName

string

Apenas saída. O nome de exibição da ferramenta.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Apenas saída. As métricas de latência da ferramenta.
O identificador da ferramenta. Confira a seguir uma lista de campos mutuamente exclusivos. No máximo um dos campos será definido em uma resposta:
tool

string

Apenas saída. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
toolsetTool

object (ToolsetTool)

Apenas saída. O identificador da ferramenta do conjunto de ferramentas.
Fim dos campos mutuamente exclusivos.

LatencyReport.LatencyMetrics

Métricas de latência para um componente.

Representação JSON 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
Campos
p50Latency

string (Duration format)

Apenas saída. A latência no 50º percentil.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
p90Latency

string (Duration format)

Apenas saída. A latência no 90º percentil.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
p99Latency

string (Duration format)

Apenas saída. A latência no 99º percentil.

Duração em segundos com até nove dígitos fracionários, terminando em "s". Exemplo: "3.5s".
callCount

integer

Apenas saída. O número de vezes que o recurso foi chamado.

LatencyReport.CallbackLatency

Métricas de latência para um único callback.

Representação JSON 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Campos
stage

string

Apenas saída. A fase do callback.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Apenas saída. As métricas de latência do callback.

LatencyReport.GuardrailLatency

Métricas de latência para uma única proteção.

Representação JSON 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Campos
guardrail

string

Apenas saída. O nome da proteção. Formato: projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}.
guardrailDisplayName

string

Apenas saída. O nome de exibição da proteção.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Apenas saída. As métricas de latência para o guardrail.

LatencyReport.LlmCallLatency

Métricas de latência para uma única chamada de LLM.

Representação JSON 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Campos
model

string

Apenas saída. O nome do modelo.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Apenas saída. As métricas de latência da chamada de LLM.

Métodos

delete

 Exclui uma execução de avaliação.

export

 Exporta execuções de avaliação.

get

 Recebe detalhes da execução de avaliação especificada.

list

 Lista todas as execuções de avaliação no app especificado.