REST Resource: projects.locations.apps.evaluationRuns

Ressource : EvaluationRun

Une exécution d'évaluation représente tous les résultats d'une exécution d'évaluation.

Représentation JSON 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationRun.EvaluationType),
  "state": enum (EvaluationRun.EvaluationRunState),
  "progress": {
    object (EvaluationRun.Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRun.EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod),
  "operation": string
}
Champs
name

string

Identifiant. Identifiant unique de l'exécution de l'évaluation. Format : projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

Facultatif. Nom à afficher défini par l'utilisateur pour l'exécution de l'évaluation. Par défaut : " run - ".
evaluationResults[]

string

Uniquement en sortie. Résultats de l'évaluation qui font partie de cette exécution. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

Uniquement en sortie. Code temporel de la création de l'exécution d'évaluation.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
initiatedBy

string

Uniquement en sortie. Utilisateur à l'origine de l'exécution de l'évaluation.
appVersion

string

Uniquement en sortie. Version de l'application à évaluer. Format : projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Uniquement en sortie. Nom à afficher du appVersion par rapport auquel l'évaluation a été exécutée.
changelog

string

Uniquement en sortie. Journal des modifications de la version de l'application par rapport à laquelle l'évaluation a été exécutée. Cette valeur est renseignée si l'utilisateur exécute une évaluation sur la dernière version ou le brouillon.
changelogCreateTime

string (Timestamp format)

Uniquement en sortie. Heure de création du journal des modifications de la version de l'application sur laquelle l'évaluation a été exécutée. Cette valeur est renseignée si l'utilisateur exécute une évaluation sur la dernière version ou le brouillon.

Utilise la norme RFC 3339, où la sortie générée utilise toujours le format UTC (indiqué par "Z" pour le temps universel coordonné) avec des secondes fractionnaires de 0, 3, 6 ou 9 chiffres décimaux. Des décalages horaires autres que "Z" (UTC) sont également acceptés. Exemples : "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" ou "2014-10-02T15:01:23+05:30".
evaluations[]

string

Uniquement en sortie. Évaluations qui font partie de cette exécution. La liste peut contenir des évaluations de l'un ou l'autre type. Ce champ s'exclut mutuellement avec evaluationDataset. Format : projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

Uniquement en sortie. Ensemble de données d'évaluation auquel cette exécution est associée. Ce champ s'exclut mutuellement avec evaluations. Format : projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationRun.EvaluationType)

Uniquement en sortie. Type des évaluations de cette exécution.
state

enum (EvaluationRun.EvaluationRunState)

Uniquement en sortie. État de l'exécution de l'évaluation.
progress

object (EvaluationRun.Progress)

Uniquement en sortie. Progression de l'exécution de l'évaluation.
config

object (EvaluationConfig)

Uniquement en sortie. Configuration utilisée lors de l'exécution.
error
(deprecated)

object (Status)

Uniquement en sortie. Obsolète : utilisez errorInfo à la place. Erreurs rencontrées lors de l'exécution.
errorInfo

object (EvaluationErrorInfo)

Uniquement en sortie. Informations sur les erreurs d'exécution de l'évaluation.
evaluationRunSummaries

map (key: string, value: object (EvaluationRun.EvaluationRunSummary))

Uniquement en sortie. Mappage du nom de l'évaluation à EvaluationRunSummary.

Objet contenant une liste de paires "key": value. Exemple : { "name": "wrench", "mass": "1.3kg", "count": "3" }.
latencyReport

object (LatencyReport)

Uniquement en sortie. Rapport sur la latence pour l'exécution de l'évaluation.
runCount

integer

Uniquement en sortie. Nombre de fois où les évaluations de l'exécution ont été effectuées.
personaRunConfigs[]

object (PersonaRunConfig)

Uniquement en sortie. Configuration à utiliser pour l'exécution par persona.
optimizationConfig

object (OptimizationConfig)

Facultatif. Configuration pour exécuter l'étape d'optimisation après l'exécution de l'évaluation. Si elle n'est pas définie, l'étape d'optimisation ne sera pas exécutée.
scheduledEvaluationRun

string

Uniquement en sortie. Nom de ressource de l'exécution d'évaluation planifiée ayant créé cette exécution d'évaluation. Ce champ n'est défini que si l'exécution de l'évaluation a été créée par une exécution d'évaluation planifiée. Format : projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduledEvaluationRun}
goldenRunMethod

enum (GoldenRunMethod)

Uniquement en sortie. Méthode utilisée pour exécuter l'évaluation.
operation

string

Uniquement en sortie. Opération qui a créé cette exécution d'évaluation. Format : projects/{project}/locations/{location}/operations/{operation}

EvaluationRun.EvaluationType

Type des évaluations de cette exécution. D'autres valeurs pourront être ajoutées à l'avenir.

Enums
EVALUATION_TYPE_UNSPECIFIED Le type d'évaluation n'est pas spécifié.
GOLDEN Évaluation de référence.
SCENARIO Évaluation de scénarios.
MIXED Indique que l'exécution inclut un mélange d'évaluations de scénarios et de référence.

EvaluationRun.EvaluationRunState

État de l'exécution de l'évaluation.

Enums
EVALUATION_RUN_STATE_UNSPECIFIED L'état d'exécution de l'évaluation n'est pas spécifié.
QUEUED Indique que l'exécution de l'évaluation est en file d'attente.
RUNNING L'exécution de l'évaluation est en cours.
COMPLETED L'exécution de l'évaluation est terminée.
ERROR L'exécution de l'évaluation comporte une erreur.
CANCELLED L'exécution de l'évaluation a été annulée.

EvaluationRun.Progress

Progression de l'exécution de l'évaluation.

Représentation JSON 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer,
  "cancelledCount": integer
}
Champs
totalCount

integer

Uniquement en sortie. Nombre total de résultats d'évaluation dans cette exécution.
failedCount

integer

Uniquement en sortie. Nombre de résultats d'évaluation terminés avec un résultat ÉCHEC. (EvaluationResult.execution_state est COMPLETED et EvaluationResult.evaluation_status est FAIL).
errorCount

integer

Uniquement en sortie. Nombre de résultats d'évaluation dont l'exécution a échoué. (EvaluationResult.execution_state est défini sur ERROR).
completedCount

integer

Uniquement en sortie. Nombre de résultats d'évaluation qui se sont terminés avec succès. (EvaluationResult.execution_state est défini sur COMPLETED).
passedCount

integer

Uniquement en sortie. Nombre de résultats d'évaluation terminés avec un résultat "RÉUSSITE". (EvaluationResult.execution_state est défini sur COMPLETED et EvaluationResult.evaluation_status est défini sur PASS).
cancelledCount

integer

Uniquement en sortie. Nombre de résultats d'évaluation annulés. (EvaluationResult.execution_state est défini sur CANCELLED).

EvaluationRun.EvaluationRunSummary

Contient le récapitulatif du nombre de résultats réussis et échoués pour une évaluation spécifique dans une exécution d'évaluation.

Représentation JSON 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
Champs
passedCount

integer

Uniquement en sortie. Nombre de résultats réussis pour l'évaluation associée à cette exécution.
failedCount

integer

Uniquement en sortie. Nombre de résultats ayant échoué pour l'évaluation associée à cette exécution.
errorCount

integer

Uniquement en sortie. Nombre de résultats d'erreur pour l'évaluation associée lors de cette exécution.

LatencyReport

Rapport sur la latence pour l'exécution de l'évaluation.

Représentation JSON 
{
  "toolLatencies": [
    {
      object (LatencyReport.ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (LatencyReport.CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (LatencyReport.GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LatencyReport.LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
Champs
toolLatencies[]

object (LatencyReport.ToolLatency)

Uniquement en sortie. Liste non triée. Métriques de latence pour chaque outil.
callbackLatencies[]

object (LatencyReport.CallbackLatency)

Uniquement en sortie. Liste non triée. Métriques de latence pour chaque rappel.
guardrailLatencies[]

object (LatencyReport.GuardrailLatency)

Uniquement en sortie. Liste non triée. Métriques de latence pour chaque garde-fou.
llmCallLatencies[]

object (LatencyReport.LlmCallLatency)

Uniquement en sortie. Liste non triée. Métriques de latence pour chaque appel LLM.
sessionCount

integer

Uniquement en sortie. Nombre total de sessions prises en compte dans le rapport sur la latence.

LatencyReport.ToolLatency

Métriques de latence pour un seul outil.

Représentation JSON 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of mutually exclusive fields.
}
Champs
toolDisplayName

string

Uniquement en sortie. Nom à afficher de l'outil.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Uniquement en sortie. Métriques de latence de l'outil.
Identifiant de l'outil. Vous trouverez ci-dessous la liste des champs mutuellement exclusifs. Au maximum, un seul des champs sera défini dans une réponse :
tool

string

Uniquement en sortie. Format : projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
toolsetTool

object (ToolsetTool)

Uniquement en sortie. Identifiant de l'outil dans l'ensemble d'outils.
Fin des champs qui s'excluent mutuellement.

LatencyReport.LatencyMetrics

Métriques de latence pour un composant.

Représentation JSON 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
Champs
p50Latency

string (Duration format)

Uniquement en sortie. Latence au 50e centile.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
p90Latency

string (Duration format)

Uniquement en sortie. Latence au 90e centile.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
p99Latency

string (Duration format)

Uniquement en sortie. Latence au 99e centile.

Durée en secondes avec neuf chiffres au maximum après la virgule et se terminant par "s". Exemple : "3.5s"
callCount

integer

Uniquement en sortie. Nombre de fois où la ressource a été appelée.

LatencyReport.CallbackLatency

Métriques de latence pour un seul rappel.

Représentation JSON 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Champs
stage

string

Uniquement en sortie. Étape du rappel.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Uniquement en sortie. Métriques de latence pour le rappel.

LatencyReport.GuardrailLatency

Métriques de latence pour un seul garde-fou.

Représentation JSON 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Champs
guardrail

string

Uniquement en sortie. Nom de la barrière de sécurité. Format : projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}.
guardrailDisplayName

string

Uniquement en sortie. Nom à afficher de la barrière de sécurité.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Uniquement en sortie. Métriques de latence pour le garde-fou.

LatencyReport.LlmCallLatency

Métriques de latence pour un seul appel LLM.

Représentation JSON 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Champs
model

string

Uniquement en sortie. Nom du modèle.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Uniquement en sortie. Métriques de latence pour l'appel LLM.

Méthodes

delete

 Supprime une exécution d'évaluation.

export

 Exporte les exécutions d'évaluation.

get

 Obtient les détails de l'exécution de l'évaluation spécifiée.

list

 Liste toutes les exécutions d'évaluation dans l'application donnée.