REST Resource: projects.locations.apps.evaluationRuns

Risorsa: EvaluationRun

Un'esecuzione di valutazione rappresenta tutti i risultati di valutazione di un'esecuzione di valutazione.

Rappresentazione JSON 
{
  "name": string,
  "displayName": string,
  "evaluationResults": [
    string
  ],
  "createTime": string,
  "initiatedBy": string,
  "appVersion": string,
  "appVersionDisplayName": string,
  "changelog": string,
  "changelogCreateTime": string,
  "evaluations": [
    string
  ],
  "evaluationDataset": string,
  "evaluationType": enum (EvaluationRun.EvaluationType),
  "state": enum (EvaluationRun.EvaluationRunState),
  "progress": {
    object (EvaluationRun.Progress)
  },
  "config": {
    object (EvaluationConfig)
  },
  "error": {
    object (Status)
  },
  "errorInfo": {
    object (EvaluationErrorInfo)
  },
  "evaluationRunSummaries": {
    string: {
      object (EvaluationRun.EvaluationRunSummary)
    },
    ...
  },
  "latencyReport": {
    object (LatencyReport)
  },
  "runCount": integer,
  "personaRunConfigs": [
    {
      object (PersonaRunConfig)
    }
  ],
  "optimizationConfig": {
    object (OptimizationConfig)
  },
  "scheduledEvaluationRun": string,
  "goldenRunMethod": enum (GoldenRunMethod),
  "operation": string
}
Campi
name

string

Identificatore. L'identificatore univoco dell'esecuzione della valutazione. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationRuns/{evaluationRun}
displayName

string

Facoltativo. Nome visualizzato definito dall'utente dell'esecuzione della valutazione. Valore predefinito: " run - ".
evaluationResults[]

string

Solo output. I risultati della valutazione che fanno parte di questa esecuzione. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}/results/{result}
createTime

string (Timestamp format)

Solo output. Timestamp di creazione dell'esecuzione della valutazione.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
initiatedBy

string

Solo output. L'utente che ha avviato l'esecuzione della valutazione.
appVersion

string

Solo output. La versione dell'app da valutare. Formato: projects/{project}/locations/{location}/apps/{app}/versions/{version}
appVersionDisplayName

string

Solo output. Il nome visualizzato del appVersion rispetto al quale è stata eseguita la valutazione.
changelog

string

Solo output. Il log delle modifiche della versione dell'app su cui è stata eseguita la valutazione. Questo campo viene compilato se l'utente esegue la valutazione sull'ultima versione/bozza.
changelogCreateTime

string (Timestamp format)

Solo output. L'ora di creazione del log delle modifiche della versione dell'app rispetto alla quale è stata eseguita la valutazione. Questo campo viene compilato se l'utente esegue la valutazione sull'ultima versione/bozza.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
evaluations[]

string

Solo output. Le valutazioni che fanno parte di questa esecuzione. L'elenco può contenere valutazioni di entrambi i tipi. Questo campo si esclude a vicenda con evaluationDataset. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
evaluationDataset

string

Solo output. Il set di dati di valutazione a cui è associata questa esecuzione. Questo campo si esclude a vicenda con evaluations. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
evaluationType

enum (EvaluationRun.EvaluationType)

Solo output. Il tipo di valutazioni in questa esecuzione.
state

enum (EvaluationRun.EvaluationRunState)

Solo output. Lo stato dell'esecuzione della valutazione.
progress

object (EvaluationRun.Progress)

Solo output. L'avanzamento dell'esecuzione della valutazione.
config

object (EvaluationConfig)

Solo output. La configurazione utilizzata nell'esecuzione.
error
(deprecated)

object (Status)

Solo output. Deprecato: utilizza errorInfo. Errori rilevati durante l'esecuzione.
errorInfo

object (EvaluationErrorInfo)

Solo output. Informazioni sugli errori per l'esecuzione della valutazione.
evaluationRunSummaries

map (key: string, value: object (EvaluationRun.EvaluationRunSummary))

Solo output. Mappa del nome della valutazione a EvaluationRunSummary.

Un oggetto contenente un elenco di coppie "key": value. Esempio: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
latencyReport

object (LatencyReport)

Solo output. Report sulla latenza per l'esecuzione della valutazione.
runCount

integer

Solo output. Il numero di volte in cui sono state eseguite le valutazioni all'interno dell'esecuzione.
personaRunConfigs[]

object (PersonaRunConfig)

Solo output. La configurazione da utilizzare per l'esecuzione per persona.
optimizationConfig

object (OptimizationConfig)

Facoltativo. Configurazione per l'esecuzione del passaggio di ottimizzazione dopo l'esecuzione della valutazione. Se non viene impostato, il passaggio di ottimizzazione non verrà eseguito.
scheduledEvaluationRun

string

Solo output. Il nome della risorsa di esecuzione della valutazione pianificata che ha creato questa esecuzione della valutazione. Questo campo viene impostato solo se l'esecuzione della valutazione è stata creata da un'esecuzione della valutazione pianificata. Formato: projects/{project}/locations/{location}/apps/{app}/scheduledEvaluationRuns/{scheduledEvaluationRun}
goldenRunMethod

enum (GoldenRunMethod)

Solo output. Il metodo utilizzato per eseguire la valutazione.
operation

string

Solo output. L'operazione che ha creato questa esecuzione della valutazione. Formato: projects/{project}/locations/{location}/operations/{operation}

EvaluationRun.EvaluationType

Il tipo di valutazioni in questa esecuzione. In futuro potrebbero essere aggiunti altri valori.

Enum
EVALUATION_TYPE_UNSPECIFIED Il tipo di valutazione non è specificato.
GOLDEN Valutazione di riferimento.
SCENARIO Valutazione dello scenario.
MIXED Indica che l'esecuzione include un mix di valutazioni dorate e di scenari.

EvaluationRun.EvaluationRunState

Lo stato dell'esecuzione della valutazione.

Enum
EVALUATION_RUN_STATE_UNSPECIFIED Lo stato dell'esecuzione della valutazione non è specificato.
QUEUED Indica che l'esecuzione della valutazione è in coda.
RUNNING L'esecuzione della valutazione è in corso.
COMPLETED L'esecuzione della valutazione è stata completata.
ERROR L'esecuzione della valutazione contiene un errore.
CANCELLED L'esecuzione della valutazione è stata annullata.

EvaluationRun.Progress

L'avanzamento dell'esecuzione della valutazione.

Rappresentazione JSON 
{
  "totalCount": integer,
  "failedCount": integer,
  "errorCount": integer,
  "completedCount": integer,
  "passedCount": integer,
  "cancelledCount": integer
}
Campi
totalCount

integer

Solo output. Numero totale di risultati della valutazione in questa esecuzione.
failedCount

integer

Solo output. Numero di risultati della valutazione completati con esito NON RIUSCITO. (EvaluationResult.execution_state è COMPLETED e EvaluationResult.evaluation_status è FAIL).
errorCount

integer

Solo output. Numero di risultati della valutazione la cui esecuzione non è riuscita. (EvaluationResult.execution_state è ERROR).
completedCount

integer

Solo output. Numero di risultati della valutazione completati correttamente. (EvaluationResult.execution_state è COMPLETED).
passedCount

integer

Solo output. Numero di risultati della valutazione completati con esito PASS. (EvaluationResult.execution_state è COMPLETED e EvaluationResult.evaluation_status è PASS).
cancelledCount

integer

Solo output. Numero di risultati della valutazione annullati. (EvaluationResult.execution_state is CANCELLED).

EvaluationRun.EvaluationRunSummary

Contiene il riepilogo dei conteggi dei risultati superati e non superati per una valutazione specifica in un'esecuzione della valutazione.

Rappresentazione JSON 
{
  "passedCount": integer,
  "failedCount": integer,
  "errorCount": integer
}
Campi
passedCount

integer

Solo output. Numero di risultati superati per la valutazione associata in questa esecuzione.
failedCount

integer

Solo output. Numero di risultati non riusciti per la valutazione associata in questa esecuzione.
errorCount

integer

Solo output. Numero di risultati di errore per la valutazione associata in questa esecuzione.

LatencyReport

Report sulla latenza per l'esecuzione della valutazione.

Rappresentazione JSON 
{
  "toolLatencies": [
    {
      object (LatencyReport.ToolLatency)
    }
  ],
  "callbackLatencies": [
    {
      object (LatencyReport.CallbackLatency)
    }
  ],
  "guardrailLatencies": [
    {
      object (LatencyReport.GuardrailLatency)
    }
  ],
  "llmCallLatencies": [
    {
      object (LatencyReport.LlmCallLatency)
    }
  ],
  "sessionCount": integer
}
Campi
toolLatencies[]

object (LatencyReport.ToolLatency)

Solo output. Elenco non ordinato. Metriche di latenza per ogni strumento.
callbackLatencies[]

object (LatencyReport.CallbackLatency)

Solo output. Elenco non ordinato. Metriche di latenza per ogni callback.
guardrailLatencies[]

object (LatencyReport.GuardrailLatency)

Solo output. Elenco non ordinato. Metriche di latenza per ogni guardrail.
llmCallLatencies[]

object (LatencyReport.LlmCallLatency)

Solo output. Elenco non ordinato. Metriche di latenza per ogni chiamata LLM.
sessionCount

integer

Solo output. Il numero totale di sessioni prese in considerazione nel report sulla latenza.

LatencyReport.ToolLatency

Metriche di latenza per un singolo strumento.

Rappresentazione JSON 
{
  "toolDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "tool": string,
  "toolsetTool": {
    object (ToolsetTool)
  }
  // End of mutually exclusive fields.
}
Campi
toolDisplayName

string

Solo output. Il nome visualizzato dello strumento.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Solo output. Le metriche di latenza per lo strumento.
L'identificatore dello strumento. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi:
tool

string

Solo output. Formato: projects/{project}/locations/{location}/apps/{app}/tools/{tool}.
toolsetTool

object (ToolsetTool)

Solo output. L'identificatore dello strumento del toolset.
Fine dei campi che si escludono a vicenda.

LatencyReport.LatencyMetrics

Metriche di latenza per un componente.

Rappresentazione JSON 
{
  "p50Latency": string,
  "p90Latency": string,
  "p99Latency": string,
  "callCount": integer
}
Campi
p50Latency

string (Duration format)

Solo output. Latenza del 50° percentile.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".
p90Latency

string (Duration format)

Solo output. Latenza 90° percentile.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".
p99Latency

string (Duration format)

Solo output. Latenza del 99° percentile.

Una durata in secondi con un massimo di nove cifre frazionarie, che termina con "s". Esempio: "3.5s".
callCount

integer

Solo output. Il numero di volte in cui è stata chiamata la risorsa.

LatencyReport.CallbackLatency

Metriche di latenza per un singolo callback.

Rappresentazione JSON 
{
  "stage": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Campi
stage

string

Solo output. La fase del callback.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Solo output. Le metriche di latenza per il callback.

LatencyReport.GuardrailLatency

Metriche di latenza per una singola barriera di protezione.

Rappresentazione JSON 
{
  "guardrail": string,
  "guardrailDisplayName": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Campi
guardrail

string

Solo output. Il nome della barriera protettiva. Formato: projects/{project}/locations/{location}/apps/{app}/guardrails/{guardrail}.
guardrailDisplayName

string

Solo output. Il nome visualizzato del guardrail.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Solo output. Le metriche di latenza per il controllo.

LatencyReport.LlmCallLatency

Metriche di latenza per una singola chiamata LLM.

Rappresentazione JSON 
{
  "model": string,
  "latencyMetrics": {
    object (LatencyReport.LatencyMetrics)
  }
}
Campi
model

string

Solo output. Il nome del modello.
latencyMetrics

object (LatencyReport.LatencyMetrics)

Solo output. Le metriche di latenza per la chiamata LLM.

Metodi

delete

 Elimina un'esecuzione della valutazione.

export

 Esporta le esecuzioni della valutazione.

get

 Recupera i dettagli dell'esecuzione della valutazione specificata.

list

 Elenca tutte le esecuzioni di valutazione nella determinata app.