- Risorsa: EvaluationResult
- Rappresentazione JSON
- EvaluationResult.GoldenResult
- EvaluationResult.GoldenResult.TurnReplayResult
- EvaluationResult.GoldenExpectationOutcome
- EvaluationResult.Outcome
- EvaluationResult.SemanticSimilarityResult
- EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
- EvaluationResult.HallucinationResult
- EvaluationResult.ToolCallLatency
- EvaluationResult.OverallToolInvocationResult
- EvaluationResult.SpanLatency
- EvaluationResult.SpanLatency.Type
- EvaluationResult.EvaluationExpectationResult
- EvaluationResult.ScenarioResult
- EvaluationResult.ScenarioExpectationOutcome
- EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
- EvaluationResult.ScenarioRubricOutcome
- EvaluationResult.TaskCompletionResult
- EvaluationResult.UserGoalSatisfactionResult
- EvaluationResult.ScenarioResult.MilestoneResult
- EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
- EvaluationResult.ExecutionState
- EvaluationResult.OutcomeMetadata
- Metodi
Risorsa: EvaluationResult
Un risultato di valutazione rappresenta l'output dell'esecuzione di una valutazione.
| Rappresentazione JSON |
|---|
{ "name": string, "displayName": string, "createTime": string, "evaluationStatus": enum ( |
| Campi | |
|---|---|
name |
Identificatore. L'identificatore univoco del risultato della valutazione. Formato: |
displayName |
Obbligatorio. Nome visualizzato del risultato della valutazione. Univoco all'interno di una valutazione. Per impostazione predefinita, ha il seguente formato: " |
createTime |
Solo output. Timestamp di creazione del risultato della valutazione. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
evaluationStatus |
Solo output. Il risultato della valutazione. Compilato solo se executionState è COMPLETE. |
evaluationRun |
Solo output. L'esecuzione della valutazione che ha prodotto questo risultato. Formato: |
persona |
Solo output. La persona utilizzata per generare la conversazione per il risultato della valutazione. |
errorInfo |
Solo output. Informazioni sull'errore per il risultato della valutazione. |
error |
Solo output. Ritirato: utilizza invece |
initiatedBy |
Solo output. L'utente che ha avviato l'esecuzione della valutazione che ha generato questo risultato. |
appVersion |
Solo output. La versione dell'app utilizzata per generare la conversazione che ha portato a questo risultato. Formato: |
appVersionDisplayName |
Solo output. Il nome visualizzato di |
changelog |
Solo output. Il log delle modifiche della versione dell'app su cui è stata eseguita la valutazione. Questo campo viene compilato se l'utente esegue la valutazione sulla versione più recente/bozza. |
changelogCreateTime |
Solo output. L'ora di creazione del log delle modifiche della versione dell'app su cui è stata eseguita la valutazione. Questo campo viene compilato se l'utente esegue la valutazione sulla versione più recente/bozza. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
executionState |
Solo output. Lo stato dell'esecuzione del risultato della valutazione. |
evaluationMetricsThresholds |
Solo output. Le soglie di valutazione per il risultato. |
config |
Solo output. La configurazione utilizzata nell'esecuzione della valutazione che ha generato questo risultato. |
goldenRunMethod |
Solo output. Il metodo utilizzato per eseguire la valutazione golden. |
rootSpan |
Solo output. Lo span radice dell'esecuzione della valutazione, che include informazioni su ogni passaggio della valutazione. |
outcomeMetadata |
Solo output. I metadati dei risultati della valutazione. Compilato solo se executionState è COMPLETE. |
| Il risultato della valutazione. Compilato solo quando execution_state è COMPLETED. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi: | |
goldenResult |
Solo output. Il risultato di una valutazione golden. |
scenarioResult |
Solo output. Il risultato della valutazione di uno scenario. |
| Fine dei campi che si escludono a vicenda. | |
EvaluationResult.GoldenResult
Il risultato di una valutazione golden.
| Rappresentazione JSON |
|---|
{ "turnReplayResults": [ { object ( |
| Campi | |
|---|---|
turnReplayResults[] |
Solo output. Il risultato dell'esecuzione di ogni turno della conversazione golden. |
evaluationExpectationResults[] |
Solo output. I risultati delle aspettative di valutazione. |
EvaluationResult.GoldenResult.TurnReplayResult
Il risultato dell'esecuzione di un singolo turno della conversazione golden.
| Rappresentazione JSON |
|---|
{ "conversation": string, "expectationOutcome": [ { object ( |
| Campi | |
|---|---|
conversation |
Solo output. La conversazione generata per questo turno. |
expectationOutcome[] |
Solo output. Il risultato di ogni aspettativa. |
hallucinationResult |
Solo output. Il risultato del controllo delle allucinazioni. |
toolInvocationScore |
Solo output. Deprecato. Utilizza invece OverallToolInvocationResult. |
turnLatency |
Solo output. Durata della svolta. Una durata in secondi con un massimo di nove cifre frazionarie, che termina con " |
toolCallLatencies[] |
Solo output. La latenza di ogni chiamata allo strumento nel turno. |
semanticSimilarityResult |
Solo output. Il risultato del controllo della somiglianza semantica. |
overallToolInvocationResult |
Solo output. Il risultato del controllo complessivo della chiamata dello strumento. |
errorInfo |
Solo output. Informazioni sull'errore che si è verificato durante questo turno. |
spanLatencies[] |
Solo output. La latenza degli intervalli nel turno. |
toolOrderedInvocationScore |
Solo output. Il punteggio complessivo della chiamata ordinata dello strumento per questo turno. Indica la percentuale complessiva di strumenti del turno previsto che sono stati effettivamente richiamati nell'ordine previsto. |
EvaluationResult.GoldenExpectationOutcome
Specifica l'aspettativa e il risultato di questa aspettativa.
| Rappresentazione JSON |
|---|
{ "expectation": { object ( |
| Campi | |
|---|---|
expectation |
Solo output. L'aspettativa che è stata valutata. |
outcome |
Solo output. Il risultato dell'aspettativa. |
semanticSimilarityResult |
Solo output. Il risultato del controllo della somiglianza semantica. |
toolInvocationResult |
Solo output. Il risultato del controllo della chiamata dello strumento. |
| Il risultato dell'aspettativa. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi: | |
observedToolCall |
Solo output. Il risultato dell'aspettativa della chiamata allo strumento. |
observedToolResponse |
Solo output. Il risultato dell'aspettativa della risposta dello strumento. |
observedAgentResponse |
Solo output. Il risultato dell'aspettativa di risposta dell'agente. |
observedAgentTransfer |
Solo output. Il risultato dell'aspettativa di trasferimento dell'agente. |
observedPayload |
Solo output. Un payload personalizzato osservato. Non sono previste aspettative per i payload personalizzati. Questo valore viene utilizzato solo per il calcolo delle metriche. L'esito è sempre SKIPPED. |
| Fine dei campi che si escludono a vicenda. | |
EvaluationResult.Outcome
Il risultato della valutazione o dell'aspettativa.
| Enum | |
|---|---|
OUTCOME_UNSPECIFIED |
Il risultato della valutazione non è specificato. |
PASS |
Valutazione/aspettativa superata. Nel caso di una valutazione, ciò significa che tutte le aspettative sono state soddisfatte. |
FAIL |
Valutazione/aspettativa non riuscita. Nel caso di una valutazione, ciò significa che almeno un'aspettativa non è stata soddisfatta. |
SKIPPED |
La valutazione/aspettativa è stata saltata. |
EvaluationResult.SemanticSimilarityResult
Il risultato del controllo della somiglianza semantica.
| Rappresentazione JSON |
|---|
{
"label": string,
"explanation": string,
"outcome": enum ( |
| Campi | |
|---|---|
label |
Solo output. L'etichetta associata a ogni punteggio. Punteggio 4: completamente coerente Punteggio 3: per lo più coerente Punteggio 2: parzialmente coerente (omissioni minori) Punteggio 1: ampiamente incoerente (omissioni maggiori) Punteggio 0: completamente incoerente/contraddittorio |
explanation |
Solo output. La spiegazione del punteggio di somiglianza semantica. |
outcome |
Solo output. Il risultato del controllo della somiglianza semantica. Questo viene determinato confrontando il punteggio con semanticSimilaritySuccessThreshold. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL. |
score |
Solo output. Il punteggio di somiglianza semantica. Può essere 0, 1, 2, 3 o 4. |
EvaluationResult.GoldenExpectationOutcome.ToolInvocationResult
Il risultato del controllo della chiamata dello strumento.
| Rappresentazione JSON |
|---|
{
"outcome": enum ( |
| Campi | |
|---|---|
outcome |
Solo output. Il risultato del controllo della chiamata dello strumento. Questo viene determinato confrontando il valore parameterCorrectnessScore con la soglia. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL. |
explanation |
Solo output. Una spiegazione in formato libero del risultato della chiamata dello strumento. |
parameterCorrectnessScore |
Solo output. Il punteggio di correttezza dei parametri di chiamata dello strumento. Indica la percentuale di parametri della chiamata allo strumento prevista che erano presenti anche nella chiamata allo strumento effettiva. |
EvaluationResult.HallucinationResult
Il risultato del controllo delle allucinazioni per un singolo turno.
| Rappresentazione JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Campi | |
|---|---|
label |
Solo output. L'etichetta associata a ogni punteggio. Punteggio 1: giustificato Punteggio 0: non giustificato Punteggio -1: nessuna affermazione da valutare |
explanation |
Solo output. La spiegazione del punteggio di allucinazione. |
score |
Solo output. Il punteggio di allucinazione. Può essere -1, 0, 1. |
EvaluationResult.ToolCallLatency
La latenza dell'esecuzione di una chiamata allo strumento.
| Rappresentazione JSON |
|---|
{ "tool": string, "displayName": string, "startTime": string, "endTime": string, "executionLatency": string } |
| Campi | |
|---|---|
tool |
Solo output. Il nome dello strumento eseguito. Formato: |
displayName |
Solo output. Il nome visualizzato dello strumento. |
startTime |
Solo output. L'ora di inizio dell'esecuzione della chiamata allo strumento. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
endTime |
Solo output. L'ora di fine dell'esecuzione della chiamata allo strumento. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
executionLatency |
Solo output. La latenza dell'esecuzione della chiamata allo strumento. Una durata in secondi con un massimo di nove cifre frazionarie, che termina con " |
EvaluationResult.OverallToolInvocationResult
Il risultato del controllo complessivo della chiamata dello strumento.
| Rappresentazione JSON |
|---|
{
"outcome": enum ( |
| Campi | |
|---|---|
outcome |
Solo output. Il risultato del controllo della chiamata dello strumento. Questo viene determinato confrontando toolInvocationScore con overallToolInvocationCorrectnessThreshold. Se il punteggio è uguale o superiore alla soglia, il risultato sarà PASS. In caso contrario, il risultato sarà FAIL. |
toolInvocationScore |
Il punteggio complessivo della chiamata dello strumento per questo turno. Indica la percentuale complessiva di strumenti del turno previsto che sono stati effettivamente richiamati. |
EvaluationResult.SpanLatency
La latenza di un'esecuzione di un intervallo.
| Rappresentazione JSON |
|---|
{ "type": enum ( |
| Campi | |
|---|---|
type |
Solo output. Il tipo di intervallo. |
displayName |
Solo output. Il nome visualizzato dello span. Applicabile agli intervalli di strumenti e guardrail. |
startTime |
Solo output. L'ora di inizio dello span. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
endTime |
Solo output. L'ora di fine dell'intervallo. Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: |
executionLatency |
Solo output. La latenza dello span. Una durata in secondi con un massimo di nove cifre frazionarie, che termina con " |
| L'identificatore dell'elemento specifico in base al tipo. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi: | |
resource |
Solo output. Il nome della risorsa degli span di guardrail o strumenti. |
toolset |
Solo output. L'identificatore dello strumento del set di strumenti. |
model |
Solo output. Il nome dello span LLM. |
callback |
Solo output. Il nome dell'intervallo di callback dell'utente. |
| Fine dei campi che si escludono a vicenda. | |
EvaluationResult.SpanLatency.Type
Il tipo di intervallo. In futuro potrebbero essere aggiunti altri valori.
| Enum | |
|---|---|
TYPE_UNSPECIFIED |
Valore predefinito. Questo valore non viene utilizzato. |
TOOL |
Intervallo di chiamata allo strumento. |
USER_CALLBACK |
Intervallo di callback dell'utente. |
GUARDRAIL |
Intervallo di protezione. |
LLM |
Intervallo LLM. |
EvaluationResult.EvaluationExpectationResult
Il risultato di una singola aspettativa di valutazione.
| Rappresentazione JSON |
|---|
{
"evaluationExpectation": string,
"prompt": string,
"outcome": enum ( |
| Campi | |
|---|---|
evaluationExpectation |
Solo output. L'aspettativa di valutazione. Formato: |
prompt |
Solo output. Il prompt utilizzato per la valutazione. |
outcome |
Solo output. Il risultato dell'aspettativa di valutazione. |
explanation |
Solo output. La spiegazione del risultato. |
EvaluationResult.ScenarioResult
Il risultato della valutazione di uno scenario.
| Rappresentazione JSON |
|---|
{ "conversation": string, "task": string, "userFacts": [ { object ( |
| Campi | |
|---|---|
conversation |
Solo output. La conversazione generata nello scenario. |
task |
Solo output. L'attività utilizzata durante l'esecuzione dello scenario per questo risultato. |
userFacts[] |
Solo output. I dati dell'utente utilizzati dallo scenario per questo risultato. |
expectationOutcomes[] |
Solo output. Il risultato di ogni aspettativa. |
rubricOutcomes[] |
Solo output. Il risultato della griglia. |
hallucinationResult[] |
Solo output. Il risultato del controllo delle allucinazioni. Verrà visualizzato un risultato di allucinazione per ogni turno della conversazione. |
taskCompletionResult |
Solo output. Il risultato del controllo di completamento dell'attività. |
toolCallLatencies[] |
Solo output. La latenza di ogni esecuzione di chiamata allo strumento nella conversazione. |
userGoalSatisfactionResult |
Solo output. Il risultato del controllo della soddisfazione degli obiettivi dell'utente. |
spanLatencies[] |
Solo output. La latenza degli intervalli nella conversazione. |
evaluationExpectationResults[] |
Solo output. I risultati delle aspettative di valutazione. |
milestoneResults[] |
Solo output. I risultati di ogni milestone nello scenario. |
allExpectationsSatisfied |
Solo output. Indica se tutte le aspettative sono state soddisfatte per questo turno. |
taskCompleted |
Solo output. Se l'attività è stata completata per questo turno. Si tratta di una combinazione di tutte le aspettative soddisfatte, nessuna allucinazione e soddisfazione degli obiettivi dell'utente. |
EvaluationResult.ScenarioExpectationOutcome
Il risultato di un'aspettativa dello scenario.
| Rappresentazione JSON |
|---|
{ "expectation": { object ( |
| Campi | |
|---|---|
expectation |
Solo output. L'aspettativa che è stata valutata. |
outcome |
Solo output. Il risultato di ScenarioExpectation. |
| Il risultato dell'aspettativa. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi: | |
observedToolCall |
Solo output. La chiamata allo strumento osservata. |
observedAgentResponse |
Solo output. La risposta dell'agente osservata. |
| Fine dei campi che si escludono a vicenda. | |
EvaluationResult.ScenarioExpectationOutcome.ObservedToolCall
La chiamata allo strumento e la risposta osservate.
| Rappresentazione JSON |
|---|
{ "toolCall": { object ( |
| Campi | |
|---|---|
toolCall |
Solo output. La chiamata allo strumento osservata. |
toolResponse |
Solo output. La risposta dello strumento osservata. |
EvaluationResult.ScenarioRubricOutcome
Il risultato della valutazione rispetto alla griglia.
| Rappresentazione JSON |
|---|
{ "rubric": string, "scoreExplanation": string, "score": number } |
| Campi | |
|---|---|
rubric |
Solo output. La griglia utilizzata per valutare la conversazione. |
scoreExplanation |
Solo output. La risposta del valutatore alla griglia. |
score |
Solo output. Il punteggio della conversazione rispetto alla griglia. |
EvaluationResult.TaskCompletionResult
Il risultato del controllo del completamento dell'attività per la conversazione.
| Rappresentazione JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Campi | |
|---|---|
label |
Solo output. L'etichetta associata a ogni punteggio. Punteggio 1: attività completata Punteggio 0: attività non completata Punteggio -1: obiettivo dell'utente non definito |
explanation |
Solo output. La spiegazione del punteggio di completamento dell'attività. |
score |
Solo output. Il punteggio di completamento dell'attività. Può essere -1, 0, 1 |
EvaluationResult.UserGoalSatisfactionResult
Il risultato di un controllo della soddisfazione degli obiettivi dell'utente per una conversazione.
| Rappresentazione JSON |
|---|
{ "label": string, "explanation": string, "score": integer } |
| Campi | |
|---|---|
label |
Solo output. L'etichetta associata a ogni punteggio. Punteggio 2: passaggio di consegne fluido Punteggio 1: attività dell'utente soddisfatta Punteggio 0: attività dell'utente non soddisfatta Punteggio -1: attività dell'utente non specificata |
explanation |
Solo output. La spiegazione del punteggio di soddisfazione dell'utente per l'attività. |
score |
Solo output. Il punteggio di soddisfazione dell'utente per l'attività. Può essere -1, 0, 1, 2. |
EvaluationResult.ScenarioResult.MilestoneResult
Rappresenta il risultato dell'esecuzione di un'attività cardine.
| Rappresentazione JSON |
|---|
{ "milestone": { object ( |
| Campi | |
|---|---|
milestone |
Solo output. Il traguardo monitorato. |
status |
Solo output. Lo stato attuale del traguardo. |
justification |
Solo output. La motivazione dello stato attuale. |
EvaluationResult.ScenarioResult.MilestoneResult.MilestoneStatus
Lo stato della tappa.
| Enum | |
|---|---|
MILESTONE_STATUS_UNSPECIFIED |
Stato non specificato. |
NOT_STARTED |
La milestone non è ancora iniziata. |
IN_PROGRESS |
La milestone è attualmente in corso. |
COMPLETED |
La milestone è stata completata correttamente. |
EvaluationResult.ExecutionState
Lo stato dell'esecuzione del risultato della valutazione.
| Enum | |
|---|---|
EXECUTION_STATE_UNSPECIFIED |
Lo stato di esecuzione del risultato della valutazione non è specificato. |
QUEUED |
L'esecuzione del risultato della valutazione è in coda. |
RUNNING |
L'esecuzione del risultato della valutazione è in corso. |
COMPLETED |
L'esecuzione del risultato della valutazione è stata completata. |
ERROR |
Esecuzione del risultato della valutazione non riuscita a causa di un errore interno. |
CANCELLED |
L'esecuzione del risultato della valutazione è stata annullata. |
EvaluationResult.OutcomeMetadata
Metadati sull'esito della valutazione.
| Enum | |
|---|---|
OUTCOME_METADATA_UNSPECIFIED |
Metadati dei risultati non specificati. |
GRACEFUL_HANDOFF |
La valutazione ha portato a un passaggio fluido a un rappresentante umano. |
Metodi |
|
|---|---|
|
Elimina un risultato della valutazione. |
|
Esporta i risultati delle valutazioni. |
|
Recupera i dettagli del risultato della valutazione specificato. |
|
Elenca tutti i risultati di una determinata valutazione. |
|
Esegue le metriche su un risultato della valutazione esistente. |