REST Resource: projects.locations.apps.evaluations

Risorsa: Evaluation

Una valutazione rappresenta tutte le informazioni necessarie per simulare e valutare un agente.

Rappresentazione JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "tags": [
    string
  ],
  "evaluationDatasets": [
    string
  ],
  "createTime": string,
  "createdBy": string,
  "updateTime": string,
  "lastUpdatedBy": string,
  "evaluationRuns": [
    string
  ],
  "etag": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  },
  "lastCompletedResult": {
    object (EvaluationResult)
  },
  "invalid": boolean,
  "lastTenResults": [
    {
      object (EvaluationResult)
    }
  ],
  "evaluationMetricsThresholdOverride": {
    object (EvaluationMetricsThresholds)
  },
  "evaluationMetricsConfigOverride": {
    object (EvaluationMetricsConfig)
  },

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "golden": {
    object (Evaluation.Golden)
  },
  "scenario": {
    object (Evaluation.Scenario)
  }
  // End of mutually exclusive fields.
}
Campi
name

string

Identificatore. L'identificatore univoco di questa valutazione. Formato: projects/{project}/locations/{location}/apps/{app}/evaluations/{evaluation}
displayName

string

Obbligatorio. Nome visualizzato definito dall'utente della valutazione. Unico all'interno di un'app.
description

string

Facoltativo. Descrizione definita dall'utente della valutazione.
tags[]

string

Facoltativo. Tag definiti dall'utente per classificare la valutazione.
evaluationDatasets[]

string

Solo output. Elenco dei set di dati di valutazione a cui appartiene la valutazione. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
createTime

string (Timestamp format)

Solo output. Timestamp di creazione della valutazione.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
createdBy

string

Solo output. L'utente che ha creato la valutazione.
updateTime

string (Timestamp format)

Solo output. Timestamp dell'ultimo aggiornamento della valutazione.

Utilizza RFC 3339, in cui l'output generato è sempre con normalizzazione Z e utilizza 0, 3, 6 o 9 cifre frazionarie. Sono accettati anche offset diversi da "Z". Esempi: "2014-10-02T15:01:23Z", "2014-10-02T15:01:23.045123456Z" o "2014-10-02T15:01:23+05:30".
lastUpdatedBy

string

Solo output. L'utente che ha aggiornato per ultimo la valutazione.
evaluationRuns[]

string

Solo output. Le EvaluationRuns a cui è associata questa valutazione.
etag

string

Solo output. Etag utilizzato per garantire che l'oggetto non sia stato modificato durante un'operazione di lettura, modifica e scrittura. Se l'etag è vuoto, l'aggiornamento sovrascriverà eventuali modifiche simultanee.
aggregatedMetrics

object (AggregatedMetrics)

Solo output. Le metriche aggregate per questa valutazione in tutte le esecuzioni.
lastCompletedResult

object (EvaluationResult)

Solo output. L'ultimo risultato della valutazione.
invalid

boolean

Solo output. Indica se la valutazione non è valida. Ciò può accadere se una valutazione fa riferimento a uno strumento, un insieme di strumenti o un agente che è stato eliminato.
lastTenResults[]

object (EvaluationResult)

Solo output. Gli ultimi 10 risultati di valutazione per questa valutazione. Questo campo viene compilato solo se include_last_ten_results è impostato su true in ListEvaluationsRequest o GetEvaluationRequest.
evaluationMetricsThresholdOverride

object (EvaluationMetricsThresholds)

Facoltativo. Esegue l'override delle soglie delle metriche per questa valutazione specifica.
evaluationMetricsConfigOverride

object (EvaluationMetricsConfig)

Facoltativo. Esegue l'override della configurazione delle metriche per questa valutazione specifica.
Gli input per la valutazione Di seguito è riportato un elenco di campi reciprocamente esclusivi. In una risposta verrà impostato al massimo uno dei campi:
golden

object (Evaluation.Golden)

Facoltativo. I passaggi d'oro da valutare.
scenario

object (Evaluation.Scenario)

Facoltativo. La configurazione di uno scenario.
Fine dei campi che si escludono a vicenda.

Evaluation.Golden

I passaggi necessari per riprodurre una conversazione di riferimento.

Rappresentazione JSON 
{
  "turns": [
    {
      object (Evaluation.GoldenTurn)
    }
  ],
  "evaluationExpectations": [
    string
  ]
}
Campi
turns[]

object (Evaluation.GoldenTurn)

Obbligatorio. Le svolte d'oro necessarie per riprodurre una conversazione d'oro. Il numero massimo di turni consentiti è 100.
evaluationExpectations[]

string

Facoltativo. Le aspettative di valutazione rispetto alle quali valutare la conversazione riprodotta. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}

Evaluation.GoldenTurn

Un turno di riferimento definisce un singolo turno in una conversazione di riferimento.

Rappresentazione JSON 
{
  "steps": [
    {
      object (Evaluation.Step)
    }
  ],
  "rootSpan": {
    object (Span)
  },
  "turnLevelMetricsThresholdsOverride": {
    object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)
  },
  "hallucinationMetricBehaviorOverride": enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)
}
Campi
steps[]

object (Evaluation.Step)

Obbligatorio. I passaggi necessari per riprodurre una conversazione di riferimento.
rootSpan

object (Span)

Facoltativo. Lo span radice della svolta d'oro per l'elaborazione e la manutenzione delle informazioni audio. L'URI dell'audio deve contenere l'audio salvato con una frequenza di campionamento di 16 kHz.
turnLevelMetricsThresholdsOverride

object (EvaluationMetricsThresholds.GoldenEvaluationMetricsThresholds.TurnLevelMetricsThresholds)

Facoltativo. Override per le soglie delle metriche a livello di turno.
hallucinationMetricBehaviorOverride

enum (EvaluationMetricsThresholds.HallucinationMetricBehavior)

Facoltativo. Override per il comportamento della metrica di allucinazione a livello di turno.

Evaluation.Step

Un passaggio definisce una singola azione da eseguire durante la valutazione.

Rappresentazione JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "userInput": {
    object (SessionInput)
  },
  "agentTransfer": {
    object (AgentTransfer)
  },
  "expectation": {
    object (Evaluation.GoldenExpectation)
  }
  // End of mutually exclusive fields.
}
Campi
Il passaggio da eseguire. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi:
userInput

object (SessionInput)

Facoltativo. Input utente per la conversazione.
agentTransfer

object (AgentTransfer)

Facoltativo. Trasferire la conversazione a un altro agente.
expectation

object (Evaluation.GoldenExpectation)

Facoltativo. Esegue un'aspettativa nel turno corrente.
Fine dei campi che si escludono a vicenda.

SessionInput

Input per la sessione.

Rappresentazione JSON 
{
  "willContinue": boolean,

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "text": string,
  "dtmf": string,
  "audio": string,
  "toolResponses": {
    object (ToolResponses)
  },
  "image": {
    object (Image)
  },
  "blob": {
    object (Blob)
  },
  "variables": {
    object
  },
  "event": {
    object (Event)
  }
  // End of mutually exclusive fields.
}
Campi
willContinue

boolean

Facoltativo. Un flag che indica se il messaggio corrente è un frammento di un input più grande nella sessione di streaming bidirezionale.

Se impostato su true, l'agente posticipa l'elaborazione fino a quando non riceve un messaggio successivo in cui willContinue è false o fino a quando il sistema non rileva un endpoint nell'input audio.

NOTA: questo campo non si applica agli input audio e DTMF, in quanto vengono sempre elaborati automaticamente in base al segnale di fine.
Il tipo di input. Di seguito è riportato un elenco di campi che si escludono a vicenda. In una risposta verrà impostato al massimo uno dei campi:
text

string

Facoltativo. Dati di testo dell'utente finale.
dtmf

string

Facoltativo. Cifre DTMF dell'utente finale.
audio

string (bytes format)

Facoltativo. Dati audio dell'utente finale.

Una stringa con codifica in base64.
toolResponses

object (ToolResponses)

Facoltativo. Risultati dell'esecuzione per le chiamate di strumenti dal client.
image

object (Image)

Facoltativo. Dati delle immagini dell'utente finale.
blob

object (Blob)

Facoltativo. Dati blob dell'utente finale.
variables

object (Struct format)

Facoltativo. Variabili contestuali per la sessione, identificate per nome. L'agente CES utilizzerà solo le variabili dichiarate nell'app.

Le variabili non riconosciute verranno comunque inviate all'[agente Dialogflow][Agent.RemoteDialogflowAgent] come parametri di sessione aggiuntivi.
event

object (Event)

Facoltativo. Input dell'evento.
Fine dei campi che si escludono a vicenda.

ToolResponses

Risultati dell'esecuzione per le chiamate agli strumenti richieste dal client.

Rappresentazione JSON 
{
  "toolResponses": [
    {
      object (ToolResponse)
    }
  ]
}
Campi
toolResponses[]

object (ToolResponse)

Facoltativo. L'elenco dei risultati dell'esecuzione dello strumento.

Evento

Input dell'evento.

Rappresentazione JSON 
{
  "event": string,
  "variables": {
    object
  }
}
Campi
event

string

Obbligatorio. Il nome dell'evento.
variables

object (Struct format)

Facoltativo. Variabili aggiuntive associate all'evento.

Evaluation.Scenario

La configurazione di uno scenario

Rappresentazione JSON 
{
  "task": string,
  "userFacts": [
    {
      object (Evaluation.Scenario.UserFact)
    }
  ],
  "maxTurns": integer,
  "rubrics": [
    string
  ],
  "scenarioExpectations": [
    {
      object (Evaluation.ScenarioExpectation)
    }
  ],
  "variableOverrides": {
    object
  },
  "taskCompletionBehavior": enum (Evaluation.Scenario.TaskCompletionBehavior),
  "userGoalBehavior": enum (Evaluation.Scenario.UserGoalBehavior),
  "evaluationExpectations": [
    string
  ],
  "scenarioExecutionMode": enum (EvaluationSettings.ScenarioExecutionMode)
}
Campi
task

string

Obbligatorio. L'attività da prendere di mira nello scenario.
userFacts[]

object (Evaluation.Scenario.UserFact)

Facoltativo. I dati dell'utente da utilizzare nello scenario.
maxTurns

integer

Facoltativo. Il numero massimo di turni da simulare. Il valore massimo consentito è 100. Il valore predefinito è 100.
rubrics[]

string

Obbligatorio. I criteri di valutazione in base ai quali valutare lo scenario.
scenarioExpectations[]

object (Evaluation.ScenarioExpectation)

Obbligatorio. ScenarioExpectations per valutare la conversazione prodotta dalla simulazione dell'utente.
variableOverrides

object (Struct format)

Facoltativo. Variabili / parametri sessione come contesto per la sessione, identificati dai nomi delle variabili. I membri di questa struttura sostituiranno eventuali valori predefiniti impostati dal sistema.

Tieni presente che questi sono diversi dai fatti dell'utente, ovvero i fatti noti all'utente. Le variabili sono parametri noti all'agente, ad esempio MDN (numero di telefono) trasmesso dal sistema di telefonia.
taskCompletionBehavior
(deprecated)

enum (Evaluation.Scenario.TaskCompletionBehavior)

Facoltativo. Deprecato. Utilizza invece userGoalBehavior.
userGoalBehavior

enum (Evaluation.Scenario.UserGoalBehavior)

Facoltativo. Il comportamento previsto dell'obiettivo utente.
evaluationExpectations[]

string

Facoltativo. Le aspettative di valutazione per valutare la conversazione prodotta dalla simulazione. Formato: projects/{project}/locations/{location}/apps/{app}/evaluationExpectations/{evaluationExpectation}
scenarioExecutionMode

enum (EvaluationSettings.ScenarioExecutionMode)

Facoltativo. La modalità di esecuzione per le valutazioni degli scenari.

Evaluation.Scenario.TaskCompletionBehavior

Il comportamento previsto dell'attività dell'utente. Viene utilizzato per determinare se lo scenario è riuscito.

Enum
TASK_COMPLETION_BEHAVIOR_UNSPECIFIED Comportamento non specificato. Il valore predefinito è TASK_SATISFIED.
TASK_SATISFIED L'attività dell'utente deve essere completata correttamente.
TASK_REJECTED L'attività utente deve essere rifiutata.

Evaluation.Scenario.UserGoalBehavior

Il comportamento previsto dell'obiettivo utente. Viene utilizzato per determinare se lo scenario è riuscito.

Enum
USER_GOAL_BEHAVIOR_UNSPECIFIED Comportamento non specificato. Il valore predefinito è USER_GOAL_SATISFIED.
USER_GOAL_SATISFIED L'obiettivo dell'utente deve essere completato correttamente.
USER_GOAL_REJECTED L'obiettivo utente deve essere rifiutato.
USER_GOAL_IGNORED Ignora lo stato dell'obiettivo utente.

Metodi

create

 Crea una valutazione.

delete

 Elimina una valutazione.

export

 Esporta le valutazioni.

get

 Recupera i dettagli della valutazione specificata.

list

 Elenca tutte le valutazioni nella determinata app.

patch

 Aggiorna una valutazione.

uploadEvaluationAudio

 Carica l'audio da utilizzare nelle valutazioni di riferimento.