Alcuni prodotti e funzionalità sono in fase di ridenominazione. Anche le funzionalità di playbook generativo e flusso vengono migrate in un'unica console consolidata.

Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Valutazioni dei playbook

Questa guida spiega come utilizzare la funzionalità di valutazione integrata nella console Dialogflow CX per verificare la funzionalità dell'agente e prevenire eventuali regressioni dopo gli aggiornamenti. Dialogflow CX fornisce metriche pronte all'uso per aiutarti a valutare le prestazioni dell'agente.

Tutte le metriche, ad eccezione della latenza, richiedono almeno uno scenario di test, una "risposta d'oro" con cui Dialogflow CX confronta le prestazioni dell'agente per calcolarne le prestazioni. Ogni scenario di test può essere misurato nel contesto di un ambiente, che ti consente di specificare diverse versioni di playbook, flussi e strumenti da utilizzare nella valutazione delle prestazioni dell'agente.

(Facoltativo) Crea un ambiente

La creazione di un ambiente è facoltativa. Se non ne crei una, il valore predefinito è Bozza.

Per creare un ambiente, fai clic su Ambienti nel menu a sinistra e seleziona + Crea.
Scegli le versioni dei playbook, dei flussi e degli strumenti che vuoi utilizzare per misurare le prestazioni dell'agente.
Fai clic su Salva per salvare l'ambiente.

Crea uno scenario di test

Puoi creare uno scenario di test da una conversazione esistente nella cronologia delle conversazioni, creare una nuova conversazione da salvare come scenario di test o importare scenari di test in Dialogflow CX.

Crea uno scenario di test nella console

Vai a Cronologia delle conversazioni nel menu a sinistra.
Per creare una nuova conversazione, attiva l'agente (ad esempio chiamando il suo numero di telefono) per creare una conversazione nella cronologia delle conversazioni. Seleziona la conversazione che vuoi utilizzare come scenario di test.
Visualizza la conversazione e verifica le risposte dell'agente, gli strumenti richiamati e il tono di ogni risposta. Quando sei soddisfatto, fai clic su Crea scenario di test nell'angolo in alto a destra della finestra.
Fornisci un nome visualizzato per lo scenario di test e specifica le tue aspettative sugli eventi che dovrebbero verificarsi a livello di conversazione. Possono includere strumenti, playbook e flussi che prevedi vengano chiamati all'interno della conversazione. Fai clic su + Aggiungi aspettativa per aggiungere altre aspettative. Per fare in modo che le aspettative vengano valutate nell'ordine sequenziale elencato (dall'alto verso il basso), attiva Convalida sequenziale.
Fai clic su Salva per salvare lo scenario di test.

Carica scenari di test

Gli scenari di test devono essere nel seguente formato CSV.
Per caricare gli scenari di test nel sistema, fai clic su Importa nella parte superiore del menu degli scenari di test.
Nel menu a comparsa, seleziona il file archiviato localmente o inserisci il percorso del bucket Cloud Storage.
Ora gli scenari di test dovrebbero essere visualizzati nel menu degli scenari di test.

Esegui uno scenario di test

Fai clic su Scenari di test nel menu a sinistra e seleziona gli scenari di test con cui vuoi confrontare l'agente. Può trattarsi di uno o più scenari di test.
Fai clic su Esegui gli scenari di test selezionati.

Risultati del test

Accedi ai risultati: i risultati dell'esecuzione dell'ultima esecuzione del test vengono visualizzati per ogni scenario di test nella visualizzazione Scenario di test dopo il completamento:
1. Somiglianza semantica: misura la somiglianza delle conversazioni dell'agente con la "risposta ottimale" (risposte nello scenario di test). Per ricevere questa metrica, sono necessarie risposte golden. I valori possono essere 0 (incoerente), 0,5 (abbastanza coerente) o 1 (molto coerente).
2. Accuratezza delle chiamate agli strumenti: un valore che riflette la fedeltà con cui la conversazione include gli strumenti che dovrebbero essere richiamati durante la conversazione. I valori sono compresi tra 0 e 1. Se nella conversazione non vengono utilizzati strumenti, l'accuratezza verrà visualizzata come -- (N/A).
3. Latenza: il tempo totale impiegato dall'agente per elaborare una richiesta dell'utente finale e rispondere all'utente (la differenza tra la fine dell'espressione dell'utente e l'inizio della risposta dell'agente). Il valore è espresso in secondi.
Aggiorna lo scenario di test golden: se l'ultima esecuzione riflette le modifiche previste dovute a un aggiornamento dell'agente, puoi fare clic su "Salva come golden" per sovrascrivere lo scenario di test originale.
Filtra e ordina i risultati: puoi filtrare e ordinare i risultati della valutazione in base a una qualsiasi delle metriche generate o a un ambiente specifico. Questo è utile per monitorare le variazioni del rendimento dopo ogni aggiornamento.

Formattazione degli scenari di test per l'importazione in batch

Questa sezione descrive come formattare un file CSV per l'importazione di scenari di test in batch per l'agente. Il sistema legge questo file per creare un insieme strutturato di scenari di test, ciascuno contenente uno o più turni di conversazione.

Un singolo scenario di test può estendersi su più righe nel file CSV. La prima riga di uno scenario di test definisce le sue proprietà generali (come il nome e la lingua). Ogni riga successiva per lo scenario di test definisce un singolo turno di scambio nella conversazione (l'utente dice qualcosa, l'agente deve rispondere).

Il file CSV deve avere una riga di intestazione come prima riga. Questa intestazione definisce i dati in ogni colonna.

Intestazioni obbligatorie

Le due intestazioni obbligatorie devono essere nell'ordine mostrato. Entrambi sono obbligatori per la prima riga di un nuovo scenario di test. Puoi avviare un nuovo scenario di test fornendo nuovi valori per DisplayName e LanguageCode.

DisplayName: il nome dello scenario di test. Questo campo viene compilato solo per la prima riga di un nuovo scenario di test.
LanguageCode: il codice lingua per il test (ad esempio en, en-US, es).

Intestazioni facoltative

Puoi includere una delle seguenti intestazioni facoltative per fornire maggiori dettagli sugli scenari di test. Possono essere in qualsiasi ordine dopo le prime due colonne obbligatorie.

Metadati dello scenario di test

Tag: tag separati da spazi per organizzare i test (ad esempio, "onboarding dei pagamenti").
Note: note in formato libero o una descrizione dello scopo dello scenario di test.
TestCaseConfigV2.StartResource: specifica il flusso o il playbook con cui avviare il test.

Input dell'utente

UserInput.Input.Text: il testo che l'utente "digita" per un determinato turno.
UserInput.InjectedParameters: parametri da inserire nella conversazione all'inizio di un turno, formattati come stringa JSON.

Output dell'agente

AgentOutput.QueryResult.ResponseMessages.Text: il testo esatto con cui affermi che l'agente ha risposto.
AgentOutput.QueryResult.Parameters: i parametri che dichiari essere stati estratti dall'agente, formattati come stringa JSON.

Aspettative

OrderedExpectations.ExpectedFlow: il flusso che ti aspetti sia attivo dopo il turno.
OrderedExpectations.ExpectedIntent: l'intent che prevedi venga abbinato per il turno.
OrderedExpectations.ExpectedAgentReply: il testo con cui ti aspetti che l'agente risponda. Può essere una sottostringa della risposta completa.
OrderedExpectations.ExpectedOutputParameter: i parametri che prevedi vengano impostati alla fine del turno, formattati come stringa JSON.

Metadati audio

AudioTurnMetadata Metadati per i test basati su audio, formattati come stringa JSON.

Crea uno scenario di test

Gli scenari di test sono organizzati per righe di dati.

Per avviare un nuovo scenario di test, compila la riga dei metadati.
- Regola: questa riga deve avere un valore nella colonna DisplayName.
- Azione: inserisci i valori per DisplayName e LanguageCode. In questa riga puoi anche aggiungere tag, note o un TestCaseConfigV2.StartResource. Le colonne dei turni di conversazione (come UserInput.Input.Text) devono essere lasciate vuote in questa riga. Se utilizzi i tag, separali con uno spazio. Esempio: tag1 tag2 tag3. Se utilizzi TestCaseConfigV2.StartResource, aggiungi il prefisso start_flow: o start_playbook: al nome della risorsa. Esempio: start_flow:projects/p/locations/l/agents/a/flows/f.
Aggiungi un turno di conversazione allo scenario di test appena avviato aggiungendo una nuova riga immediatamente sotto.
- Regola: la colonna DisplayName deve essere vuota. In questo modo, il parser capisce che si tratta di un turno appartenente allo scenario di test precedente.
- Azione: compila le colonne che descrivono l'azione dell'utente e la risposta prevista dell'agente per questo turno, ad esempio UserInput.Input.Text e OrderedExpectations.ExpectedAgentReply. Per le colonne che richiedono JSON, devi fornire un oggetto JSON valido come stringa. Esempio: {"param_name": "param_value", "number_param": 123}.