Valutazione

La valutazione è uno strumento fondamentale per testare le prestazioni dell'agente e assicurarsi che si comporti come previsto in situazioni specifiche. Ti consente di automatizzare i test, rilevare le regressioni dopo aver apportato modifiche e misurare la qualità delle risposte del tuo agente per migliorarne la qualità.

Per iniziare, fai clic sul pulsante Valuta nella parte superiore di Agent Builder.

Concetti di valutazione

Scenario di test: ogni scenario di test è uno scenario di test o un prompt specifico e autonomo progettato per valutare le prestazioni dell'agente. Puoi creare tre diversi tipi di scenari di test:

• Scenario: una funzionalità basata sull'AI per avviare i test e garantire una copertura completa. Descrivi l'obiettivo di un utente e il sistema simula automaticamente l'utente e genera conversazioni per testare la capacità dell'agente di gestire lo scenario in modo efficace. Gli scenari sono un modo utile per sperimentare e contribuire a definire le conversazioni ideali.
• Simulazione: ideale per testare percorsi in più passaggi. Anziché un singolo obiettivo aperto dell'utente, suddividi la conversazione in un elenco ordinato di obiettivi (chiamati anche traguardi). L'utente simulato elabora gli obiettivi uno alla volta e passa all'obiettivo successivo solo dopo che i criteri di successo per l'obiettivo corrente sono stati soddisfatti. Le simulazioni ti offrono la flessibilità di un utente simulato, mantenendo al contempo la conversazione su un percorso prevedibile.
• Golden: ideale per i test di regressione. Fornisci un percorso di conversazione specifico e "ideale" e la valutazione verifica se il comportamento dell'agente corrisponde a questo percorso ideale, incluse le chiamate agli strumenti.

Nota: gli scenari di test di simulazione offrono un'alternativa agli scenari per i test degli utenti simulati. Suddividendo un singolo obiettivo utente in un elenco ordinato di obiettivi con criteri di successo per ogni passaggio, le simulazioni forniscono una copertura più prevedibile e ripetibile per i percorsi in più passaggi e una diagnostica passo passo più chiara in caso di errore di un'esecuzione.

Esecuzione: un'esecuzione di valutazione rappresenta un'esecuzione singola e completa di un insieme di scenari di test golden, di scenario e di simulazione rispetto alle prestazioni dell'agente che stai testando. Ogni esecuzione può includere uno o più scenari di test.

Risultato: il risultato di uno scenario di test si riferisce a una singola esecuzione di uno scenario di test specifico in una singola esecuzione. Se uno scenario di test viene eseguito più volte durante una singola esecuzione della valutazione (ad esempio per verificare la coerenza, l'instabilità e così via), ogni singola esecuzione è un risultato individuale. I risultati vengono visualizzati come icone rettangolari in colonne in ogni riga dello scenario di test, con una X rossa se l'esecuzione non è riuscita e un segno di spunta verde se è riuscita.

Tag: gli scenari di test possono essere raggruppati con tag per una gestione più semplice.

Crea scenari di test

Per creare e accedere agli scenari di test per l'agente, fai clic sul pulsante Valuta nella parte superiore di Agent Builder. Puoi creare e gestire scenari di test basati su golden, scenario o simulazione. La colonna Tipo nell'elenco degli scenari di test mostra il tipo di ogni scenario di test.

Scenario

Lo scenario di test basato su scenari utilizza l'AI per generare automaticamente una serie di conversazioni in base a un obiettivo utente di alto livello definito da te. Con questi scenari di test, anziché fornire conversazioni golden specifiche, selezioni gli scenari generati o descrivi scenari specifici che devono essere testati. Si tratta di uno strumento efficace per aiutarti a esplorare i casi limite e testare la solidità dell'agente senza dover scrivere manualmente ogni possibile percorso di conversazione.

Una volta che questi scenari funzionano bene, puoi salvarli come conversazioni auree.

Nota: per i percorsi in più passaggi in cui vuoi avere un maggiore controllo sul percorso della conversazione, valuta la possibilità di utilizzare scenari di test di simulazione in alternativa agli scenari. Una simulazione sostituisce l'obiettivo del singolo utente con un elenco ordinato di obiettivi e criteri di successo per ogni passaggio, rendendo le esecuzioni degli utenti simulati più ripetibili e più facili da risolvere.

Per creare uno scenario:

1. Fai clic su Crea scenario. Ti vengono suggeriti più scenari.
2. Puoi generare scenari in base alle selezioni o crearne uno nuovo da zero.

Quando visualizzi l'elenco degli scenari, puoi elencare i dettagli e l'elenco delle conversazioni per ogni scenario facendo clic sullo scenario.

Per salvare uno scenario come conversazione golden:

1. Seleziona lo scenario.
2. Fai clic sul pulsante del menu nell'angolo in alto a destra.
3. Seleziona Salva come conversazione golden.

Obiettivo dell'utente dello scenario

Ogni scenario ha un obiettivo utente, che descrive gli obiettivi dell'utente finale quando utilizza l'applicazione dell'agente. Ad esempio:

Securely book a specific room at a chosen hotel and receive a confirmation.

In base all'obiettivo dell'utente, CX Agent Studio genera automaticamente le conversazioni utilizzate per la valutazione.

Variabili dello scenario

Quando definisci uno scenario, puoi fornire variabili da utilizzare per lo scenario.

Aspettative dello scenario

Per eseguire una valutazione, devi definire le aspettative per lo scenario di test.

Le aspettative possono essere di due tipi:

• Messaggio: una risposta prevista dell'agente.
• Chiamata allo strumento: una chiamata allo strumento con input e output previsti.

Le aspettative possono avere le seguenti condizioni:

• Necessarie
• Non deve avere
• Dopo la chiamata allo strumento
• Valore variabile

Per creare un'aspettativa:

• Fai clic su uno scenario specifico per aprirne i dettagli.
• Nella sezione Aspettative, fai clic su Visualizza tutto.
• Segui le istruzioni dell'interfaccia per creare le aspettative per lo scenario.

Simulazione

Uno scenario di test di simulazione suddivide una conversazione in un elenco ordinato di passaggi, chiamati obiettivi (noti anche come traguardi). Ogni obiettivo descrive una fase del percorso dell'utente e i criteri che devono essere soddisfatti prima che l'utente simulato passi alla fase successiva.

Una simulazione si colloca tra uno scenario e uno scenario di test di riferimento:

• Uno scenario fornisce all'utente simulato un unico obiettivo aperto e gli consente di improvvisare l'intera conversazione. Questo è utile per l'esplorazione, ma la conversazione può prendere una strada diversa a ogni esecuzione.
• Uno scenario di test golden definisce ogni turno dell'utente. Questo è preciso per i test di regressione, ma è rigido per i percorsi lunghi e non può adattarsi a variazioni valide nella formulazione dell'agente.
• Una simulazione mantiene un utente simulato in tempo reale, ma lo limita ai tuoi obiettivi, in ordine. In questo modo, i percorsi in più passaggi, come l'autenticazione seguita da una ricerca e poi da un aggiornamento, sono ripetibili senza dover eseguire l'hardcoding di ogni passaggio.

Utilizza una simulazione quando:

• Il percorso prevede diverse fasi distinte che devono avvenire in un ordine prestabilito.
• Devi confermare che l'agente raggiunga uno stato intermedio, ad esempio la verifica di un chiamante, prima di eseguire qualsiasi altra operazione.
• Una conversazione ideale sarebbe troppo rigida, ma uno scenario con un unico obiettivo non testa in modo affidabile l'intero percorso.

Crea una simulazione

1. Vai alla scheda Valutazione.
2. Fai clic su + Aggiungi scenario di test.
3. Seleziona Simulazione. L'editor di simulazione si apre con un obiettivo vuoto.
4. Inserisci un Nome scenario di test e aggiungi eventuali Tag.
5. Compila i campi User goal (Obiettivo utente) e Success criteria (Criteri di successo) per il primo obiettivo e imposta Max turns to achieve (Numero massimo di turni per raggiungere l'obiettivo).
6. Fai clic su Aggiungi obiettivo e ripeti l'operazione per ogni fase del percorso, in ordine. Per i dettagli di ogni tipo di passaggio, consulta Obiettivi.
7. Facoltativamente, nella sezione Override delle variabili, fai clic su Aggiungi override per impostare le variabili di sessione prima dell'inizio della conversazione. Una volta che lo scenario di test ha almeno un override, il pulsante con etichetta viene sostituito da un pulsante con l'icona di aggiunta (+) accanto ai chip di override esistenti.
8. Facoltativamente, fai clic su Aggiungi aspettative per allegare aspettative a livello di conversazione che vengono verificate rispetto all'intera trascrizione.
9. Fai clic su Crea.

L'editor ha una scheda UI e una scheda YAML, che modificano lo stesso scenario di test. Per i dettagli del formato YAML, consulta Modifica una simulazione in formato YAML.

Obiettivi

Fai clic su Aggiungi obiettivo per aggiungere un passaggio alla simulazione. Ogni passaggio è uno dei seguenti tipi, che selezioni dal menu Tipo nel passaggio:

• Obiettivo dell'utente: l'utente simulato genera i propri enunciati finché non vengono soddisfatti i criteri di successo. Questi passaggi sono etichettati come Obiettivo nell'editor. Configura:
  • Obiettivo dell'utente: ciò che l'utente simulato sta cercando di realizzare in questo passaggio, ad esempio Ask for a refund on the most recent order.
  • Criteri di successo: la condizione che determina se il passaggio è completo, ad esempio Agent asks for the reason for the refund.
  • Turni massimi per il raggiungimento: il numero massimo di turni consentiti per questo passaggio prima che la simulazione si interrompa. Il valore predefinito è 3.
  • Informazioni sull'utente: persona facoltativa e suggerimenti di contesto visibili solo all'utente simulato, non all'agente. Utilizza questo campo per fornire dettagli che l'utente conosce, ad esempio un numero d'ordine o il motivo della chiamata. Per aggiungere questo campo, apri il menu Altre opzioni del passaggio e fai clic su Aggiungi informazioni utente.
• Enunciato statico: l'utente simulato invia esattamente il testo che fornisci, senza generazione. Utilizza questa opzione quando la formulazione precisa è importante, ad esempio quando testi il modo in cui l'agente gestisce un numero di conto bancario alfanumerico.
• Evento: invia un evento denominato all'agente anziché un'espressione. Utilizzalo per riprodurre input non conversazionali, come un evento di telefonia.

I passaggi relativi a espressioni ed eventi statici sono etichettati come Turno nell'editor. Come gli obiettivi dell'utente, possono avere criteri di successo, ma non hanno i propri campi Numero massimo di turni per il raggiungimento o Informazioni utente.

Scrivi i criteri di successo come comportamento osservabile dell'agente. I criteri che descrivono ciò che l'agente deve dire o fare vengono valutati in modo affidabile; i criteri che descrivono lo stato interno che non emerge mai nella conversazione non vengono valutati.

Come viene eseguita una simulazione

1. L'utente simulato inizia dal primo passaggio.
2. A ogni turno, l'utente simulato genera un'espressione che funziona solo per il passaggio corrente.
3. Dopo la risposta dell'agente, il passaggio corrente viene valutato in base ai criteri di successo. Se i criteri sono soddisfatti, il passaggio viene contrassegnato come completato e l'utente simulato passa al passaggio successivo. Un passaggio completato non viene mai riaperto.
4. Se un passaggio non viene completato entro il limite di Turni massimi per il raggiungimento, la simulazione si interrompe. I passaggi successivi non vengono mai tentati.
5. Al termine della conversazione, la trascrizione viene valutata per produrre una giustificazione scritta per ogni passaggio tentato.

Oltre ai limiti per passaggio, l'intera conversazione è limitata allo stesso limite complessivo di qualsiasi altra conversazione simulata, ovvero 100 turni. In pratica, i limiti di Turni massimi per raggiungere per passaggio interrompono prima una simulazione.

Una simulazione viene superata solo se ogni passaggio viene completato, oltre agli altri criteri di superamento o mancato superamento che si applicano alle conversazioni simulate. Poiché i passaggi sono rigorosamente sequenziali, un passaggio non riuscito blocca il resto dello scenario di test. Organizza i passaggi in modo che un errore indichi chiaramente la fase che si è interrotta.

Risultati della simulazione

Apri un risultato della simulazione per visualizzare una sezione degli obiettivi la cui intestazione mostra il numero di passaggi completati rispetto al totale, ad esempio Goals (2/3). La sezione si espande automaticamente quando non tutti i passaggi sono stati completati. All'interno è presente un pannello comprimibile per ogni passaggio:

• Un segno di spunta verde indica che i criteri di esito positivo per il passaggio sono stati soddisfatti.
• Una X rossa indica che il passaggio non è stato completato, perché i criteri non sono mai stati soddisfatti o perché un passaggio precedente lo ha bloccato.

Ogni riquadro contiene una giustificazione che spiega in un linguaggio semplice il motivo per cui il passaggio è stato o non è stato considerato completato. Al termine dell'esecuzione, i passaggi non completati vengono espansi con la relativa motivazione, mentre i passaggi completati vengono compressi. Un passaggio che non è mai stato tentato è giustificato con un messaggio che indica il testo dell'obiettivo che lo ha bloccato.

Il riquadro Conversazione sotto gli obiettivi contiene la trascrizione simulata completa, in modo da poter riprodurre esattamente ciò che ha detto l'utente simulato e come ha risposto l'agente.

Se l'esecuzione è terminata con un errore, una scheda nella parte superiore del risultato mostra il messaggio di errore. Se l'esecuzione è stata completata, ma un passaggio di espressione statica non è stato completato, la scheda ripete la giustificazione del primo passaggio di questo tipo. Poiché i passaggi di espressione statica ed evento sono entrambi etichettati come Turn nell'editor, controlla la sezione degli obiettivi per vedere a quale passaggio si riferisce la scheda. Non completato I passaggi Obiettivo utente ed Evento vengono riportati solo nella sezione degli obiettivi.

Modifica una simulazione come YAML

Nell'editor di simulazione, fai clic sulla scheda YAML per modificare lo scenario di test in formato YAML. L'elenco degli obiettivi è espresso come steps e ogni passaggio corrisponde ai campi descritti in Obiettivi:

evals:
  - name: "billing_refund_request"
    tags:
      - "billing"
    session_parameters:
      product_id: "prod_123"
    steps:
      - goal: "Greet the agent and ask for a refund for product_id."
        success_criteria: "Agent asks for the reason for the refund."
        max_turns: 3
      - goal: "Provide the reason and insist on the refund."
        success_criteria: "Agent agrees to process the refund or escalates."
      - static_utterance: "I want to check my balance."

Chiave YAML	Campo della console
name	Nome scenario di test
tags	Tag
session_parameters	Override della variabile
goal	Obiettivo dell'utente
success_criteria	Criteri di successo
max_turns	Numero massimo di turni per raggiungere l'obiettivo
response_guide	Informazioni utente
static_utterance	Passaggio di espressione statica
event	Passaggio dell'evento
expectations	Aspettative

L'editor convalida il codice YAML durante la digitazione e applica le seguenti regole:

• Il documento deve contenere un elenco evals e l'editor legge solo la prima voce di questo elenco.
• Ogni voce deve avere un name e almeno un passaggio.
• Ogni passaggio deve avere almeno uno tra goal, static_utterance o event.
• Ogni chiave in session_parameters deve essere una variabile dichiarata nell'applicazione dell'agente.
• Ogni stringa in expectations deve essere il testo del prompt di un'aspettativa che esiste già nell'applicazione dell'agente. La corrispondenza ignora le maiuscole e minuscole e gli spazi vuoti circostanti. Per creare un'aspettativa, utilizza Aggiungi aspettative nella scheda UI, quindi fai riferimento al relativo prompt qui.
• Le chiavi non riconosciute in una voce dell'elenco evals vengono rifiutate.

Golden

Questi scenari di test vengono utilizzati per definire i percorsi di conversazione ideali per i test di regressione, in modo che i percorsi di conversazione principali e critici non si interrompano durante l'aggiornamento dell'agente. Esistono diverse opzioni per creare una conversazione d'oro:

Per importare una conversazione dal simulatore:

1. Avvia una conversazione utilizzando il simulatore.
2. Fai clic sui tre puntini verticali nell'angolo in alto a destra del simulatore per visualizzare il menu del simulatore.
3. Fai clic su Salva come golden.
4. Inserisci un nome per lo scenario di test golden e fai clic su Salva. Ora verrà visualizzato nella scheda Valutazione.

Per creare uno scenario di test dalla cronologia delle conversazioni:

1. Vai alla scheda Valutazione.
2. Fai clic su + Aggiungi scenario di test.
3. Seleziona Golden.
4. Fai clic su Avanti.
5. Fai clic su Seleziona dalla cronologia delle conversazioni.
6. Nella finestra visualizzata, seleziona la conversazione che vuoi salvare come scenario di test dorato. Puoi eseguire la ricerca in base all'ID conversazione.
7. Se hai attivato l'oscuramento, controlla le risposte e le variabili dell'agente per l'oscuramento prima di procedere con le informazioni mancanti.
8. Fai clic su Aggiungi.

Per creare uno scenario di test da zero:

1. Vai alla scheda Valutazione.
2. Fai clic su + Aggiungi scenario di test.
3. Seleziona Golden.
4. Fai clic su Avanti.
5. Fai clic su Crea da zero.
6. Nella finestra visualizzata, aggiungi un Nome visualizzato per lo scenario di test.
7. Aggiungi il testo per l'input utente dell'utente e l'aspettativa dell'agente, se necessario. Fai clic su + Aggiungi input utente e + Aggiungi aspettativa agente per aggiungere risposte. Fai clic su + Aggiungi turno per aggiungere un nuovo turno di conversazione allo scenario di test.
8. Fai clic su Crea per aggiungere lo scenario di test golden all'elenco degli scenari di test.

Per creare uno scenario di test da una conversazione simulata in uno scenario di test:

1. Vai alla pagina dei risultati dell'esecuzione della valutazione.
2. Fai clic sull'icona del menu (tre puntini verticali) a destra della conversazione selezionata e poi su Salva come conversazione di riferimento.

Per caricare in gruppo gli scenari di test da un file:

Per informazioni dettagliate sul formato file e su un modello CSV, consulta la pagina Formato CSV degli scenari di test golden.

Aspettative d'oro

Per eseguire una valutazione, devi definire le aspettative per lo scenario di test di riferimento. Un'aspettativa è un risultato specifico che ti aspetti dall'agente in un determinato punto della conversazione. Durante la valutazione, il comportamento effettivo dell'agente viene confrontato con queste aspettative.

Le aspettative possono essere di uno dei seguenti tipi:

• Messaggio: una risposta di testo prevista dall'agente all'utente finale. La valutazione verifica se la risposta dell'agente corrisponde semanticamente a questa aspettativa.
• Chiamata allo strumento: l'aspettativa che l'agente chiami uno strumento e una risposta specifici. Puoi anche specificare gli argomenti di input previsti per la chiamata dello strumento.
• Handoff dell'agente: l'aspettativa che l'agente trasferisca la conversazione a un agente umano o a un altro bot.

Nota: in modalità di riproduzione stabile, le variabili previste e le risposte dello strumento vengono utilizzate per inserire il contesto nella conversazione. In modalità di riproduzione naive, questi valori non hanno alcun effetto sul risultato.

Per creare un'aspettativa:

1. Fai clic su uno scenario di test golden specifico per aprirne i dettagli.
2. Nella sezione Dettagli, fai clic su Visualizza golden.
3. Segui le istruzioni dell'interfaccia per aggiungere o modificare le aspettative.

Impostazioni di valutazione

Nella riga di intestazione dell'elenco degli scenari di test, puoi configurare le impostazioni di valutazione:

• Golden:
  • Criteri di superamento/fallimento d'oro: imposta la logica per determinare se una conversazione simulata viene superata o meno.
  • A livello di turno: queste regole valutano ogni singolo turno. Se una di queste soglie non viene soddisfatta, la metrica specifica verrà contrassegnata in rosso come errore.
    • Somiglianza semantica: valore di soglia per la somiglianza semantica.
    • Correttezza dello strumento: valore di soglia per la correttezza dello strumento.
    • Allucinazioni: se questa opzione è disattivata, le allucinazioni sono escluse dal superamento/fallimento.
  • Livello di aspettativa: queste regole valutano le aspettative all'interno di un turno. Se una di queste soglie non viene soddisfatta, la metrica specifica verrà contrassegnata in rosso come errore.
    • Correttezza dello strumento: valore di soglia per la correttezza dello strumento.
  • Metodo di esecuzione d'oro: scegli tra la convalida della riproduzione naive o stabile.
  • Strumento fittizio: utilizza dati fittizi anziché chiamate API di produzione reali.
• Scenarios:
  • Criteri di superamento/fallimento dello scenario: imposta la logica per determinare se una conversazione simulata viene superata o meno.
  • Avvio della conversazione: imposta chi avvia la conversazione, l'utente o il modello.
  • Strumento fittizio: utilizza dati fittizi anziché chiamate API di produzione reali.
• Valutazione audio
  • Registrazioni di valutazione audio

Esegui valutazioni

Per eseguire una valutazione, puoi fare clic sul pulsante di esecuzione nella riga dello scenario di test oppure selezionare più scenari di test ed eseguirli.

Se hai salvato più versioni, puoi selezionare la versione dell'agente da utilizzare o salvare automaticamente la bozza dell'agente come nuova versione per l'esecuzione.

Dopo un'esecuzione della valutazione, le metriche verranno aggiornate e verranno presentati i risultati.

Se fai clic su una determinata valutazione dell'esecuzione, puoi visualizzare i risultati dettagliati di un'esecuzione. Oltre alle metriche standard, vengono visualizzate le seguenti:

• Turni non riusciti
• Elenco impaginato di tutti i dettagli dei turni, che include sia le risposte effettive sia quelle previste dell'agente.

Per gli scenari di test golden, potresti visualizzare il termine "riproduzione stabile", che indica che il test è stato eseguito in un ambiente coerente (ovvero senza cambiare contesto/input).

Per gli scenari di test di simulazione, il risultato mostra l'esito di ogni obiettivo anziché un confronto turno per turno con le risposte previste. Per maggiori dettagli, consulta Risultati della simulazione.

Utilizza l'AI per migliorare gli scenari di test (ANTEPRIMA)

Anteprima

Questo prodotto o funzionalità sono soggetti ai "Termini dell'offerta pre-GA" nella sezione dei Termini di servizio generali dei Termini specifici dei servizi. I prodotti e le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per ulteriori informazioni, consulta le descrizioni della fase di lancio.

Nota: al momento, i miglioramenti dell'AI supportano solo le applicazioni con un singolo agente.

Se vuoi, puoi utilizzare l'AI per risolvere i problemi di un'esecuzione e suggerire modi per migliorare la qualità dell'agente. I suggerimenti dell'AI sono ottimali quando il numero di esecuzioni (conteggio delle esecuzioni) è pari o superiore a 3. Per attivare l'AI, seleziona gli scenari di test che vuoi valutare e fai clic su Esegui selezionati. Nella finestra popup, seleziona la casella accanto a Trova problemi con l'AI.

Al termine dell'esecuzione, nella pagina dei risultati verranno visualizzati suggerimenti basati sull'AI. Gemini genera automaticamente un loss_report scaricabile che riassume gli aspetti delle prestazioni dell'agente ed evidenzia le aree che possono essere migliorate.

Qualsiasi utente può visualizzare le correzioni suggerite dall'AI, ma solo la persona che ha avviato l'esecuzione può intraprendere azioni in base ai risultati.

Fai clic su Chiedi a Gemini per interagire con l'agente di assistenza. Per prima cosa, vedrai il report sulle perdite che spiega i problemi di alto livello relativi al modello o all'agente. Puoi chiedere all'agente di assistenza di spiegare il report, che verrà riassunto e potrebbe suggerire delle correzioni. Dopo aver applicato le correzioni, puoi chiedere all'agente di assistenza di eseguire nuovamente la valutazione.

Importazione ed esportazione

Puoi importare ed esportare scenari di test, esecuzioni e risultati di valutazione in formato YAML o JSON. Quando esegui l'importazione, assicurati che l'agente di destinazione contenga tutte le risorse (strumenti, variabili e sub-agenti) definite nei dati esportati.

Per esportare gli scenari di test:

1. Seleziona uno o più scenari di test.
2. Fai clic su Esporta scenari di test.
3. Seleziona un formato.
4. Verrà scaricato un file ZIP.

Per importare gli scenari di test:

1. Fai clic su + Aggiungi scenario di test.
2. Seleziona Golden.
3. Fai clic su Avanti.
4. Carica il file ZIP.
5. In caso di conflitti con l'importazione, ti verrà spiegato come gestirli.
6. Fai clic su Crea.

Per esportare le esecuzioni e i risultati della valutazione:

1. Seleziona una o più esecuzioni di valutazione.
2. Fai clic su Esporta esecuzione.
3. Seleziona un formato.
4. Verrà scaricato un file ZIP.

Metriche

Ogni risultato dello scenario di test include un insieme di metriche che misurano le prestazioni dell'agente rispetto agli scenari di test selezionati. Le metriche vengono calcolate a livello di turno o di aspettativa (conversazione), come indicato nella console.

In tutti i casi, puoi personalizzare i valori richiesti per l'esecuzione nel menu Impostazioni della scheda Valuta.

Nota: gli scenari di test di simulazione vengono eseguiti dalla stessa pipeline di utenti simulati degli scenari, quindi ogni metrica calcolata per uno scenario viene calcolata anche per una simulazione. L'applicabilità di ogni metrica è indicata di seguito.

Correttezza dello strumento

Calcolato per gli scenari di test golden, scenario e simulation. Questa metrica riflette la percentuale di parametri previsti che sono stati abbinati in base a una chiamata dello strumento prevista e ai relativi valori parametro previsti. Le chiamate allo strumento non eseguite ricevono un punteggio pari a 0, mentre quelle senza parametri di input ricevono un punteggio pari a 1, se presenti. Se viene effettuata una chiamata allo strumento imprevista durante una valutazione golden, il risultato verrà considerato un errore, ma ciò non influisce sul valore di correttezza dello strumento.

Soddisfazione degli obiettivi degli utenti

Calcolato per gli scenari di test scenario e simulation. La soddisfazione degli obiettivi dell'utente è una metrica binaria progettata per le valutazioni della simulazione utente. Misura se l'utente simulato ritiene che i suoi obiettivi siano stati raggiunti (0=no, 1=sì). Gli input sono il user_goal definito dalla configurazione dell'utente simulato e una trascrizione della conversazione. Se il user_goal fornito non specifica un obiettivo esplicito o implicito, il punteggio di output è -1.

Una simulazione non ha un campo separato per un obiettivo utente complessivo, quindi questa metrica viene valutata in base al nome dello scenario di test. Assegna alle simulazioni un nome che descriva ciò che l'utente sta cercando di ottenere nel complesso.

Questo non è l'unico indicatore a livello di conversazione per una simulazione. Una simulazione può anche contenere aspettative, che vengono confrontate con l'intera trascrizione e riportate nella sezione Aspettative del risultato. Queste sono le stesse aspettative utilizzate dagli scenari; consulta Aspettative degli scenari. I risultati per ogni passaggio vengono registrati in base al completamento obiettivo.

Completamento obiettivo

Segnalato solo per le simulazioni. Anziché un singolo punteggio per la conversazione, ogni passaggio della simulazione viene segnalato singolarmente come completato o non completato, insieme a una giustificazione che spiega il risultato. La console riassume queste informazioni nell'intestazione della sezione degli obiettivi come il numero di passaggi completati rispetto al totale, ad esempio Goals (2/3). Il conteggio include ogni passaggio della simulazione, inclusi i passaggi di enunciati statici ed eventi.

Poiché i passaggi vengono tentati in ordine, il primo passaggio non completato è la causa dell'errore e i passaggi successivi non vengono mai tentati.

Allucinazioni

Disponibile per gli scenari di test golden e scenario. I punteggi di allucinazione vengono calcolati per ogni turno generato. Questa metrica indica se l'agente ha fatto o meno affermazioni non giustificate dal contesto dell'agente (0=no, 1=sì). Il contesto è costituito da eventuali turni precedenti della conversazione, variabili di sessione, chiamate agli strumenti e istruzioni dell'agente. Questa metrica viene calcolata solo per i turni contenenti chiamate agli strumenti. Non rileva le allucinazioni all'interno delle chiamate degli strumenti; le chiamate degli strumenti fornite come contesto si presumono corrette. Per ridurre al minimo i falsi positivi, la metrica potrebbe restituire un punteggio N/A se una risposta non contiene affermazioni oggettive o solo conoscenze comuni già consolidate.

Puoi attivare e disattivare le allucinazioni nelle impostazioni di valutazione.

Corrispondenza semantica

Calcolato solo per gli scenari di test golden; non viene calcolato per gli scenari di test di simulazione o scenario. Questa metrica misura la misura in cui un'espressione dell'agente osservata corrisponde a un'espressione dell'agente prevista. La corrispondenza semantica viene calcolata a livello di turno. I valori restituiti vanno da 0 (completamente incoerente o contraddittorio) a 4 (completamente coerente).

Aspettative dello scenario

Calcolato per gli scenari di test scenario e simulation. Questa metrica misura se il comportamento dell'agente, come previsto dagli utenti simulati, è stato soddisfacente o meno (0=no, 1=sì). Sono supportati due tipi di aspettative degli utenti simulati:

• Aspettative di chiamata allo strumento: calcolate in modo simile alla correttezza della chiamata allo strumento con le seguenti eccezioni:
  • I risultati sono 0 (no) o 1 (sì).
  • Le chiamate impreviste allo strumento non vengono penalizzate. Le aspettative hanno lo scopo di specificare l'insieme di chiamate agli strumenti essenziali affinché una conversazione soddisfi le aspettative dell'utente simulato.
  • Quando viene soddisfatta un'aspettativa di input della chiamata dello strumento, la chiamata viene intercettata e sostituita con un valore di ritorno fittizio in fase di runtime.
• Aspettative di risposta dell'agente: controlla se una risposta dell'agente nella conversazione contiene una stringa prevista.

Completamento attività

Calcolato per gli scenari di test scenario e simulation. Il completamento delle attività è una misura della qualità della conversazione. Misura congiuntamente se gli obiettivi dell'utente sono stati raggiunti E se il comportamento dell'agente è stato corretto. Viene definita come:

User_Goal_Satisfied AND no_hallucinations_detected AND Expectations Satisfied

Per le simulazioni, viene aggiunto un quarto termine: deve essere completato anche ogni passaggio della simulazione. Il completamento dell'attività è ciò che la console segnala come stato complessivo di superamento o mancato superamento del risultato dello scenario di test.

Utenti tipo

I personas sono utenti tipo simulati che puoi personalizzare e utilizzare per i test degli agenti con scenari di test di scenario e simulazione. Questa funzionalità è utile per garantire che l'agente interagisca in modo appropriato con i tipi di utenti umani che probabilmente incontrerà in fase di runtime.

Se non selezioni un'identità, ne verrà selezionata una casuale per ogni risultato dello scenario.

Questa funzionalità è disponibile per l'utilizzo con input di testo e audio.

Crea un ruolo

1. Per creare una persona, vai alla scheda Valuta e fai clic su Gestione delle persone (accanto all'icona Impostazioni).
2. Fai clic su + Aggiungi persona.
3. Nel menu che si apre, inserisci un Nome, una Personalità utente e qualsiasi Contesto utente aggiuntivo (ad esempio età, località, motivo della chiamata e così via).
4. Fai clic su + Aggiungi.

Per eseguire una valutazione utilizzando un utente tipo:

1. Torna alla pagina principale Valuta e seleziona uno o più scenari o scenari di test di simulazione. Fai clic su Esegui selezione.
2. Nella finestra popup, seleziona la persona che hai appena creato dal menu a discesa Persone e fai clic su Esegui.

Best practice per le valutazioni e l'hillclimbing

Quando crei un nuovo agente utilizzando componenti modulari, crea scenari di test dedicati per ogni variante dell'agente, ad esempio:

• Voce e chat
• SDK per SMS e chat
• Brand A, B e C e così via

Crea casi aggiuntivi per verificare la presenza di fughe di istruzioni tra le varianti. Ad esempio, le istruzioni specifiche per la chat non devono essere visualizzate per i casi eseguiti in modalità vocale e viceversa.

Assicurati che i casi vengano eseguiti con l'agente corretto:

• Per la modalità (chat o voce) o i canali, l'esecuzione del caso con il deployment corretto garantisce automaticamente l'allineamento.
• Ogni deployment incapsula la modalità, il modello utilizzato e il canale.
• Per le condizioni delle variabili definite dal builder, inserisci il valore della variabile durante l'esecuzione del caso. Ad esempio, brand_name == "Cymbal Retail" o brand_name == "Acme Corp".

Chiedi al tuo agente di programmazione preferito di migliorare in modo iterativo l'agente CX Agent Studio finché tutti gli scenari di test non soddisfano le metriche target o qualsiasi altro obiettivo di qualità.

• Chiedi all'agente di programmazione di riconciliare le modifiche suggerite da diversi scenari di test che influiscono sulle stesse istruzioni dell'agente. Chiedigli di segnalare i conflitti più complessi per la revisione umana, in modo da poter fornire un input dettagliato, se necessario.
• Chiedi all'agente di programmazione di creare differenze affiancate di tutte le varianti dell'agente per le modifiche apportate. In questo modo, è più facile comprendere e convalidare le correzioni scelte.
• Esegui l'iterazione in base alle necessità. La natura specifica di queste iterazioni dipenderà dal design dell'agente CX Agent Studio, dal design dell'agente di programmazione, dal modello utilizzato e dal framing della conversazione.
• Assicurati che i risultati dell'agente di programmazione siano accurati convalidando manualmente i campioni di trascrizioni e risultati effettivi.
• Chiedi all'agente di programmazione di trovare gli scenari mancanti dall'esercizio di hillclimbing e suggerisci nuovi casi, se applicabile. Continua le iterazioni in base alle esigenze.