La valutazione automatica del riepilogo valuta la qualità dei riepiloghi in base a tre metriche: accuratezza, completezza e aderenza. Questa funzionalità ti aiuta a valutare la qualità dei generatori di riepiloghi, il che è fondamentale quando si ottimizzano le definizioni delle sezioni personalizzate o si esegue l'upgrade del software che influisce sui modelli di riepilogo. Per ulteriori dettagli sulle metriche di valutazione, consulta Nozioni di base sulla valutazione automatica del riepilogo.
Prima di iniziare
- Crea un generatore di riepiloghi che generi riepiloghi candidati per la tua valutazione.
- Le definizioni delle sezioni nel generatore fungono da dati empirici reali per la valutazione.
- Affinché il punteggio finale rifletta la qualità del generatore, le istruzioni di ogni sezione devono corrispondere a quelle del generatore.
Creare una richiesta di autovalutazione del riepilogo
Per creare un generatore di riepiloghi:
Vai alla console Agent Assist e accedi.
Seleziona il progetto.
Fai clic su Valutazioni > Nuova valutazione.
Inserisci un Nome visualizzato univoco e scegli un Generatore che corrisponda al riepilogo del candidato.
Fai clic su Avanti.
Scegli un set di dati di valutazione con una delle seguenti due opzioni:
- Campione casuale di conversazioni dell'intervallo di date: se hai pagato per la funzionalità di riepilogo di Agent Assist, specifica un intervallo di date e un numero di conversazioni massimo. Le valutazioni selezionano in modo casuale fino al numero massimo di conversazioni e riepiloghi dalla tua cronologia.
- Seleziona un set di dati specifico: scegli un campione specifico di conversazioni che hai selezionato con Approfondimenti conversazionali.
Scegli un'origine del riepilogo tra le seguenti opzioni:
- Genera solo i riepiloghi mancanti utilizzando il generatore specificato. Paghi il costo di generazione del riepilogo
- Generare nuovi riepiloghi per tutte le conversazioni. Paghi il costo di generazione del riepilogo
- Non generare riepiloghi. Utilizza invece i riepiloghi esistenti trovati con il set di dati. Devi pagare un costo diverso.
Fai clic su Avanti.
Fai clic su Seleziona cartella, scegli una cartella Cloud Storage in un bucket in cui archiviare il risultato, quindi fai clic su Ok. La valutazione automatica scrive in un file CSV e lo salva nel bucket Cloud Storage.
Fai clic su Esegui. Si tratta di un'operazione a lunga esecuzione. La nuova valutazione è elencata nella tabella.
Valutazioni
Segui questi passaggi per visualizzare un elenco di generatori di riepiloghi e di esecuzioni di sessioni di valutazione completate.
- Vai alla console Agent Assist e accedi. Vai alla console
- Seleziona il progetto.
- Fai clic su Valutazioni.
- (Facoltativo) Per invertire l'ordine in base all'ora di creazione, fai clic su keyboard_arrow_down Giù nell'intestazione della colonna Ora di creazione.
Filtrare l'elenco
Segui questi passaggi per filtrare l'elenco e cercare una valutazione specifica:
- Fai clic su Filtra valutazioni.
Scegli una delle seguenti opzioni:
- Nome visualizzato
- Nome del generatore
- Data/ora creazione
Inserisci il valore del parametro.
Elimina una valutazione
- Attendi che il generatore termini l'esecuzione di una valutazione.
- Fai clic su Elimina Elimina per cancellare la valutazione.
Visualizza i risultati di una valutazione
Segui questi passaggi per visualizzare i risultati dettagliati della valutazione dalla console di Agent Assist.
- Vai alla console Agent Assist e accedi. Vai alla console
- Seleziona il progetto.
- Fai clic su Valutazioni.
- Fai clic su una riga qualsiasi dell'elenco per visualizzare i Dettagli della valutazione, che includono le seguenti informazioni:
- Nome visualizzato per il generatore
- Numero di conversazioni
- Se presenti, set di dati Conversational Insights, nome del set di dati Conversational Insights associato
- Durata
- Output di Cloud Storage
- Risultati delle prestazioni complessive per un intero set di dati
- Risultati a livello di conversazione per ogni conversazione in un set di dati
Risultati a livello di conversazione
Agent Assist mostra i risultati della valutazione a livello di conversazione in una tabella.
- Nella pagina Dettagli valutazione, fai clic su una riga qualsiasi della tabella Risultati a livello di conversazione per visualizzare i risultati dettagliati, un riepilogo e una trascrizione della conversazione.
- Fai clic su una sezione per visualizzare gli esempi della sezione nel riepilogo.
Confronto dei risultati
Per confrontare i risultati di diverse valutazioni:
- Nella console di Assistente agente, vai a Valutazioni.
- Fai clic su una valutazione per visualizzarne i dettagli. Questa valutazione fornisce la base per il confronto e determina quali metriche include.
- Fai clic su Confronta > Aggiungi esecuzione per aggiungere altre valutazioni per il confronto. Puoi confrontare fino a cinque valutazioni alla volta. Ogni nome visualizzato è evidenziato in grigio.
- Per rimuovere una valutazione dal confronto, fai clic su Chiudi Chiudi.
Confrontare le versioni del generatore di riepiloghi
Puoi anche utilizzare la valutazione automatica del riepilogo per confrontare i riepiloghi di diverse versioni di un generatore di riepiloghi. Ti serve una raccolta di trascrizioni di conversazioni.
Di seguito è riportato un esempio di confronto dei risultati della valutazione in base al generatore di riepiloghi v4.0 e v5.0.
Passaggio 1: crea una nuova versione del generatore di riepiloghi
Se non utilizzi già un generatore di riepiloghi, segui le istruzioni per crearne uno che utilizzi la versione 4.0 della funzione di riepilogo. A questo punto, segui questi passaggi per creare un secondo generatore che utilizza la versione 5.0 del riepilogo:
- Vai alla pagina Console Agent Assist > Riepilogo.
- Fai clic su more_vert per il generatore > Duplica generatore > il nome della copia del generatore.
- Per la versione, scegli 5.0 e fai clic su Salva.
Passaggio 2: crea un set di dati
Segui le istruzioni per creare un set di dati con un massimo di 100 conversazioni. Puoi creare un massimo di 100 conversazioni per ogni valutazione.
Passaggio 3: crea valutazioni di riepilogo
Segui questi passaggi per creare ogni valutazione.
- Vai alla console di Assistente agente, accedi e seleziona il tuo progetto.
- Fai clic su Valutazioni > Nuova valutazione.
- Inserisci un Nome visualizzato univoco.
- Scegli il Generatore di riassunti 4.0.
- Fai clic su Avanti.
- Seleziona Seleziona un set di dati specifico.
- Seleziona Genera riepiloghi.
- Fai clic su Avanti > Seleziona cartella.
- Scegli una cartella Cloud Storage in un bucket per archiviare il risultato, quindi fai clic su Ok. La valutazione automatica scrive in un file CSV e lo salva nel bucket Cloud Storage.
- Fai clic su Esegui. Si tratta di un'operazione a lunga esecuzione. La nuova valutazione è elencata nella tabella.
Ripeti i passaggi 2-10 per il generatore di riepiloghi 5.0 e utilizza lo stesso set di dati.
Passaggio 4: confronta i risultati della valutazione
Segui le istruzioni per confrontare i risultati. Agent Assist mostra il confronto tra i due risultati della valutazione. Se un generatore ha punteggi più alti dell'altro, i punteggi più alti vengono evidenziati in verde. Se entrambi i generatori hanno punteggi uguali, anche questi vengono evidenziati in verde.
Limitazione
La valutazione automatica del riepilogo non supporta i Controlli di servizio VPC.
Regioni disponibili
La valutazione automatica del riepilogo è disponibile solo in tre regioni di Agent Assist. Per un elenco delle regioni disponibili per ogni funzionalità, consulta la tabella di regionalizzazione.