La piattaforma di agenti virtuali è una funzionalità di Quality AI che fornisce approfondimenti sulle prestazioni degli agenti conversazionali creati con Dialogflow e Customer Experience Agent Studio. Customer Experience Agent Studio è un generatore di agenti virtuali che ti aiuta a creare sistemi multi-agente asincroni con streaming bidirezionale.
Visualizza piattaforma
Segui questi passaggi per visualizzare la piattaforma nella console Customer Experience Insights.
- Fai clic su AI per la qualità > Agenti > Agente virtuale.
- Seleziona un agente.
Rendimento dell'agente virtuale
La piattaforma di agenti virtuali fornisce dettagli sul rendimento degli agenti virtuali. La piattaforma mostra i dettagli delle metriche AI operative e di qualità.
Metriche operative
La piattaforma dell'agente virtuale mostra ciascuna delle seguenti metriche come numero o percentuale.
- Sessioni totali: il numero totale di conversazioni gestite da questo agente.
- Tasso di riassegnazione: percentuale di conversazioni riassegnate a un agente umano, calcolata utilizzando un segnale di Dialogflow.
- Turni per sessione: numero medio di turni per conversazione.
- Tasso di mancata corrispondenza: percentuale di conversazioni che non corrispondono ad alcuna intent, applicabile solo agli agenti virtuali basati sul flusso.
La piattaforma dell'agente virtuale mostra un grafico della variazione nel tempo per ciascuna delle seguenti metriche.
- Volume: il numero totale di conversazioni gestite da questo agente.
- Tasso di riassegnazione: percentuale di conversazioni riassegnate a un agente umano.
Per calcolare il tasso di riassegnazione, segui questi metodi:
- Dialogflow: calcolato utilizzando un indicatore di Dialogflow.
- Customer Experience Agent Studio: calcolato utilizzando un segnale dalla traccia di Customer Experience Agent Studio
EndSession.
Segui questi passaggi in Customer Experience Agent Studio per impostare il tasso di riassegnazione in end_session:
- Aggiungi lo strumento
end_sessional nodo dell'agente. Vai alla pagina Agente in Quality AI. Fai clic su Strumenti per visualizzare lo strumentoend_session. - Fornisci le istruzioni dell'agente.
Esempio: quando il cliente chiede un operatore, esegui lo strumento end_session con gli argomenti {session_escalated = true}
- Suddivisione per tipo di riassegnazione: numero di conversazioni per iniziatore della riassegnazione, che potrebbe essere l'utente o l'agente, analizzato in base alla domanda predefinita nel prospetto predefinito Chi ha riassegnato la conversazione?.
- Tasso di errore dello strumento: percentuale di chiamate dello strumento non riuscite in tutti gli utilizzi dello strumento nelle conversazioni per un agente specifico nel periodo di tempo selezionato e per il mezzo di conversazione specificato.
- Latenza dello strumento: latenza media di una chiamata allo strumento in tutti gli utilizzi dello strumento nelle conversazioni per l'agente specifico, nel periodo di tempo e nel mezzo di conversazione selezionati.
- Tasso di mancata corrispondenza: percentuale di conversazioni che non corrispondono ad alcuna intent, applicabile solo agli agenti virtuali basati sul flusso.
Suddivisione della latenza end-to-end (E2E)
La latenza end-to-end (E2E) è il tempo che intercorre tra la fine dell'enunciato di un utente e l'inizio dell'enunciato successivo dell'agente. La piattaforma dell'agente virtuale calcola la latenza end-to-end per ogni interazione user-agent all'interno delle conversazioni di chat e vocali.
La piattaforma dell'agente virtuale mostra un grafico intitolato Suddivisione della latenza end-to-end, che illustra la latenza end-to-end a livello di frase. L'asse Y mostra il tempo con incrementi di 50 millisecondi. L'asse x indica che puoi visualizzare la latenza end-to-end per gli strumenti, il modello linguistico di grandi dimensioni (LLM) e la sintesi vocale (TTS). Infine, il grafico mostra la latenza end-to-end come barre separate per tre categorie di percentili: P50 è il 50° percentile, P90 è il 90° percentile e P99 è il 99° percentile. Ad esempio, se la latenza P99 del modello LLM è di 5 secondi, significa che il 99% dei valori di latenza del modello LLM a livello di espressione è inferiore a 5 secondi.
Suddivisione per tipo di riassegnazione
La suddivisione per tipo di riassegnazione mostra il numero di conversazioni per ogni iniziatore della riassegnazione: utente o agente. L'AI di qualità determina l'iniziatore della riassegnazione rispondendo alla domanda predefinita Chi ha riassegnato la conversazione? Puoi visualizzare in dettaglio un iniziatore di riassegnazione per visualizzare un elenco delle conversazioni con lui.
Strumenti
Le metriche degli strumenti vengono calcolate per gli strumenti dell'agente conversazionale. Le metriche aggregate come la latenza e i tassi di errore degli strumenti aiutano i creatori di bot a identificare i colli di bottiglia delle prestazioni nelle conversazioni.
Metriche di Quality AI
La piattaforma di agenti virtuali mostra le seguenti metriche di Quality AI.
- Punteggio di qualità: il punteggio di qualità medio per prospetto nelle conversazioni gestite da questo agente.
- Sentiment complessivo: punteggio medio del sentiment nelle conversazioni gestite da questo agente.
- Suddivisione del sentiment: un grafico a barre codificato a colori per illustrare il numero di conversazioni di questo agente per categoria di sentiment a livello di conversazione: negativo, neutro o positivo.
- Risultato della conversazione: numero di conversazioni per ogni possibile risultato.
- Sentiment per scoperta: suddivisione del numero di conversazioni per categoria di sentiment a livello di conversazione per questa metrica.
La piattaforma mostra anche i grafici della variazione nel tempo per le seguenti metriche di AI di qualità.
- Punteggio di qualità: percentuale dei punteggi di qualità per tutte le conversazioni gestite da questo agente.
- Suddivisione per categoria del punteggio: i numeri del punteggio di qualità per ogni categoria predefinita: attività, conformità, cliente ed eventuali categorie personalizzate.
Esito della conversazione
Il grafico dei risultati della conversazione mostra il numero di conversazioni terminate con ciascuno dei seguenti risultati possibili:
- Abbandonata
- Parzialmente risolta
- Riassegnazione
- Reindirizzato
- Risolto
- Sconosciuto
Calcola i risultati della conversazione utilizzando domande predefinite nella scheda predefinita in Quality AI.
- Per visualizzare i dati sugli esiti in questo grafico, esegui un'analisi di Quality AI con la scheda predefinita.
- Fai clic su un risultato per visualizzare un elenco di conversazioni con quel risultato.
Suddivisione del sentiment
Dopo aver eseguito l'analisi del sentiment su tutte le tue conversazioni, il grafico della distribuzione del sentiment mostra il numero di conversazioni con un sentiment complessivo in ciascuna categoria: negativo, neutro e positivo.