La piattaforma dell'agente virtuale è una funzionalità di Quality AI che fornisce approfondimenti sul rendimento degli agenti conversazionali creati con Dialogflow e Customer Experience Agent Studio (CX Agent Studio). CX Agent Studio è un generatore di agenti virtuali che consente di creare sistemi multi-agente asincroni con streaming bidirezionale.
Visualizzare la piattaforma
Segui questi passaggi per visualizzare la piattaforma nella Customer Experience Insights (CX Insights) console.
- Fai clic su Quality AI > Agenti > Agente virtuale.
- Seleziona un agente.
Rendimento dell'agente virtuale
La piattaforma dell'agente virtuale fornisce dettagli sul rendimento dell'agente virtuale. La piattaforma mostra i dettagli delle metriche operative e di Quality AI.
Metriche operative
La piattaforma dell'agente virtuale mostra ciascuna delle seguenti metriche come numero o percentuale.
| Nome | Definizione | Codice |
|---|---|---|
| Volume o sessioni totali | Numero totale di conversazioni gestite da questo agente. | volume o total_sessions |
| Tasso di riassegnazione | Percentuale di conversazioni riassegnate a un agente umano. | escalation_rate |
| Turni per sessione | Numero medio di turni per conversazione. | turns_per_session |
| Tasso di nessuna corrispondenza | Percentuale di conversazioni che non corrispondono ad alcun intent, applicabile solo agli agenti virtuali basati sul flusso. | no_match_rate |
La piattaforma dell'agente virtuale mostra un grafico della variazione nel tempo per ciascuna delle seguenti metriche.
| Nome | Definizione | Codice |
|---|---|---|
| Volume o sessioni totali | Numero totale di conversazioni gestite da questo agente. | volume o total_sessions |
| Suddivisione della latenza end-to-end | Tempo che intercorre tra la fine di un'espressione dell'utente e l'inizio dell'espressione dell'agente successiva. | percentile_end_to_end_latency |
| Tasso di riassegnazione | Percentuale di conversazioni riassegnate a un agente umano. | escalation_rate |
| Suddivisione per tipo di riassegnazione | Numero di conversazioni per iniziatore della riassegnazione. | escalation_type_breakdown |
| Tasso di errori dello strumento | Percentuale di chiamate di strumenti non riuscite in tutti gli utilizzi dello strumento nelle conversazioni per un agente specifico nel periodo di tempo selezionato e per il mezzo di conversazione specificato. | tool_failure_rate |
| Latenza dello strumento | Latenza media di una chiamata di strumenti in tutti gli utilizzi dello strumento nelle conversazioni per l'agente specifico, nel periodo di tempo e nel mezzo di conversazione selezionati. | tool_latency |
| Tasso di nessuna corrispondenza | Percentuale di conversazioni che non corrispondono ad alcun intent, applicabile solo agli agenti virtuali basati sul flusso. | no_match_rate |
Suddivisione della latenza end-to-end (E2E)
La latenza end-to-end (E2E) è il tempo che intercorre tra la fine di un'espressione dell'utente e l'inizio dell'espressione dell'agente successiva. La piattaforma dell'agente virtuale calcola la latenza E2E per ogni interazione utente-agente nelle conversazioni vocali e via chat.
La piattaforma dell'agente virtuale mostra un grafico intitolato Suddivisione della latenza E2E, che illustra la latenza E2E a livello di espressione. L'asse y mostra il tempo con incrementi di 50 millisecondi. L'asse x indica che puoi visualizzare la latenza E2E per gli strumenti, il modello linguistico di grandi dimensioni (LLM) e la sintesi vocale (TTS). Infine, il grafico mostra la latenza E2E come barre separate per tre categorie di percentili: P50 è il 50° percentile, P90 è il 90° percentile e P99 è il 99° percentile. Ad esempio, se la latenza P99 dell'LLM è di 5 secondi, significa che il 99% dei valori di latenza dell'LLM a livello di espressione è inferiore a 5 secondi.
Tasso di riassegnazione
Segui questi metodi per calcolare il tasso di riassegnazione:
- Dialogflow: calcolato utilizzando un segnale di Dialogflow.
- CX Agent Studio: calcolato utilizzando un segnale dalla traccia della sessione finale di CX Agent Studio.
Segui questi passaggi in CX Agent Studio per configurare il tasso di riassegnazione con lo strumento end_session:
- Aggiungi lo strumento
end_sessional nodo dell'agente. Vai alla pagina Agente in Quality AI. Fai clic su Strumenti per visualizzare lo strumentoend_session. Fornisci un'istruzione dell'agente.
Esempio: quando il cliente chiede un agente umano, esegui lo
end_sessionstrumento con l'argomento{session_escalated = true}
Nello strumento end_session, CX Insights si basa sull'argomento session_escalated e sul parametro endSession per calcolare il tasso di riassegnazione.
Suddivisione per tipo di riassegnazione
La suddivisione per tipo di riassegnazione mostra il numero di conversazioni per ogni iniziatore della riassegnazione: utente o agente. Quality AI determina l' iniziatore della riassegnazione rispondendo alla domanda predefinita Chi ha riassegnato la conversazione? Puoi eseguire il drill-down su un iniziatore della riassegnazione per visualizzare un elenco di conversazioni con questo iniziatore.
Strumenti
Le metriche degli strumenti vengono calcolate per gli strumenti dell'agente conversazionale. Le metriche aggregate come la latenza degli strumenti e i tassi di errori aiutano i creatori di bot a identificare i colli di bottiglia delle prestazioni nelle conversazioni.
Metriche di Quality AI
La piattaforma dell'agente virtuale mostra le seguenti metriche di Quality AI.
- Punteggio di qualità: punteggio di qualità medio per scheda di valutazione nelle conversazioni gestite da questo agente.
- Sentiment complessivo: punteggio di sentiment medio nelle conversazioni gestite da questo agente.
- Suddivisione del sentiment: un grafico a barre con codifica a colori per illustrare il numero di conversazioni di questo agente per categoria di sentiment a livello di conversazione: negativo, neutro o positivo.
- Esito della conversazione: numero di conversazioni per ogni esito possibile.
- Sentiment per rilevamento: suddivisione del numero di conversazioni per categoria di sentiment a livello di conversazione per questa metrica.
La piattaforma mostra anche i grafici della variazione nel tempo per le seguenti metriche di Quality AI.
- Punteggio di qualità: percentuale di punteggi di qualità per tutte le conversazioni gestite da questo agente.
- Suddivisione per categoria di punteggio: numeri del punteggio di qualità per ogni categoria predefinita: attività, conformità, cliente e qualsiasi categoria personalizzata.
Esito della conversazione
Il grafico dell'esito della conversazione mostra il numero di conversazioni terminate con ciascuno dei seguenti esiti possibili:
- Abbandonata
- Parzialmente risolta
- Riassegnazione
- Deviato
- Risoluzione riuscita
- Sconosciuto
Calcola gli esiti delle conversazioni utilizzando le domande predefinite nella scheda di valutazione predefinita in Quality AI.
- Per visualizzare i dati sugli esiti in questo grafico, esegui un'analisi di Quality AI con la scheda di valutazione predefinita.
- Fai clic su un esito per visualizzare un elenco di conversazioni con quell'esito.
Suddivisione del sentiment
Dopo aver eseguito l'analisi del sentiment su tutte le conversazioni, il grafico di suddivisione del sentiment mostra il numero di conversazioni con un sentiment complessivo in ogni categoria: negativo, neutro, e positivo.