Customer Experience Insights ti consente di importare le conversazioni da Agent Assist per analizzarle. Questo documento illustra la procedura per calcolare diverse metriche conversazionali importanti sui dati di Agent Assist importati.
Prerequisiti
Utilizza Agent Assist per generare dati conversazionali utilizzando le funzionalità di risposta rapida o riepilogo.
Abilita l'integrazione del runtime Dialogflow in Customer Experience Insights.
Esporta i dati da CX Insights a BigQuery.
Percentuale di attivazione
La percentuale di attivazione descrive la frequenza con cui un tipo di annotazione viene visualizzato in una conversazione.
Percentuale di attivazione a livello di frase
Una percentuale di attivazione a livello di frase si applica alle annotazioni che possono essere visualizzate almeno una volta per frase.
| Nome annotazione | Tipo di annotazione | Criteri |
|---|---|---|
| Suggerimento articoli | 'ARTICLE_SUGGESTION' |
Viene inviata almeno una richiesta SuggestArticles per ogni messaggio nella conversazione. |
| Assistenza per le domande frequenti | 'FAQ' |
Viene inviata almeno una richiesta SuggestFaqAnswers o AnalyzeContent per ogni messaggio nella conversazione. |
| Risposta rapida | 'SMART_REPLY' |
Viene inviata almeno una richiesta SuggestSmartReplies o AnalyzeContent per ogni messaggio nella conversazione. |

WITH calculation AS ( SELECT COUNTIF( ( SELECT COUNT(*) FROM UNNEST (sen.annotations) AS annotation WHERE annotation.type = 'ANNOTATION_TYPE' ) > 0 ) AS numSentencesAtLeastOneAnnotation, COUNT(*) AS numSentencesTotal FROM BIGQUERY_TABLE, UNNEST (sentences) AS sen ) SELECT numSentencesAtLeastOneAnnotation, numSentencesTotal, numSentencesAtLeastOneAnnotation / numSentencesTotal AS triggerRate FROM calculation;
Percentuale di attivazione a livello di conversazione
Una percentuale di attivazione a livello di conversazione si applica alle annotazioni che possono essere visualizzate al massimo una volta per conversazione.
| Nome annotazione | Tipo di annotazione | Criteri |
|---|
| Assistenza knowledge base generativa (GKA) | 'KNOWLEDGE_SEARCH' | Viene inviata almeno una richiesta SearchKnowledge per ogni messaggio nella conversazione. |
| Assistenza knowledge base generativa proattiva | 'KNOWLEDGE_SEARCH' | Viene inviata almeno una richiesta SearchKnowledge o AnalyzeContent per ogni messaggio nella conversazione. |
| Riepilogo | 'CONVERSATION_SUMMARIZATION' | Viene inviata almeno una richiesta SuggestConversationSummary per ogni conversazione. |

WITH calculation AS ( SELECT COUNTIF( ( SELECT COUNT(*) FROM UNNEST (sentences) AS sen, UNNEST (sen.annotations) AS annotation WHERE annotation.type = 'ANNOTATION_TYPE' ) > 0 ) AS numConversationsAtLeastOneAnnotation, COUNT(*) AS numConversationsTotal FROM BIGQUERY_TABLE ) SELECT numConversationsAtLeastOneAnnotation, numConversationsTotal, numConversationsAtLeastOneAnnotation / numConversationsTotal AS triggerRate FROM calculation;
Percentuale di clic
La percentuale di clic descrive la frequenza con cui gli agenti del call center fanno clic sulle annotazioni suggerite.
Percentuale di clic a livello di frase
Una percentuale di clic a livello di frase si applica alle annotazioni su cui gli agenti del call center possono fare clic più volte per frase.
| Nome annotazione | Tipo di annotazione | Criteri |
|---|---|---|
| Suggerimento articoli | 'ARTICLE_SUGGESTION' |
Viene inviata almeno una richiesta SuggestArticles per ogni messaggio nella conversazione. |
| Assistenza per le domande frequenti | 'FAQ' |
Viene inviata almeno una richiesta SuggestFaqAnswers o AnalyzeContent per ogni messaggio nella conversazione. |
| Risposta rapida | 'SMART_REPLY' |
Viene inviata almeno una richiesta SuggestSmartReplies o AnalyzeContent per ogni messaggio nella conversazione. |

WITH calculation AS ( SELECT COUNTIF( ( SELECT COUNT(*) FROM UNNEST (sen.annotations) AS annotation WHERE annotation.type = 'ANNOTATION_TYPE' AND annotation.displayed = TRUE AND annotation.clicked = TRUE ) > 0 ) AS numSentencesAtLeastOneClickedAndDisplayedAnnotation, COUNTIF( ( SELECT COUNT(*) FROM UNNEST (sen.annotations) AS annotation WHERE annotation.type = 'ANNOTATION_TYPE' AND annotation.displayed = TRUE ) > 0 ) AS numSentencesAtLeastOneDisplayedAnnotation, FROM BIGQUERY_TABLE, UNNEST (sentences) AS sen ) SELECT numSentencesAtLeastOneClickedAndDisplayedAnnotation, numSentencesAtLeastOneDisplayedAnnotation, numSentencesAtLeastOneClickedAndDisplayedAnnotation / numSentencesAtLeastOneDisplayedAnnotation AS clickThroughRate FROM calculation;
Percentuale di clic a livello di conversazione
Una percentuale di clic a livello di conversazione si applica alle annotazioni su cui gli agenti del call center possono fare clic più volte per conversazione. Gli agenti del call center devono inviare in modo proattivo una richiesta che crei un'annotazione a livello di conversazione.
| Nome annotazione | Tipo di annotazione | Criteri |
|---|---|---|
| Assistenza knowledge base generativa (GKA) | 'KNOWLEDGE_SEARCH' |
Viene inviata almeno una SearchKnowledge richiesta per ogni messaggio nella conversazione. |
| Assistenza knowledge base generativa proattiva | 'KNOWLEDGE_SEARCH' |
Viene inviata almeno una richiesta SearchKnowledge o AnalyzeContent per ogni messaggio nella conversazione. |
Metriche specifiche per le funzionalità
Questa sezione elenca le metriche specifiche per ogni funzionalità.
Assistenza knowledge base generativa
L'assistenza knowledge base generativa (GKA) fornisce risposte alle domande di un agente in base alle informazioni contenute nei documenti che fornisci. Se l'agente non riesce a trovare una risposta, GKA suggerisce una domanda simile da porre e fornisce la risposta. Questa funzionalità produce le seguenti metriche di ricerca nella knowledge base:
| Nome metrica | Definizione | Calcolo |
|---|---|---|
| Conteggio risultati | Numero totale di risposte fornite a un singolo agente per tutte le conversazioni. | |
| Rapporto tra origine della query dell'agente | Proporzione delle domande dell'agente rispetto al numero totale di domande. | Calcola il numero di domande dell'agente diviso per il numero totale di domande. |
| Rapporto tra origine della query suggerita | Proporzione delle domande suggerite rispetto al numero totale di domande. | Calcola il numero di domande suggerite diviso per il numero totale di domande. |
| Rapporto tra clic sugli URI | Proporzione delle risposte in cui è stato fatto clic su almeno un URI rispetto al numero totale di risposte. | Calcola il numero di risposte per le quali un agente ha fatto clic sull'URI diviso per il numero totale di risposte. |
| Rapporto tra feedback positivi | Proporzione di feedback positivi sulle risposte rispetto al numero totale di risposte. | Calcola il numero di risposte che hanno ricevuto feedback positivi diviso per il numero totale di risposte. |
| Rapporto tra feedback negativi | Proporzione di feedback negativi sulle risposte rispetto al numero totale di risposte. | Calcola il numero di risposte che hanno ricevuto feedback negativi diviso per il numero totale di risposte. |
Assistenza knowledge base generativa proattiva
L'assistenza knowledge base generativa proattiva suggerisce le domande in base al contesto della conversazione corrente e fornisce le risposte in base alle informazioni contenute nei documenti che fornisci. L'assistenza knowledge base generativa proattiva non richiede l'interazione dell'agente. Questa funzionalità produce le seguenti metriche di assistenza knowledge base:
| Nome metrica | Definizione | Calcolo |
|---|---|---|
| Conteggio risultati | Numero totale di suggerimenti forniti a un singolo agente per tutte le conversazioni. | |
| Rapporto tra clic sugli URI | Proporzione dei suggerimenti in cui è stato fatto clic su almeno un URI rispetto al numero totale di suggerimenti forniti. | Calcola il numero di suggerimenti per i quali un agente ha fatto clic sull'URI diviso per il numero totale di suggerimenti forniti. |
| Rapporto tra feedback positivi | Proporzione di feedback positivi sui suggerimenti rispetto al numero totale di suggerimenti. | Calcola il numero di suggerimenti che hanno ricevuto feedback positivi diviso per il numero totale di suggerimenti. |
| Rapporto tra feedback negativi | Proporzione di feedback negativi sui suggerimenti rispetto al numero totale di suggerimenti. | Calcola il numero di suggerimenti che hanno ricevuto feedback negativi diviso per il numero totale di suggerimenti. |
Risposta rapida
Questa sezione elenca le metriche specifiche per la risposta rapida.
Percentuale di clic effettiva (CTR effettivo)
La percentuale di clic effettiva riflette in modo più preciso la frequenza con cui gli agenti del call center fanno clic sulle annotazioni di risposta rapida rispetto alla metrica della percentuale di clic normale. La query seguente recupera la risposta di ogni agente e le annotazioni di risposta rapida create solo per la risposta dell'agente e su cui l'agente ha fatto clic. Quindi, conta il numero di occorrenze in cui l'agente ha scritto la risposta utilizzando i suggerimenti di risposta rapida, quindi divide questo numero per il conteggio totale delle risposte dell'agente.

WITH calculation AS ( SELECT sen.sentence AS agentResponse, ( # Get a list of effective smart replies that map to each agent response. SELECT ARRAY_AGG(JSON_QUERY(PARSE_JSON(JSON_VALUE(annotation.annotationRecord)), "$.reply")) FROM UNNEST (sentences) AS sen2, UNNEST (sen2.annotations) AS annotation WHERE annotation.type='SMART_REPLY' AND annotation.clicked=TRUE AND annotation.annotationRecord IS NOT NULL AND annotation.createTimeNanos >= ( # Get the timestamp of the agent response that immediately precedes # the current agent response. The timestamp of the effective smart # reply must be greater than this timestamp. SELECT MAX(sen3.createTimeNanos) FROM UNNEST(sentences) AS sen3 WHERE sen3.participantRole = 'HUMAN_AGENT' AND sen3.createTimeNanos < sen.createTimeNanos ) AND annotation.createTimeNanos <= sen.createTimeNanos ) AS effectiveSmartRepliesPerAgentResponse FROM BIGQUERY_TABLE, UNNEST (sentences) AS sen WHERE sen.participantRole = 'HUMAN_AGENT' ) SELECT COUNTIF(ARRAY_LENGTH(effectiveSmartRepliesPerAgentResponse) > 0) / COUNT(agentResponse) AS effectiveCTR FROM calculation;
Modifica frequenza
Gli agenti possono scegliere di utilizzare le risposte di risposta rapida suggerite alla lettera o di modificare le risposte prima di inviarle ai clienti. Il calcolo della modifica frequenza delle risposte di risposta rapida può mostrare la frequenza con cui le risposte suggerite vengono modificate. La query seguente recupera ogni risposta rapida suggerita e la risposta dell'agente che segue immediatamente la risposta rapida. Quindi, conta il numero di occorrenze in cui la risposta dell'agente non contiene la risposta rapida corrispondente, quindi divide questo numero per il conteggio totale delle risposte rapide.

WITH calculation AS ( SELECT JSON_VALUE(PARSE_JSON(JSON_VALUE(annotation.annotationRecord), wide_number_mode=>'round'), "$.reply") AS smartReply, ( # Get the agent response that immediately follows the smart reply. SELECT sen2.sentence FROM UNNEST (sentences) AS sen2 WHERE sen2.createTimeNanos = ( SELECT MIN(sen3.createTimeNanos) FROM UNNEST (sentences) AS sen3 WHERE sen3.createTimeNanos > sen.createTimeNanos AND sen3.participantRole = 'HUMAN_AGENT' ) ) AS agentResponseThatFollows, FROM BIGQUERY_TABLE, UNNEST (sentences) AS sen, UNNEST (sen.annotations) AS annotation WHERE annotation.type='SMART_REPLY' AND annotation.clicked=TRUE AND annotation.annotationRecord IS NOT NULL ) SELECT COUNTIF(REGEXP_CONTAINS(agentResponseThatFollows, smartReply)) / COUNT(smartReply) AS editRate FROM calculation;
Riepilogo
Questa sezione elenca le metriche specifiche per il riepilogo.
- Il tipo
GENERATOR_SUGGESTION_RESULTconterrà tutti i risultati del generatore, inclusi i riepiloghi. - Il tipo
CONVERSATION_SUMMARIZATION_SUGGESTIONconterrà i riepiloghi precedenti.
Riepilogo del generatore
Query di esempio per accedere al riepilogo del generatore e alle modifiche dell'agente al riepilogo in formato JSON:
SELECT IF (JSON_VALUE(annotation.annotationRecord) != '', JSON_QUERY(PARSE_JSON(JSON_VALUE(annotation.annotationRecord)), "$.generatorSuggestion.summarySuggestion"), NULL) AS generator_summary, IF (JSON_VALUE(annotation.detailedFeedback) != '', JSON_QUERY(PARSE_JSON(JSON_VALUE(annotation.detailedFeedback)), "$.summarizationFeedback.summaryText"), NULL) AS feedback, FROM BIGQUERY_TABLE AS c, UNNEST(c.sentences) AS sentences, UNNEST(sentences.annotations) AS annotation WHERE annotation.type = 'GENERATOR_SUGGESTION_RESULT' AND JSON_QUERY(PARSE_JSON(JSON_VALUE(annotation.annotationRecord)), "$.generatorSuggestion.summarySuggestion") IS NOT NULL LIMIT 10 ;
Distanza di modifica
La distanza di modifica del riepilogo è una misura della differenza tra i riepiloghi modificati dall'agente e i riepiloghi suggeriti. Questa metrica è correlata alla quantità di tempo che l'agente ha trascorso a modificare i riepiloghi suggeriti.
Esegui una query sui riepiloghi e sui relativi riepiloghi rivisti (se presenti).
Poiché gli agenti del call center possono inviare revisioni del riepilogo senza impostare il valore booleano
clickedsutrue, esegui una query sui riepiloghi, indipendentemente dal relativo statoclicked. Se il riepilogo dell'agente è null, l'agente non ha rivisto il riepilogo suggerito o il riepilogo rivisto non è stato inviato ad Agent Assist utilizzando il percorso di feedback preferito.Confronta i riepiloghi suggeriti con i riepiloghi rivisti degli agenti utilizzando i tuoi preferiti algoritmi di distanza di modifica per calcolare la distanza di modifica del riepilogo. Ad esempio, distanza di Levenshtein con penalità uguale per inserimento, eliminazione e sostituzione.

SELECT JSON_VALUE(PARSE_JSON(JSON_VALUE(annotation.annotationRecord)), "$.text") AS suggestedSummary, IF (JSON_VALUE(annotation.detailedFeedback) != '', JSON_QUERY(PARSE_JSON(JSON_VALUE(annotation.detailedFeedback)), "$.summarizationFeedback.summaryText"), NULL) AS feedback, FROM BIGQUERY_TABLE, UNNEST (sentences) AS sen, UNNEST (sen.annotations) as annotation WHERE type='CONVERSATION_SUMMARIZATION_SUGGESTION';
Modifica frequenza
Puoi calcolare la modifica frequenza per il riepilogo dividendo la distanza di modifica per la lunghezza della stringa del riepilogo modificato. Questa metrica riflette la quantità di riepilogo modificata dall'agente. Questa modifica frequenza non ha un limite superiore, ma quando il valore è uguale o maggiore di uno, significa che i riepiloghi generati sono errati e la funzionalità dovrebbe probabilmente essere disattivata.
Modifica la percentuale
La modifica percentuale è una misura della percentuale del numero totale di riepiloghi suggeriti che sono stati modificati dagli agenti anziché essere utilizzati alla lettera. Viene calcolata dividendo il numero di riepiloghi modificati dall'agente per il numero di riepiloghi suggeriti. Questa metrica è un buon indicatore della qualità del modello quando il valore è vicino a 0. Tuttavia, quando è vicino a 1, non significa necessariamente che la qualità del modello sia scarsa, poiché la modifica potrebbe essere minore e verrebbe comunque conteggiata come se il riepilogo suggerito fosse stato modificato.

WITH summaryAndEdits AS ( SELECT JSON_VALUE(PARSE_JSON(JSON_VALUE(annotation.annotationRecord)), "$.text") AS suggestedSummary, IF (JSON_VALUE(annotation.detailedFeedback) != '', JSON_QUERY(PARSE_JSON(JSON_VALUE(annotation.detailedFeedback)), "$.summarizationFeedback.summaryText"), NULL) AS editedSummary, FROM BIGQUERY_TABLE, UNNEST (sentences) AS sen, UNNEST (sen.annotations) AS annotation WHERE type='CONVERSATION_SUMMARIZATION_SUGGESTION' ) SELECT countif (suggestedSummary IS NOT NULL) AS totalSummaries, countif (editedSummary IS NOT NULL) AS editedSummaries, countif (editedSummary IS NOT NULL) / countif (suggestedSummary IS NOT NULL) AS editRate FROM summaryAndEdits;