Best practice per Quality AI

Questo documento illustra i consigli di Google su come utilizzare al meglio l'AI di qualità. Se segui le linee guida riportate in questo documento, ti assicurerai che l'AI di qualità fornisca le informazioni più accurate e utili possibili per le esigenze della tua attività.

Prospetti

Le schede di valutazione forniscono l'accesso alle metriche sul rendimento degli agenti e istruzioni dettagliate per rispondere alle domande su una conversazione. Devi inserire i dati della conversazione, le domande e le possibili opzioni di risposta, insieme alle istruzioni su come interpretare le risposte. Per ottenere risultati ottimali, utilizza la pagina Prospetti nella console Quality AI per caricare le conversazioni di esempio.

I prospetti forniscono un modo per raggruppare le domande e visualizzare punteggi separati per ogni raggruppamento. Crea più schede di valutazione con domande diverse in ciascuna per valutare le conversazioni in base a criteri diversi. Puoi quindi visualizzare i punteggi di qualità e conversazione per ogni scheda di valutazione per valutare un agente in base a criteri separati.

Dati relativi alle conversazioni

I dati delle conversazioni sono trascrizioni di conversazioni vocali o di chat con informazioni che consentono l'identificazione personale oscurate. Carica almeno 2000 conversazioni per ogni unità aziendale o call center.

Puoi anche caricare registrazioni audio di conversazioni vocali. Per risultati ottimali, registra l'audio utilizzando le seguenti specifiche:

  • Due canali
  • Frequenza di campionamento di 16.000 Hz (o 8000-48.000 Hz)
  • Codifica senza perdita di dati: FLAC o LINEAR16
  • Codifica lossless per i file audio WAV: LINEAR16 o MULAW

I metadati delle registrazioni audio di una chiamata vocale devono includere le seguenti informazioni:

  • Etichette del canale per identificare l'agente e il cliente
  • ID agente, nome, posizione, team e CSAT
  • La lingua audio come tag lingua BCP-47, ad esempio en-US

Domande

All'interno di ogni prospetto, le domande e le istruzioni per rispondere forniscono informazioni preziose per l'AI di qualità per valutare le conversazioni e il rendimento degli agenti. Per massimizzare l'accuratezza delle valutazioni automatiche, scrivi domande e istruzioni tenendo presenti i seguenti concetti:

  • Chiarezza: scrivi domande chiare e comprensibili per un essere umano.
  • Specificità: aggiungi opzioni di risposta e istruzioni il più specifiche possibile.
  • Dettagli: includi istruzioni che forniscano dettagli sufficienti a consentire a una persona di valutare le conversazioni in modo affidabile e sicuro.
  • Esempi: l'AI di qualità è ancora più precisa se fornisci esempi di conversazioni reali che illustrano ogni risposta alle tue domande.

Le domande possono assumere varie forme. Di seguito sono riportati alcuni modelli di domande utili:

  1. "L'agente ha…?" con un'azione specifica. Questo formato indica che il valutatore deve cercare qualcosa che ha detto l'agente.
  2. "Il cliente ha…?" con un'azione specifica. Questo formato indica che il valutatore deve cercare qualcosa che ha detto il cliente.
  3. Iniziare con parole interrogative come cosa o perché incoraggia la valutazione dell'intera conversazione.

Domande con più risposte

Gli utenti spesso scrivono domande con risposte solo sì e no. Tuttavia, una domanda potrebbe non essere pertinente alla conversazione, il che giustifica la risposta N/A.

In alternativa, la domanda potrebbe essere interpretata come sì o no in una serie di circostanze, il che porta a risposte incoerenti con solo due opzioni. L'inclusione di domande che richiedono altri tipi di risposte consente al modello di AI di comprendere più a fondo la conversazione.

Analisi acustica

L'AI per la qualità valuta le trascrizioni delle conversazioni e non può eseguire l'analisi acustica. Escludi le domande che richiedono un'analisi acustica. Ad esempio, né una persona né l'AI per la qualità possono rispondere alla domanda "L'agente ha utilizzato un saluto con un tono di voce allegro?" semplicemente leggendo la trascrizione della conversazione.

Tag

Il tag facoltativo fornisce una categoria più piccola per raggruppare le domande correlate. Per una singola conversazione, l'IA per la qualità calcola un punteggio complessivo della conversazione. Puoi raggruppare le domande utilizzando uno dei tre tag: attività, cliente o conformità. Per ogni tag, Quality AI calcola anche un punteggio che include solo le domande a cui è stato applicato quel tag.

Istruzioni

Le istruzioni definiscono come viene interpretata ogni risposta, pertanto devono essere specifiche e non lasciare spazio a interpretazioni. La definizione garantisce che ogni valutazione di una conversazione fornisca la stessa risposta.

Formato

Includi una breve descrizione dello scopo della domanda, seguita da una descrizione dei criteri per ogni possibile risposta. Ciò significa che devi definire la circostanza precisa in cui qualcuno darebbe ogni opzione di risposta.

Ad esempio, le seguenti istruzioni si applicano a una domanda con risposta sì/no che chiede: "L'agente ha risolto il problema principale del cliente prima di effettuare la vendita incrociata?"

Istruzioni:

Lo scopo di questa domanda è capire se l'agente ha risolto il problema principale del cliente prima di cercare di vendere un prodotto aggiuntivo. In questo modo si crea un'esperienza più positiva per il nostro brand.

  • Assegna un punteggio "Sì" se l'agente ha risolto il problema principale e poi ha tentato di effettuare una vendita. Esempio: "Ho appena aggiornato i dati del tuo account. Mi risulta che hai contrassegnato il tuo dispositivo per la smart home come rotto. Vuoi ordinare una sostituzione?"

  • Assegna un punteggio "No" se l'agente ha cercato di vendere un prodotto prima di risolvere il problema principale. Esempio: "Prima di aggiornare i dati del tuo account, vedo che hai acquistato un laptop da noi cinque anni fa. Vuoi provare il nostro nuovo modello?"

  • Assegna il punteggio "N/A" se non è stato effettuato alcun tentativo di vendita.

Tipi di risposta

Il tipo di risposta dipende dalla struttura della domanda. Questa sezione fornisce suggerimenti per aiutarti a iniziare, ma non un elenco esaustivo di utilizzi.

Sì/No

Sì/No è il tipo di risposta più comune perché puoi valutare rapidamente queste domande e le risposte sono spesso più intuitive rispetto ad altri tipi di risposta. Le domande che traggono vantaggio da un tipo di risposta sì/no spesso iniziano con "Hai..." e chiedono se è stata eseguita un'azione specifica. Queste domande possono anche essere scritte come domande vero o falso.

Nelle conversazioni di esempio, le risposte sì/no vengono registrate come valore vero o falso nei seguenti formati:

  • Una risposta "Sì" è true.
  • Una risposta No èfalse.

Numeri

Le risposte numeriche sono utili per le domande che richiedono un conteggio di qualcosa, un importo in dollari o una valutazione su una scala. Le domande che traggono vantaggio da questo tipo di risposta spesso iniziano con "Quanti…", "Quanto..." o "Su una scala da..." e ti chiede di determinare una singola risposta.

Nelle conversazioni di esempio, le risposte numeriche hanno il seguente formato:

  • Una risposta di 40,5 è 40.5.

Testo

Le risposte di testo richiedono il maggior lavoro da parte di un annotatore umano. Le domande che traggono vantaggio da risposte di testo spesso iniziano con parole interrogative, come "Che cosa…" o "Perché…" e spesso richiedono una valutazione dell'intera conversazione. Le risposte di testo incoraggiano una maggiore varietà nelle risposte, quindi le istruzioni devono spiegare chiaramente come interpretare la domanda e quando assegnare ogni opzione di risposta.

Nelle conversazioni di esempio, le risposte di testo hanno il seguente formato:

  • Una risposta di tipo Concluso è "CONCLUDED".

Assegna punteggi

Quando crei una domanda, puoi assegnare un punteggio numerico a ogni opzione di risposta. Questi punteggi rappresentano l'importanza di ogni opzione di risposta per il calcolo del punteggio complessivo della conversazione.

Un intervallo utile per i punteggi delle opzioni di risposta è 0-10. Questo intervallo offre una certa variazione per la specificità ed è paragonabile a una percentuale. Una risposta con un punteggio pari a 0 non influisce sul calcolo del punteggio della conversazione. Una scelta di risposta con un punteggio di 10 ha il maggiore impatto sul punteggio della conversazione. In altre parole, la scelta di risposta con un punteggio di 10 aumenta il punteggio della conversazione più di qualsiasi altra scelta di risposta con un punteggio inferiore. Una risposta con un punteggio di 5 aumenta il punteggio della conversazione della metà rispetto alla risposta con un punteggio di 10.

N/D

Seleziona la casella di controllo per attivare N/A come opzione di risposta quando una domanda non si applica a una conversazione. Quando l'AI per la qualità sceglie N/A come risposta, la domanda viene rimossa dal calcolo del punteggio della conversazione.

Esempi di input del prospetto

I seguenti esempi mostrano come aggiungere tutte le informazioni necessarie per un prospetto utile. Ogni prospetto richiede le seguenti informazioni:

  • Qualsiasi domanda sulla conversazione.
  • Istruzioni per interpretare la domanda e definire ogni opzione di risposta.
  • Tipo di risposta (può essere testo, numero o sì/no).
  • Opzioni di risposta che definiscono le possibili risposte in base al tipo di risposta (possono essere sì e no, un elenco di numeri o alcune risposte di testo).
  • Punteggio per impostare i punti guadagnati per ogni opzione di risposta. Il punteggio massimo per una singola domanda è determinato dal punteggio più alto tra tutte le opzioni di risposta.

Puoi includere i seguenti elementi per organizzare le domande nel tuo prospetto, ma non sono obbligatori:

  • Tag per raggruppare le domande in categorie (possono essere attività, clienti o conformità).

Esempio 1

  • Domanda: qual è stato l'esito della conversazione?
  • Tag: Customer

  • Istruzioni: l'obiettivo di qualsiasi conversazione è raggiungere una risoluzione o un risultato che rientri in una delle quattro categorie possibili: conclusa, trasferita, reindirizzata o riassegnata.

    • Le conversazioni concluse sono quelle che sono state risolte correttamente e non richiedono ulteriori azioni. Il problema del cliente è stato risolto e la conversazione è terminata.

    • Le conversazioni trasferite sono quelle che devono essere gestite da un altro reparto o agente. Il cliente potrebbe essere stato trasferito a uno specialista che può aiutarlo meglio a risolvere il problema.

    • Le conversazioni reindirizzate sono quelle che devono essere gestite da un altro canale. Ad esempio, un cliente potrebbe essere stato reindirizzato da una chiamata a una sessione di chat online.

    • Le conversazioni riassegnate sono quelle che richiedono il coinvolgimento di un responsabile o supervisore. Il cliente potrebbe aver richiesto il riassegnamento a un altro agente a causa della gravità del problema o perché non è soddisfatto della risoluzione offerta dall'agente iniziale.

  • Tipo di risposta: Testo

    Scelta di risposta Punteggio
    Concluso 1
    Trasferito 1
    Reindirizzato 1
    Riassegnazione 0

    Aggiungi N/A come opzione di risposta. Se selezionata, la domanda non verrà inclusa nel calcolo del punteggio totale.

Esempio 2

  • Domanda: su una scala da 0 a 5, quanto è stata efficace la comunicazione tra l'agente e il cliente?
  • Tag: Business, Conformità, Cliente

  • Istruzioni: scala e criteri

    • 0, Estremamente scarso: nessuna comunicazione o incomprensione totale. Linguaggio offensivo, violento o dannoso. Mancanza totale di rispetto o empatia.

    • 1, Molto scarso: difficoltà di comunicazione significative. Interruzioni frequenti o persone che parlano una sopra l'altra. Minimo sforzo per comprendere o entrare in contatto. Comportamento scortese o irrispettoso.

    • 2, Scarso: alcune difficoltà di comunicazione. Fraintendimenti occasionali o mancanza di chiarezza. Interazione o interesse limitati. Occasionali atti di mancanza di rispetto o insensibilità.

    • 3, Media: comunicazione di base raggiunta. È necessario un certo impegno per comprendere e farsi comprendere.Livello moderato di coinvolgimento e connessione. Generalmente rispettoso, ma con margini di miglioramento.

    • 4, Buono: comunicazione chiara ed efficace. Ascolto attivo e comprensione. Coinvolgimento e connessione significativi. Rispetto reciproco ed empatia dimostrati.

    • 5, Eccellente: comunicazione e comprensione eccezionali. Coinvolgimento e connessione profondi. Forte senso di collaborazione e supporto reciproco. Elevati livelli di rispetto, empatia e compassione.

    Fattori da considerare durante la valutazione:

    • Chiarezza: la comunicazione è stata chiara e facile da capire?

    • Comprensione: i partecipanti hanno dimostrato di ascoltare attivamente e di comprendere i punti di vista degli altri?

    • Coinvolgimento: i partecipanti hanno partecipato attivamente alla conversazione e si sono interessati a ciò che gli altri avevano da dire?

    • Rispetto: durante la conversazione sono stati dimostrati rispetto e considerazione reciproci?

    • Empatia: i partecipanti hanno dimostrato empatia e comprensione per i sentimenti degli altri?

    • Collaborazione: c'era un senso di collaborazione e lavoro di squadra oppure i partecipanti si sentivano in competizione tra loro?

    • Risultato: la conversazione ha raggiunto gli obiettivi previsti o ha portato a un risultato positivo?

    Ricorda: il contesto è importante. Considera il contesto e lo scopo della conversazione. Ciò che potrebbe essere appropriato in un contesto potrebbe non esserlo in un altro.

    Soggettività: la valutazione può essere soggettiva. Persone diverse potrebbero avere interpretazioni leggermente diverse della stessa conversazione.

    Concentrati sul miglioramento: utilizza le valutazioni come strumento di apprendimento e miglioramento, anziché come modo per giudicare o criticare.

    Questo framework fornisce una guida di base per valutare le conversazioni, ma puoi adattare e modificare i criteri in base alle tue esigenze e ai tuoi obiettivi specifici.

  • Tipo di risposta: numero

  • Opzioni di risposta e punteggi:

    Scelta di risposta Punteggio
    0 0
    1 1
    2 2
    3 3
    4 4
    5 5

Aggiungi N/A come opzione di risposta. Se selezionata, la domanda non verrà inclusa nel calcolo del punteggio totale.

Esempio 3

  • Domanda: il rappresentante (agente) ha salutato il cliente con un'apertura adeguata?
  • Tag: Customer
  • Istruzioni: il rappresentante (agente) deve sempre iniziare le conversazioni con un'apertura e un saluto adeguati. Questo passaggio è fondamentale per stabilire un rapporto positivo e professionale con il cliente. L'apertura deve essere calorosa, amichevole e accogliente, in modo che il cliente si senta apprezzato e rispettato. Il rappresentante (agente) deve anche assicurarsi che il saluto sia appropriato al contesto e al background culturale del cliente. Iniziando la conversazione con un'apertura e un saluto adeguati, il rappresentante può creare una prima impressione positiva, instaurare un rapporto e gettare le basi per un'interazione di successo con il cliente.
  • Tipo di risposta: Sì/No

  • Opzioni di risposta e punteggi:

    Scelta di risposta Punteggio
    "Sì" 1
    "No" 0

Aggiungi N/A come opzione di risposta. Se selezionata, la domanda non verrà inclusa nel calcolo del punteggio totale.

Aggiungere conversazioni di esempio

Le conversazioni di esempio sono utili per chiarire l'interpretazione delle domande. La calibrazione e la personalizzazione del modello di AI richiedono conversazioni di esempio con risposte assegnate per ogni domanda. Il modello di AI apprende dai dati delle conversazioni reali, quindi prendi esempi dalle conversazioni esistenti in Customer Experience Insights. Se non fornisci conversazioni di esempio, Quality AI utilizza un modello di base che non conosce le risposte previste alle tue domande.

Per migliorare le prestazioni del modello di AI, includi almeno quanto segue:

  • 100 conversazioni di esempio per domanda
  • 40 conversazioni di esempio per ogni opzione di risposta

Se fornisci meno di 100 conversazioni di esempio per una singola domanda, il modello di AI non imparerà a valutare con precisione quella domanda specifica. Le conversazioni di esempio vengono archiviate e il modello apprende dopo che ne hai raccolte abbastanza. Una singola conversazione può insegnare al modello come assegnare un punteggio a più domande e puoi migliorare ulteriormente l'accuratezza del punteggio per qualsiasi domanda aggiungendo altre conversazioni di esempio.

Per ogni domanda nella tabella, includi una percentuale di conversazioni per illustrare ogni opzione di risposta. Il seguente esempio mostra quante conversazioni potresti includere per illustrare due possibili scelte di risposta. Questa suddivisione specifica non è obbligatoria.

Se una domanda in una scheda di valutazione è "L'agente ha mostrato empatia nei confronti del cliente?" e la risposta può essere sì o no, includi entrambi i seguenti elementi:

Domanda Risposte possibili Quota di conversazioni
L'agente ha dimostrato empatia nei confronti del cliente? "Sì" 75%
"No" 25%

Formato di conversazione di esempio

Le conversazioni di esempio devono includere almeno gli identificatori per ogni conversazione, scheda di valutazione e domanda, nonché la risposta prevista. Le conversazioni di esempio possono includere anche le opzioni di risposta, i punteggi e le istruzioni. Le conversazioni di esempio vengono caricate come risorsa FeedbackLabel. Per informazioni sulla modifica delle conversazioni di esempio utilizzando l'API, consulta la guida alla configurazione.

CSV

Devi caricare le conversazioni di esempio in un file CSV. La prima riga del file CSV deve essere l'intestazione e il file deve contenere le seguenti categorie:

  • ConversationId
  • QaScorecardId
  • QaQuestionId
  • QaAnswerLabel o campi individuali come QaAnswerScore e QaAnswerValue

Quality AI può creare automaticamente un modello di conversazione di esempio con gli ID precedenti compilati. Puoi scegliere quale scheda di valutazione utilizzare per le conversazioni di esempio e filtrare il modello in modo da includere solo alcune delle tue conversazioni. Per istruzioni sulla creazione di un modello e sul caricamento di conversazioni di esempio, consulta la guida alla configurazione di Quality AI.

I file CSV di esempio di conversazioni possono avere vari formati. Ad esempio, le risposte sì/no corrispondono a un valore vero o falso, i numeri rimangono invariati e le risposte di testo sono racchiuse tra virgolette. Ciò significa che true viene visualizzato come tipo di risposta Sì/No e la risposta selezionata è Sì. D'altra parte, "Yes" viene visualizzato come tipo di risposta di testo con una risposta selezionata di Sì. Gli esempi riportati di seguito illustrano alcuni possibili formati CSV.

  • L'intestazione individuale QaAnswerValue non assegna un punteggio. 
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerValue
convo_id,scorecard_test_id,question_id_q3,"NO"
convo_id,scorecard_test_id,question_id_q6,"YES"
convo_id,scorecard_test_id,question_id_q6,true
convo_id,scorecard_test_id,question_id_q6,false
convo_id,scorecard_test_id,question_id_q6,40.5
  • Include le intestazioni QaAnswerValue e QaAnswerScore. 
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerValue,QaAnswerScore
convo_id,scorecard_test_id,question_id_q3,"NO",score: 1.0
convo_id,scorecard_test_id,question_id_q6,"YES",score: 1.0
  • L'intestazione QaAnswerLabel comprende sia un punteggio che una risposta, ma non li separa con una virgola. 
    ConversationId,QaScorecardId,QaQuestionId,QaAnswerLabel
convo_id,scorecard_test_id,question_id_q3,score: 1.0 "NO"
convo_id,scorecard_test_id,question_id_q6,score: 0.5 40.5
convo_id,scorecard_test_id,question_id_q6,na_value:true
convo_id,scorecard_test_id,question_id_q3,true

Tabella

All'interno di un foglio di lavoro, il formato visivo delle conversazioni di esempio è una tabella in cui ogni riga contiene informazioni per identificare una singola risposta e ogni colonna contiene identificazioni separate, come mostrato nella tabella seguente:

ID conversazione ID prospetto ID domanda Risposta
44748735396 5727080762913918243 4097398336657302301 "YES"
44748735396 5727080762913918243 3576133206121890384 "NO"
3495523396 5727080762913918243 4097398336657302301 "YES"
3495523396 5727080762913918243 3576133206121890384 "NO"

Valutare una conversazione

Gli annotatori umani utilizzano le domande e le istruzioni della scheda di valutazione per valutare manualmente le conversazioni e determinare le risposte corrette a ogni domanda nelle conversazioni di esempio. Quando più persone valutano la stessa conversazione, a volte forniscono risposte diverse a ogni domanda. Questa incoerenza tra le valutazioni introduce rumore e confusione nel processo di machine learning. All'interno di una conversazione, se la stessa domanda o una domanda simile è associata a più risposte diverse, Quality AI non ha modo di apprendere la mappatura tra domande e risposte.

Uno qualsiasi dei seguenti fattori può causare incoerenza quando più persone rispondono alle stesse domande per una singola conversazione:

  • Domande soggettive che portano a interpretazioni diverse tra gli annotatori.
  • Rubriche con dettagli insufficienti o linee guida poco chiare.
  • Versioni diverse di una domanda, opzioni di risposta o istruzioni, ad esempio:
    • Puoi iniziare con le opzioni di risposta sì/no e poi passare a un approccio più granulare con le opzioni no-a, no-b e no-c.
    • Tuttavia, la combinazione dell'approccio sì/no con le opzioni no-a, no-b e no-c confonderà il modello.
  • Un'attività di valutazione che richiede un carico cognitivo elevato.

Misurare la coerenza

Per misurare la coerenza nelle conversazioni di esempio, chiedi a più annotatori di valutare in modo indipendente la stessa conversazione. Quindi, calcola la concordanza tra loro utilizzando il coefficiente kappa di Cohen. Vuoi visualizzare un coefficiente kappa di Cohen non inferiore a 0,2. Se la coerenza è bassa, prova una delle seguenti opzioni:

  • Per ridurre al minimo le possibilità di interpretazione, perfeziona la domanda e le istruzioni.
  • Comunicare tra gli annotatori in modo che possano risolvere le discrepanze e concordare un unico standard di valutazione.
  • Monitora costantemente la coerenza tra gli annotatori.
  • Fornire ulteriore formazione agli annotatori le cui risposte differiscono spesso dallo standard di valutazione.