Plattform für virtuelle Kundenservicemitarbeiter

Die Plattform für virtuelle Kundenservicemitarbeiter ist eine Funktion in Quality AI, die Einblicke in die Leistung von Konversations-Agenten bietet, die mit Dialogflow und Customer Experience Agent Studio (CX Agent Studio) erstellt wurden. CX Agent Studio ist ein Tool zum Erstellen virtueller Agenten, mit dem Sie asynchrone Multi-Agenten-Systeme mit bidirektionalem Streaming erstellen können.

Plattform ansehen

So rufen Sie die Plattform in der Customer Experience Insights Console (CX Insights) auf:

  1. Klicken Sie auf Quality AI > Agenten > Virtueller Kundenservicemitarbeiter.
  2. Wählen Sie einen Agent aus.

Leistung virtueller Kundenservicemitarbeiter

Die Plattform für virtuelle Kundenservicemitarbeiter bietet Details zur Leistung virtueller Kundenservicemitarbeiter. Auf der Plattform werden sowohl betriebliche Messwerte als auch Messwerte von Quality AI angezeigt.

Betriebliche Messwerte

Auf der Plattform für virtuelle Kundenservicemitarbeiter werden die folgenden Messwerte als Zahl oder Prozentsatz angezeigt.

Name Definition Code
Volumen oder Sitzungen insgesamt Gesamtzahl der Unterhaltungen, die von diesem Agenten bearbeitet wurden. volume oder total_sessions
Eskalierungsrate Prozentsatz der Unterhaltungen, die an einen Kundenservicemitarbeiter eskaliert wurden. escalation_rate
Runden pro Sitzung Durchschnittliche Anzahl der Runden pro Unterhaltung. turns_per_session
Rate ohne Übereinstimmung Prozentsatz der Unterhaltungen, die keinem Intent zugeordnet wurden. Gilt nur für flowbasierte virtuelle Agenten. no_match_rate

Auf der Plattform für virtuelle Kundenservicemitarbeiter wird für jeden der folgenden Messwerte ein Diagramm der Änderung im Zeitverlauf angezeigt.

Name Definition Code
Volumen oder Sitzungen insgesamt Gesamtzahl der Unterhaltungen, die von diesem Agenten bearbeitet wurden. volume oder total_sessions
Aufschlüsselung der End-to-End-Latenz Zeit zwischen dem Ende einer Nutzeräußerung und dem Beginn der folgenden Agentenäußerung. percentile_end_to_end_latency
Eskalierungsrate Prozentsatz der Unterhaltungen, die an einen Kundenservicemitarbeiter eskaliert wurden. escalation_rate
Aufschlüsselung nach Eskalierungstyp Anzahl der Unterhaltungen pro Eskalierungsinitiator. escalation_type_breakdown
Ausfallrate von Tools Prozentsatz der Tool-Aufrufe, die bei allen Verwendungen des Tools in Unterhaltungen für einen bestimmten Agenten im ausgewählten Zeitraum und für das angegebene Unterhaltungsmedium fehlgeschlagen sind. tool_failure_rate
Tool-Latenz Durchschnittliche Latenz eines Tool-Aufrufs bei allen Verwendungen des Tools in den Unterhaltungen für den jeweiligen Agenten im ausgewählten Zeitraum und Unterhaltungsmedium. tool_latency
Rate ohne Übereinstimmung Prozentsatz der Unterhaltungen, die keinem Intent zugeordnet wurden. Gilt nur für flowbasierte virtuelle Agenten. no_match_rate

Aufschlüsselung der End-to-End-Latenz (E2E)

Die End-to-End-Latenz (E2E) ist die Zeit zwischen dem Ende einer Nutzeräußerung und dem Beginn der folgenden Agentenäußerung. Auf der Plattform für virtuelle Kundenservicemitarbeiter wird die E2E-Latenz für jede Nutzer-Agent-Interaktion in Chat- und Sprachunterhaltungen berechnet.

Auf der Plattform für virtuelle Kundenservicemitarbeiter wird ein Diagramm mit dem Titel „Aufschlüsselung der E2E-Latenz“ angezeigt, das die E2E-Latenz auf Äußerungsebene veranschaulicht. Auf der y-Achse wird die Zeit in Schritten von 50 Millisekunden angezeigt. Die x-Achse zeigt, dass Sie die E2E-Latenz für Tools, das Large Language Model (LLM) und die Text-to-Speech-Funktion (TTS) aufrufen können. Außerdem wird die E2E-Latenz im Diagramm als separate Balken für drei Perzentilkategorien angezeigt: P50 ist das 50. Perzentil, P90 das 90. Perzentil und P99 das 99. Perzentil. Wenn die P99-Latenz des LLM beispielsweise 5 Sekunden beträgt, sind 99% der LLM-Latenzwerte auf Äußerungsebene weniger als 5 Sekunden.

Eskalierungsrate

So berechnen Sie die Eskalierungsrate:

  • Dialogflow: Wird anhand eines Signals von Dialogflow berechnet.
  • CX Agent Studio: Wird anhand eines Signals aus dem Tracing der Sitzungsbeendigung von CX Agent Studio berechnet.

So richten Sie die Eskalierungsrate mit dem Tool end_session in CX Agent Studio ein:

  1. Fügen Sie dem Agentenknoten das Tool end_session hinzu. Rufen Sie in Quality AI die Seite Agent auf. Klicken Sie auf Tools , um das Tool end_session aufzurufen.

  2. Geben Sie eine Agentenanweisung ein.

    Beispiel: Wenn der Kunde einen Kundenservicemitarbeiter anfordert, führen Sie das end_session Tool mit dem Argument {session_escalated = true} aus.

Im Tool end_session verwendet CX Insights das Argument session_escalated und den Parameter endSession, um die Eskalierungsrate zu berechnen.

Aufschlüsselung nach Eskalierungstyp

Die Aufschlüsselung nach Eskalierungstyp zeigt die Anzahl der Unterhaltungen für jeden Eskalierungsinitiator: Nutzer oder Agent. Quality AI ermittelt den Eskalierungsinitiator, indem die vordefinierte Frage Wer hat die Unterhaltung eskaliert? beantwortet wird. Sie können einen Eskalierungsinitiator aufrufen, um eine Liste der Unterhaltungen mit diesem Initiator zu sehen.

Tools

Tool-Messwerte werden für Tools für Konversations-Agenten berechnet. Aggregierte Messwerte wie Tool-Latenz und Ausfallraten helfen Bot-Entwicklern, Leistungsengpässe in Unterhaltungen zu erkennen.

Messwerte von Quality AI

Auf der Plattform für virtuelle Kundenservicemitarbeiter werden die folgenden Messwerte von Quality AI angezeigt.

  • Qualitätsfaktor: Durchschnittlicher Qualitätsfaktor pro Scorecard für Unterhaltungen, die von diesem Agenten bearbeitet wurden.
  • Gesamtstimmung: Durchschnittlicher Stimmungsfaktor für Unterhaltungen, die von diesem Agenten bearbeitet wurden.
  • Aufschlüsselung nach Stimmung: Ein farblich gekennzeichnetes Balkendiagramm zur Veranschaulichung der Anzahl der Unterhaltungen dieses Agenten pro Stimmungskategorie auf Unterhaltungsebene: negativ, neutral oder positiv.
  • Unterhaltungsergebnis: Anzahl der Unterhaltungen für jedes mögliche Ergebnis.
  • Sentiment nach Erkennung: Aufschlüsselung der Anzahl der Unterhaltungen pro Stimmungskategorie auf Unterhaltungsebene für diesen Messwert.

Auf der Plattform werden auch Diagramme der Änderung im Zeitverlauf für die folgenden Messwerte von Quality AI angezeigt.

  • Qualitätsfaktor: Prozentsatz der Qualitätsfaktoren für alle Unterhaltungen, die von diesem Agenten bearbeitet wurden.
  • Aufschlüsselung nach Bewertungskategorie: Qualitätsfaktoren für jede vordefinierte Kategorie: Unternehmen, Compliance, Kunde und alle benutzerdefinierten Kategorien.

Unterhaltungsergebnis

Das Diagramm zum Unterhaltungsergebnis zeigt die Anzahl der Unterhaltungen, die mit den folgenden möglichen Ergebnissen beendet wurden:

  • Verworfen
  • Teilweise behoben
  • Eskaliert
  • Zieländerung
  • Erfolgreich behoben
  • Unbekannt

Berechnen Sie die Unterhaltungsergebnisse anhand vordefinierter Fragen in der vorgefertigten Scorecard in Quality AI.

  1. Wenn Sie Ergebnisdaten in diesem Diagramm sehen möchten, führen Sie eine Quality AI-Analyse mit einer vorgefertigten Scorecard aus.
  2. Klicken Sie auf ein Ergebnis, um eine Liste der Unterhaltungen mit diesem Ergebnis aufzurufen.

Aufschlüsselung nach Stimmung

Nachdem Sie die Sentiment analyse für alle Ihre Unterhaltungen ausgeführt haben, zeigt das Diagramm zur Aufschlüsselung nach Stimmung die Anzahl der Unterhaltungen mit einer Gesamtstimmung in jeder Kategorie an: negativ, neutral, und positiv.