Plattform für virtuelle Kundenservicemitarbeiter

Die Plattform für virtuelle Kundenservicemitarbeiter ist eine Funktion von Quality AI, die Einblicke in die Leistung von Konversations-Agenten bietet, die mit Dialogflow und Customer Experience Agent Studio erstellt wurden. Customer Experience Agent Studio ist ein Tool zum Erstellen virtueller Agenten, mit dem Sie asynchrone Multi-Agent-Systeme mit bidirektionalem Streaming erstellen können.

Plattform ansehen

So rufen Sie die Plattform in der Customer Experience Insights Console auf:

  1. Klicken Sie auf Quality AI > Agents > Virtual agent.
  2. Wählen Sie einen Agent aus.

Leistung von virtuellen Kundenservicemitarbeitern

Die Plattform für virtuelle Kundenservicemitarbeiter bietet Details zur Leistung virtueller Kundenservicemitarbeiter. Auf der Plattform werden Details zu Betriebs- und Quality AI-Messwerten angezeigt.

Betriebsmesswerte

Auf der Plattform für virtuelle Kundenservicemitarbeiter werden die folgenden Messwerte als Zahl oder Prozentsatz angezeigt.

  • Anzahl der Sitzungen: Gesamtzahl der Unterhaltungen, die von diesem Agent bearbeitet wurden.
  • Escalation rate (Eskalierungsrate): Prozentsatz der Unterhaltungen, die an einen Kundenservicemitarbeiter eskaliert wurden. Er wird anhand eines Signals von Dialogflow berechnet.
  • Runden pro Sitzung: Durchschnittliche Anzahl der Runden pro Unterhaltung.
  • Rate ohne Übereinstimmung: Prozentsatz der Konversationen, die keinem Intent entsprachen. Gilt nur für flowbasierte virtuelle Kundenservicemitarbeiter.

Auf der Plattform für virtuelle Kundenservicemitarbeiter wird für jeden der folgenden Messwerte ein Diagramm mit der Änderung im Zeitverlauf angezeigt.

  • Volumen: Gesamtzahl der Unterhaltungen, die von diesem Agent bearbeitet wurden.
  • Escalation rate (Eskalierungsrate): Prozentsatz der Unterhaltungen, die an einen Kundenservicemitarbeiter eskaliert wurden.

So berechnen Sie die Eskalierungsrate:

  • Dialogflow: Wird anhand eines Signals von Dialogflow berechnet.
  • Customer Experience Agent Studio: Berechnet anhand eines Signals aus dem EndSession-Tracing von Customer Experience Agent Studio.

So richten Sie die Eskalierungsrate in end_session ein:

  1. Fügen Sie dem Agentenknoten das Tool end_session hinzu. Rufen Sie in Quality AI die Seite Agent auf. Klicken Sie auf Tools, um das Tool end_session aufzurufen.
  2. Geben Sie eine Anweisung für den Agenten an.

Beispiel: Wenn der Kunde nach einem Kundenservicemitarbeiter fragt, führen Sie das Tool end_session mit den Argumenten {session_escalated = true} aus.

  • Aufschlüsselung nach Eskalierungstyp: Anzahl der Unterhaltungen pro Eskalierungsinitiator (Nutzer oder Kundenservicemitarbeiter), analysiert anhand der vordefinierten Frage in der integrierten Scorecard Wer hat die Unterhaltung eskaliert?.
  • Fehlerrate von Tools: Prozentsatz der fehlgeschlagenen Tool-Aufrufe bei allen Verwendungen des Tools in Unterhaltungen für einen bestimmten Agent im ausgewählten Zeitraum und für das angegebene Unterhaltungsmedium.
  • Tool-Latenz: Durchschnittliche Latenz eines Tool-Aufrufs für alle Verwendungen des Tools in den Unterhaltungen für den jeweiligen Agenten im ausgewählten Zeitraum und Konversationsmedium.
  • Rate ohne Übereinstimmung: Prozentsatz der Konversationen, die keinem Intent entsprachen. Gilt nur für flowbasierte virtuelle Kundenservicemitarbeiter.

Aufschlüsselung der End-to-End-Latenz

Die End-to-End-Latenz (E2E) ist die Zeit zwischen dem Ende einer Nutzeräußerung und dem Beginn der nächsten Agent-Äußerung. Die Plattform für virtuelle Kundenservicemitarbeiter berechnet die E2E-Latenz für jede User-Agent-Interaktion sowohl in Chat- als auch in Sprachunterhaltungen.

Auf der Virtual Agent-Plattform wird ein Diagramm mit dem Titel „E2E latency breakdown“ (Aufschlüsselung der End-to-End-Latenz) angezeigt, in dem die End-to-End-Latenz auf Äußerungsebene dargestellt wird. Auf der y-Achse wird die Zeit in Schritten von 50 Millisekunden angezeigt. Auf der x-Achse sehen Sie die E2E-Latenz für Tools, das Large Language Model (LLM) und die Sprachsynthese (TTS). Schließlich wird die E2E-Latenz im Diagramm als separate Balken für drei Perzentilkategorien dargestellt: P50 ist das 50. Perzentil, P90 das 90. Perzentil und P99 das 99. Perzentil. Wenn die P99-Latenz des LLM beispielsweise 5 Sekunden beträgt, bedeutet das, dass 99% der LLM-Latenzwerte auf Äußerungsebene weniger als 5 Sekunden betragen.

Aufschlüsselung nach Eskalierungstyp

Die Aufschlüsselung nach Eskalierungstyp zeigt die Anzahl der Unterhaltungen für jeden Eskalierungsinitiator: Nutzer oder Kundenservicemitarbeiter. Quality AI ermittelt den Initiator der Eskalierung, indem sie die vordefinierte Frage Wer hat die Unterhaltung eskaliert? beantwortet. Sie können auf einen Eskalierungsinitiator klicken, um eine Liste der Unterhaltungen mit ihm aufzurufen.

Tools

Tool-Messwerte werden für Tools für konversationelle Agenten berechnet. Anhand aggregierter Messwerte wie Tool-Latenz und Fehlerraten können Bot-Entwickler Leistungsengpässe in Unterhaltungen erkennen.

Messwerte für KI mit hoher Qualität

Auf der Virtual Agent-Plattform werden die folgenden Quality AI-Messwerte angezeigt.

  • Qualitätsfaktor: Durchschnittlicher Qualitätsfaktor pro Kurzübersicht für Unterhaltungen, die von diesem Kundenservicemitarbeiter bearbeitet wurden.
  • Stimmung insgesamt: Durchschnittliche Stimmungsbewertung für Unterhaltungen, die von diesem Agenten bearbeitet wurden.
  • Sentiment-Aufschlüsselung: Ein farbcodiertes Balkendiagramm, das die Anzahl der Unterhaltungen dieses Kundenservicemitarbeiters nach Sentiment-Kategorie auf Unterhaltungsebene veranschaulicht: negativ, neutral oder positiv.
  • Konversationsergebnis: Anzahl der Konversationen für jedes mögliche Ergebnis.
  • Stimmung nach Entdeckung: Aufschlüsselung der Anzahl der Unterhaltungen nach Stimmungskategorie auf Unterhaltungsebene für diesen Messwert.

Auf der Plattform werden auch Grafiken der Änderung im Zeitverlauf für die folgenden Quality AI-Messwerte angezeigt.

  • Qualitätsfaktor: Prozentsatz der Qualitätsfaktoren für alle Unterhaltungen, die von diesem Kundenservicemitarbeiter bearbeitet wurden.
  • Aufschlüsselung der Punktzahl nach Kategorie: Qualitätsfaktor für jede vordefinierte Kategorie: Unternehmen, Compliance, Kunde und alle benutzerdefinierten Kategorien.

Ergebnis der Unterhaltung

Das Diagramm „Gesprächsergebnis“ zeigt die Anzahl der Gespräche, die mit den folgenden möglichen Ergebnissen endeten:

  • Verworfen
  • Teilweise behoben
  • Eskaliert
  • Weitergeleitet
  • Erfolgreich behoben
  • Unbekannt

Mithilfe vordefinierter Fragen in der integrierten Kurzübersicht in Quality AI können Sie die Ergebnisse von Unterhaltungen berechnen.

  1. Wenn Sie Ergebnisdaten in diesem Diagramm sehen möchten, führen Sie eine Quality AI-Analyse mit einer vordefinierten Scorecard aus.
  2. Klicken Sie auf ein Ergebnis, um eine Liste der Unterhaltungen mit diesem Ergebnis aufzurufen.

Aufschlüsselung nach Sentiment

Nachdem Sie die Stimmungsanalyse für alle Ihre Unterhaltungen ausgeführt haben, wird im Diagramm zur Aufschlüsselung der Stimmung die Anzahl der Unterhaltungen mit einer Gesamtstimmung in jeder Kategorie angezeigt: negativ, neutral und positiv.