Monitoring-Dashboard

Mit dem Monitoring-Dashboard können Sie die Leistung Ihrer Agent-Anwendung im Zeitverlauf auswerten und Bereiche für Verbesserungen ermitteln. Monitoring ist in den folgenden Situationen nützlich:

  • Leistungsüberwachung: Analysieren Sie Echtzeit- und Verlaufsdaten zur Leistung von Agent-Anwendungen, z. B. die Anzahl der bearbeiteten Interaktionen, die durchschnittliche Anzahl der Züge pro Sitzung und die Eskalierungsrate.
  • Problemerkennung und ‑behebung: Erkennen Sie Muster oder Trends bei Endnutzerinteraktionen, bei denen die Agent-Anwendung Schwierigkeiten haben könnte, Anfragen zu verstehen oder genaue Antworten zu geben. So lassen sich Probleme erkennen und Korrekturmaßnahmen ergreifen, z. B. Tool-Fehler oder Latenzprobleme isolieren, Agent-Anwendungsskripts aktualisieren oder zusätzliches Training durchführen.
  • Informationen zu Endnutzern: Durch die Analyse von Daten aus Interaktionen mit der Agent-Anwendung erhalten Sie wertvolle Informationen zum Verhalten, zu den Vorlieben und zu den Schwachstellen von Endnutzern. Anhand dieser Informationen können Sie die Bedürfnisse der Endnutzer besser nachvollziehen, die Antworten der Agent-Anwendung anpassen und die Nutzerfreundlichkeit insgesamt verbessern.
  • Ressourcenzuweisung: Analysieren Sie Daten zur Arbeitslast, Verfügbarkeit und Leistung von Agent-Anwendungen, um die Ressourcenzuweisung zu optimieren. So können Sie beispielsweise Spitzenzeiten ermitteln, in denen zusätzliche Agentenanwendungen erforderlich sind, um mehr Anfragen zu bearbeiten, oder Agentenanwendungen basierend auf dem Fachwissen der jeweiligen Agenten zuweisen.

Monitoring-Dashboard öffnen

So öffnen Sie das Monitoring-Dashboard:

  1. Achten Sie darauf, dass Sie das Interaktions-Logging in den Einstellungen der Agent-Anwendung aktiviert haben.
  2. Klicken Sie oben im Agent Builder auf Überwachen. Das Monitoring-Dashboard wird angezeigt.
  3. Der Zeitraum für die Daten ist standardmäßig auf Letzter Tag festgelegt. Sie können ihn aber ändern, indem Sie auf den Zeitraum klicken.
  4. Klicken Sie auf das Feld Zeitraum, um einen Zeitraum auszuwählen. Standardmäßig ist er auf 24 Stunden festgelegt.
  5. Klicken Sie auf Unterhaltungen ansehen, um zu CX Insights weitergeleitet zu werden. Dort können Sie das vollständige Protokoll der Unterhaltungen aufrufen und Unterhaltungs- und Transkriptdetails analysieren.

Dashboard-Tiles

Das Monitoring-Dashboard enthält die folgenden Kacheln:

  • Sitzungen insgesamt: Die Gesamtzahl der Unterhaltungen (Sitzungen), die die Agent-Anwendung mit Endnutzern geführt hat. Sie wird auch als Zeitreihe dargestellt.
  • Eskalierungsrate: Der Prozentsatz der Interaktionen, bei denen die Agent-Anwendung das Problem nicht lösen konnte und es an einen menschlichen Kundenservicemitarbeiter eskaliert wurde. Das kann an der Komplexität des Problems oder daran liegen, dass die Agent-Anwendung die Anfrage nicht versteht. Sie wird auch als Zeitreihe dargestellt.
  • Anzahl der Eskalierungen: Die Gesamtzahl der Eskalierungen.
  • Züge pro Sitzung: Durchschnittliche Anzahl der Züge pro Sitzung.
  • End-to-End-Latenz: Die End-to-End-Latenz (E2E) ist die Zeit zwischen dem Ende einer Nutzeräußerung und dem Beginn der folgenden Agent-Äußerung. Der Messwert berechnet die E2E-Latenz für jede User-Agent-Interaktion in Chat- und Sprachunterhaltungen.
  • Aufschlüsselung der End-to-End-Latenz: Hier wird die E2E-Latenz auf Äußerungsebene veranschaulicht. Auf der y-Achse wird die Zeit in Schritten von 50 Millisekunden angezeigt. Auf der x-Achse sehen Sie die E2E-Latenz für Tools, das Large Language Model (LLM) und die Sprachsynthese (TTS). Im Diagramm wird die End-to-End-Latenz als separate Balken für drei Perzentilkategorien dargestellt: P50 ist das 50. Perzentil, P90 das 90. Perzentil und P99 das 99. Perzentil. Wenn die P99-Latenz des LLM beispielsweise 5 Sekunden beträgt, liegen 99% der LLM-Latenzwerte auf Äußerungsebene unter 5 Sekunden.
  • Fehlerrate des Tools: Prozentsatz der Tool-Aufrufe, die bei allen Verwendungen des Tools in Unterhaltungen für einen bestimmten Agenten im ausgewählten Zeitraum und für das angegebene Unterhaltungsmedium fehlgeschlagen sind.
  • Tool-Latenz: Durchschnittliche Latenz eines Tool-Aufrufs für alle Verwendungen des Tools in den Unterhaltungen für den jeweiligen Agenten im ausgewählten Zeitraum und Konversationsmedium.
  • Stimmung insgesamt: Durchschnittlicher Stimmungs-Score für Unterhaltungen, die von diesem Kundenservicemitarbeiter bearbeitet wurden. Die Skala reicht von -1 bis 1, wobei 0 neutral und 1 positiv ist.
  • Stimmungsaufschlüsselung: Ein farbcodiertes Balkendiagramm, das die Anzahl der Unterhaltungen dieses Kundenservicemitarbeiters nach Stimmungsbildkategorie auf Unterhaltungsebene veranschaulicht: negativ, neutral oder positiv.
  • Konversationsergebnis: Hier sehen Sie die Anzahl der Konversationen, die mit den folgenden möglichen Ergebnissen geendet haben. Für die Berechnung der Konversationsergebnisse werden vordefinierte Fragen im integrierten Scorecard in CX Insights verwendet:
    • Verworfen
    • Teilweise behoben
    • Eskaliert
    • Weitergeleitet
    • Erfolgreich behoben
    • Unbekannt