Bei der automatischen Zusammenfassungsbewertung (Autoevaluation) wird die Qualität von Zusammenfassungen anhand von drei Messwerten bewertet: Richtigkeit, Vollständigkeit und Einhaltung. Mit dieser Funktion können Sie die Qualität von Zusammenfassungsgeneratoren bewerten. Das ist wichtig, wenn Sie benutzerdefinierte Abschnittsdefinitionen optimieren oder Software aktualisieren, die sich auf Zusammenfassungsmodelle auswirkt. Weitere Informationen zu den Bewertungs-Messwerten finden Sie unter Grundlagen der automatischen Zusammenfassungsbewertung.
Hinweise
- Zusammenfassungsgenerator erstellen, der Kandidatenzusammenfassungen für Ihre Bewertung generiert.
- Die Abschnittsdefinitionen im Generator dienen als Ground Truth für die Bewertung.
- Damit der endgültige Score die Qualität des Generators widerspiegelt, müssen die Anweisungen in jedem Abschnitt mit denen im Generator übereinstimmen.
Anfrage für die automatische Auswertung von Zusammenfassungen erstellen
So erstellen Sie einen Generator für Zusammenfassungen:
Rufen Sie die Agent Assist Console auf und melden Sie sich an.
Wählen Sie Ihr Projekt aus.
Klicken Sie auf Bewertungen > Neue Bewertung.
Geben Sie einen eindeutigen Anzeigenamen ein und wählen Sie einen Generator aus, der zur Zusammenfassung des Kandidaten passt.
Klicken Sie auf Weiter.
Wählen Sie ein Auswertungs-Dataset mit einer der folgenden beiden Optionen aus:
- Zufallsstichprobe von Unterhaltungen aus dem Zeitraum: Wenn Sie für die Zusammenfassungsfunktion von Agent Assist bezahlt haben, geben Sie einen Zeitraum und eine maximale Anzahl von Unterhaltungen an. Bei der Auswertung werden zufällig bis zur maximalen Anzahl von Unterhaltungen und Zusammenfassungen aus Ihrem Verlauf ausgewählt.
- Bestimmten Datensatz auswählen: Wählen Sie eine bestimmte Stichprobe von Unterhaltungen aus, die Sie mit Conversational Insights zusammengestellt haben.
Wählen Sie eine der folgenden Optionen als Quelle für die Zusammenfassung aus:
- Nur fehlende Zusammenfassungen mit dem angegebenen Generator erstellen. Sie zahlen die Kosten für die Zusammenfassungserstellung.
- Neue Zusammenfassungen für alle Unterhaltungen erstellen Sie zahlen die Kosten für die Zusammenfassungserstellung.
- Keine Zusammenfassungen erstellen Verwenden Sie stattdessen vorhandene Zusammenfassungen, die mit dem Dataset gefunden wurden. Sie müssen einen anderen Betrag bezahlen.
Klicken Sie auf Weiter.
Klicken Sie auf Ordner auswählen, wählen Sie einen Cloud Storage-Ordner in einem Bucket aus, in dem das Ergebnis gespeichert werden soll, und klicken Sie dann auf Ok. Bei der automatischen Auswertung werden die Ergebnisse in eine CSV-Datei geschrieben und in Ihrem Cloud Storage-Bucket gespeichert.
Klicken Sie auf Ausführen. Dies ist ein Vorgang mit langer Ausführungszeit. Die neue Bewertung wird in der Tabelle aufgeführt.
Bewertungen
So rufen Sie eine Liste der Zusammenfassungsgeneratoren und abgeschlossenen Testläufe auf:
- Rufen Sie die Agent Assist Console auf und melden Sie sich an. Zur Console
- Wählen Sie Ihr Projekt aus.
- Klicken Sie auf Bewertungen.
- Optional: Wenn Sie die Reihenfolge der Erstellungszeit ändern möchten, klicken Sie in der Spaltenüberschrift Erstellungszeit auf keyboard_arrow_down Abwärts.
Liste filtern
So filtern Sie die Liste, um nach einer bestimmten Bewertung zu suchen:
- Klicken Sie auf Bewertungen filtern.
Wählen Sie eine der folgenden Optionen aus:
- Anzeigename
- Name des Generators
- Erstellungszeit
Geben Sie den Wert des Parameters ein.
Bewertung löschen
- Warten Sie, bis die Bewertung durch den Generator abgeschlossen ist.
- Klicken Sie auf delete Löschen, um die Auswertung zu löschen.
Bewertungsergebnisse ansehen
So rufen Sie detaillierte Bewertungsergebnisse in der Agent Assist Console auf:
- Rufen Sie die Agent Assist Console auf und melden Sie sich an. Zur Console
- Wählen Sie Ihr Projekt aus.
- Klicken Sie auf Bewertungen.
- Klicken Sie auf eine beliebige Zeile in der Liste, um die Bewertungsdetails aufzurufen. Diese enthalten die folgenden Informationen:
- Anzeigename für den Generator
- Anzahl der Unterhaltungen
- Falls vorhanden, Name des zugehörigen Datasets für dialogorientierte Insights
- Ausführungszeit
- Cloud Storage-Ausgabe
- Gesamtleistungsergebnisse für ein gesamtes Dataset
- Ergebnisse auf Unterhaltungsebene für jede Unterhaltung in einem Dataset
Ergebnisse auf Unterhaltungsebene
In Agent Assist werden die Bewertungsergebnisse auf Unterhaltungsebene in einer Tabelle angezeigt.
- Klicken Sie auf der Seite Bewertungsdetails auf eine beliebige Zeile der Tabelle Ergebnisse auf Konversationsebene, um detaillierte Ergebnisse, eine Zusammenfassung und ein Transkript der Konversation aufzurufen.
- Klicken Sie auf einen Abschnitt, um Beispiele aus der Zusammenfassung aufzurufen.
Ergebnisse vergleichen
So vergleichen Sie Ergebnisse verschiedener Bewertungen:
- Rufen Sie in der Agent Assist Console Evaluations auf.
- Klicken Sie auf eine Bewertung, um die zugehörigen Details aufzurufen. Diese Auswertung bildet die Grundlage für den Vergleich und bestimmt, welche Messwerte in den Vergleich einbezogen werden.
- Klicken Sie auf Vergleichen > Lauf hinzufügen, um weitere Auswertungen zum Vergleich hinzuzufügen. Sie können bis zu fünf Bewertungen gleichzeitig vergleichen. Jeder Anzeigename ist grau hervorgehoben.
- Wenn Sie eine Bewertung aus dem Vergleich entfernen möchten, klicken Sie auf Schließen Schließen.
Versionen von Zusammenfassungsgeneratoren vergleichen
Sie können die automatische Auswertung von Zusammenfassungen auch verwenden, um Zusammenfassungen aus verschiedenen Versionen eines Zusammenfassungsgenerators zu vergleichen. Sie benötigen eine Sammlung von Unterhaltungstranskripten.
Im Folgenden sehen Sie ein Beispiel für den Vergleich von Auswertungsergebnissen, die auf dem Generator für Zusammenfassungen v4.0 und dem Generator für Zusammenfassungen v5.0 basieren.
Schritt 1: Neue Version des Zusammenfassungsgenerators erstellen
Wenn Sie noch keinen Generator für Zusammenfassungen verwenden, erstellen Sie einen, der die Version 4.0 von Zusammenfassung verwendet. Gehen Sie dann so vor, um einen zweiten Generator zu erstellen, der die Zusammenfassungsversion 5.0 verwendet:
- Rufen Sie die Agent Assist Console > Seite Zusammenfassung auf.
- Klicken Sie für den Generator auf more_vert > Generator duplizieren > Name der Kopie des Generators.
- Wählen Sie für die Version die Option 5.0 aus und klicken Sie auf Speichern.
Schritt 2: Dataset erstellen
Erstellen Sie ein Dataset mit bis zu 100 Unterhaltungen. Sie können für jede Auswertung maximal 100 Unterhaltungen erstellen.
Schritt 3: Zusammenfassungsbewertungen erstellen
Gehen Sie so vor, um die einzelnen Auswertungen zu erstellen.
- Rufen Sie die Agent Assist Console auf, melden Sie sich an und wählen Sie Ihr Projekt aus.
- Klicken Sie auf Bewertungen > Neue Bewertung.
- Geben Sie einen eindeutigen Anzeigenamen ein.
- Wählen Sie den Generator für die Zusammenfassung 4.0 aus.
- Klicken Sie auf Weiter.
- Wählen Sie Bestimmtes Dataset auswählen aus.
- Wählen Sie Zusammenfassungen erstellen aus.
- Klicken Sie auf Weiter > Ordner auswählen.
- Wählen Sie einen Cloud Storage-Ordner in einem Bucket aus, in dem das Ergebnis gespeichert werden soll, und klicken Sie auf Ok. Bei der automatischen Auswertung werden die Ergebnisse in eine CSV-Datei geschrieben und in Ihrem Cloud Storage-Bucket gespeichert.
- Klicken Sie auf Ausführen. Dies ist ein Vorgang mit langer Ausführungszeit. Die neue Bewertung wird in der Tabelle aufgeführt.
Wiederholen Sie die Schritte 2 bis 10 für Ihren Generator für Zusammenfassungen 5.0 und verwenden Sie dasselbe Dataset.
Schritt 4: Bewertungsergebnisse vergleichen
Folgen Sie der Anleitung, um die Ergebnisse zu vergleichen. In Agent Assist wird der Vergleich Ihrer beiden Bewertungsergebnisse angezeigt. Wenn ein Generator höhere Werte als der andere hat, werden die höheren Werte grün hervorgehoben. Wenn beide Generatoren die gleiche Punktzahl haben, werden diese ebenfalls grün hervorgehoben.
Beschränkung
Die automatische Auswertung von Zusammenfassungen unterstützt VPC Service Controls nicht.
Verfügbare Regionen
Die automatische Auswertung der Zusammenfassung ist nur in drei Agent Assist-Regionen verfügbar. Eine Liste der für die einzelnen Funktionen verfügbaren Regionen finden Sie in der Regionalisierungstabelle.