Bewertung

Die Bewertung ist ein wichtiges Tool, um die Leistung Ihres Agenten zu testen und sicherzustellen, dass er sich in bestimmten Situationen wie erwartet verhält. Mit Bewertungen können Sie Tests automatisieren, Regressionen nach Änderungen erkennen und die Qualität der Antworten Ihres Agenten messen, um die Qualität zu verbessern.

Klicken Sie zuerst oben im Agent Builder auf den Button Bewerten.

Bewertungskonzepte

Testlauf: Jeder Testlauf ist ein spezifisches, eigenständiges Testszenario oder ein Prompt, mit dem die Leistung des KI-Agenten bewertet werden soll. Sie können drei verschiedene Arten von Testfällen erstellen:

• Szenario: Eine KI-basierte Funktion, mit der Sie Ihre Tests starten und eine umfassende Testabdeckung sicherstellen können. Sie beschreiben das Ziel eines Nutzers und das System simuliert den Nutzer automatisch und generiert Unterhaltungen, um die Fähigkeit des Agenten zu testen, das Szenario zuverlässig zu bewältigen. Szenarien sind eine nützliche Möglichkeit, zu experimentieren und Goldene Unterhaltungen zu definieren.
• Simulation: Ideal zum Testen mehrstufiger Abläufe. Anstatt ein einzelnes, offenes Nutzerziel zu haben, unterteilen Sie die Unterhaltung in eine sortierte Liste von Zielen (auch Meilensteine genannt). Der simulierte Nutzer arbeitet die Ziele nacheinander ab und geht erst zum nächsten Ziel über, wenn die Erfolgskriterien für das aktuelle Ziel erfüllt sind. Simulationen bieten Ihnen die Flexibilität eines simulierten Nutzers, während die Unterhaltung auf einem vorhersehbaren Pfad bleibt.
• Golden: Ideal für Regressionstests. Sie geben einen „idealen“ Unterhaltungspfad vor. Im Rahmen der Evaluierung wird geprüft, ob das Verhalten des KI-Agenten mit diesem übereinstimmt, einschließlich der Toolaufrufe.

Hinweis: Simulationstestläufe bieten eine Alternative zu Szenarien für Tests mit simulierten Nutzern. Durch das Aufteilen eines einzelnen Nutzerziels in eine sortierte Liste von Zielen mit Erfolgskriterien für jeden Schritt bieten Simulationen eine besser vorhersehbare und wiederholbare Abdeckung für mehrstufige Abläufe und eine klarere schrittweise Diagnose, wenn ein Durchlauf fehlschlägt.

Ausführung: Eine Ausführung ist eine vollständige, einmalige Ausführung einer Reihe von Golden-, Szenario- und Simulationstestfällen, um die Leistung des zu testenden Agenten zu bewerten. Jeder Testlauf kann einen oder mehrere Testläufe enthalten.

Ergebnis: Ein Ergebnis eines Testlaufs bezieht sich auf eine einzelne Ausführung eines bestimmten Testlaufs in einem einzelnen Durchlauf. Wenn ein Testfall während eines einzelnen Bewertungslaufs mehrmals ausgeführt wird (z. B. um die Konsistenz, Unzuverlässigkeit usw. zu prüfen), ist jede einzelne Ausführung ein separates Ergebnis. Die Ergebnisse werden als rechteckige Symbole in Spalten in jeder Testfallzeile angezeigt. Ein rotes X bedeutet, dass die Ausführung fehlgeschlagen ist, und ein grünes Häkchen, dass sie erfolgreich war.

Tags: Testfälle können mit Tags gruppiert werden, um die Verwaltung zu vereinfachen.

Testläufe erstellen

Wenn Sie Testläufe für Ihren KI-Agenten erstellen und darauf zugreifen möchten, klicken Sie oben im Agent Builder auf den Button Bewerten. Sie können Golden-, Szenario- oder Simulations-basierte Testläufe erstellen und verwalten. In der Spalte Typ der Testlauf-Liste wird der Typ des jeweiligen Testlaufs angezeigt.

Szenario

Bei szenariobasierten Testfällen wird KI verwendet, um automatisch eine Vielzahl von Unterhaltungen basierend auf einem von Ihnen definierten übergeordneten Nutzerziel zu generieren. Bei diesen Testfällen stellen Sie keine spezifischen Golden Conversations bereit, sondern wählen generierte Szenarien aus oder beschreiben spezifische Szenarien, die getestet werden müssen. Dies ist ein leistungsstarkes Tool, mit dem Sie Grenzfälle untersuchen und die Robustheit Ihres Agenten testen können, ohne jeden möglichen Unterhaltungspfad manuell schreiben zu müssen.

Wenn diese Szenarien gut funktionieren, können Sie sie als „Golden Conversations“ speichern.

Hinweis: Für mehrstufige Abläufe, bei denen Sie mehr Kontrolle über den Gesprächsverlauf haben möchten, sollten Sie Simulationstestfälle als Alternative zu Szenarien in Betracht ziehen. Bei einer Simulation wird das einzelne Nutzerziel durch eine sortierte Liste von Zielen und Erfolgskriterien pro Schritt ersetzt. Dadurch sind die Ausführungen mit simulierten Nutzern besser wiederholbar und die Fehlerbehebung ist einfacher.

So erstellen Sie ein Szenario:

1. Klicken Sie auf Szenario erstellen. Es werden mehrere Szenarien vorgeschlagen.
2. Sie können entweder Szenarien basierend auf der Auswahl generieren oder ein neues Szenario von Grund auf erstellen.

Wenn Sie sich die Liste der Szenarien ansehen, können Sie die Details und die Liste der Unterhaltungen für jedes Szenario aufrufen, indem Sie auf das Szenario klicken.

So speichern Sie ein Szenario als Golden Conversation:

1. Wählen Sie das Szenario aus.
2. Klicken Sie rechts oben auf die Menüschaltfläche.
3. Wählen Sie Als Golden Conversation speichern aus.

Szenario-Nutzerziel

Jedes Szenario hat ein Nutzerziel, das die Ziele des Endnutzers bei der Verwendung der Agentenanwendung beschreibt. Beispiel:

Securely book a specific room at a chosen hotel and receive a confirmation.

Basierend auf Ihrem Nutzerziel generiert CX Agent Studio automatisch Unterhaltungen, die für die Bewertung verwendet werden.

Szenariovariablen

Wenn Sie ein Szenario definieren, können Sie Variablen angeben, die für das Szenario verwendet werden sollen.

Erwartungen an das Szenario

Um eine Bewertung durchzuführen, definieren Sie Erwartungen für den Testfall.

Es gibt zwei Arten von Erwartungen:

• Message: Eine erwartete Antwort des Agenten.
• Toolaufruf: Ein Toolaufruf mit erwarteten Ein- und Ausgaben.

Erwartungen können die folgenden Bedingungen haben:

• Erforderlich
• Darf nicht enthalten
• Nach dem Toolaufruf
• Variablenwert

So erstellen Sie eine Erwartung:

• Klicken Sie auf ein bestimmtes Szenario, um die Details zu öffnen.
• Klicken Sie im Abschnitt Erwartungen auf Alle ansehen.
• Folgen Sie der Anleitung auf der Benutzeroberfläche, um Erwartungen für das Szenario zu erstellen.

Simulation

In einem Simulationstestfall wird eine Unterhaltung in eine sortierte Liste von Schritten unterteilt, die als Ziele (auch als Meilensteine bezeichnet) bezeichnet werden. Jedes Ziel beschreibt eine Phase der User Journey und die Kriterien, die erfüllt sein müssen, bevor der simulierte Nutzer zur nächsten Phase übergeht.

Eine Simulation liegt zwischen einem Szenario und einem Golden-Testfall:

• Ein Szenario gibt dem simulierten Nutzer ein einzelnes, offenes Nutzerziel vor und lässt ihn die gesamte Unterhaltung improvisieren. Das ist nützlich, um Dinge auszuprobieren, aber die Unterhaltung kann bei jeder Ausführung einen anderen Verlauf nehmen.
• Ein goldener Testfall legt jede Nutzerinteraktion fest. Das ist für Regressionstests genau, aber für lange Abläufe zu starr und kann sich nicht an zulässige Abweichungen in der Formulierung des KI-Agenten anpassen.
• Bei einer Simulation wird ein simulierter Nutzer beibehalten, aber auf Ihre Ziele beschränkt. So können mehrstufige Abläufe wie die Authentifizierung, gefolgt von einer Suche und einer Aktualisierung, wiederholt werden, ohne dass jede Runde hartcodiert werden muss.

Verwenden Sie eine Simulation, wenn:

• Die Journey umfasst mehrere Phasen, die in einer festen Reihenfolge durchlaufen werden müssen.
• Sie müssen bestätigen, dass der Agent einen Zwischenstatus erreicht, z. B. die erfolgreiche Verifizierung eines Anrufers, bevor er etwas anderes tut.
• Eine goldene Unterhaltung wäre zu starr, aber ein Szenario mit nur einem Ziel deckt nicht zuverlässig den gesamten Pfad ab.

Simulation erstellen

1. Rufen Sie den Tab Bewertung auf.
2. Klicken Sie auf + Testfall hinzufügen.
3. Wählen Sie Simulation aus. Der Simulationseditor wird mit einem leeren Ziel geöffnet.
4. Geben Sie einen Namen für den Testfall ein und fügen Sie beliebige Tags hinzu.
5. Geben Sie das Nutzerziel und die Erfolgskriterien für das erste Ziel ein und legen Sie die Maximale Anzahl von Runden zum Erreichen des Ziels fest.
6. Klicken Sie auf Ziel hinzufügen und wiederholen Sie den Vorgang für jede Phase des Kaufprozesses in der richtigen Reihenfolge. Weitere Informationen zu den einzelnen Schritttypen finden Sie unter Ziele.
7. Optional: Klicken Sie im Abschnitt Variablenüberschreibung auf Überschreibungen hinzufügen, um Sitzungsvariablen festzulegen, bevor die Unterhaltung beginnt. Sobald der Testfall mindestens eine Überschreibung hat, wird die beschriftete Schaltfläche durch eine Schaltfläche mit einem Pluszeichen (+) neben den vorhandenen Überschreibungs-Chips ersetzt.
8. Optional können Sie auf Erwartungen hinzufügen klicken, um Erwartungen auf Unterhaltungsebene anzuhängen, die mit dem gesamten Transkript abgeglichen werden.
9. Klicken Sie auf Erstellen.

Der Editor hat einen Tab UI und einen Tab YAML, mit denen derselbe Testfall bearbeitet wird. Weitere Informationen zum YAML-Format finden Sie unter Simulation als YAML bearbeiten.

Ziele

Klicken Sie auf Zielvorhaben hinzufügen, um der Simulation einen Schritt hinzuzufügen. Jeder Schritt ist einer der folgenden Typen, die Sie im Typmenü des Schritts auswählen:

• Nutzerziel: Der simulierte Nutzer generiert eigene Äußerungen, bis die Erfolgskriterien erfüllt sind. Diese Schritte sind im Editor mit Ziel gekennzeichnet. Konfigurieren Sie Folgendes:
  • Nutzerziel: Was der simulierte Nutzer in diesem Schritt erreichen möchte, z. B. Ask for a refund on the most recent order.
  • Erfolgskriterien: Die Bedingung, die bestimmt, ob der Schritt abgeschlossen ist, z. B. Agent asks for the reason for the refund.
  • Maximale Anzahl von Runden, um das Ziel zu erreichen: Die maximale Anzahl von Runden, die für diesen Schritt zulässig sind, bevor die Simulation beendet wird. Der Standardwert ist 3.
  • Nutzerinformationen: Optionale Persona- und Kontext-Hinweise, die nur für den simulierten Nutzer sichtbar sind, nicht für den Agenten. Verwenden Sie diese Option, um Details anzugeben, die der Nutzer kennt, z. B. eine Bestellnummer oder einen Grund für den Anruf. Wenn Sie dieses Feld hinzufügen möchten, öffnen Sie das Optionsmenü des Schritts und klicken Sie auf Nutzerinformationen hinzufügen.
• Statische Äußerung: Der simulierte Nutzer sendet genau den von Ihnen angegebenen Text, ohne dass etwas generiert wird. Verwenden Sie diese Option, wenn der genaue Wortlaut wichtig ist, z. B. wenn Sie testen, wie der Agent mit einer alphanumerischen Kontonummer umgeht.
• Ereignis: Sendet ein benanntes Ereignis an den Agenten anstelle einer Äußerung. Verwenden Sie diese Option, um nicht-konversationelle Eingaben wie ein Telefonieereignis zu reproduzieren.

Statische Äußerungen und Ereignisschritte werden im Editor als Turn bezeichnet. Wie Nutzerziele können sie Erfolgskriterien haben, aber sie haben keine eigenen Felder für Maximale Anzahl von Turns, um das Ziel zu erreichen oder Nutzerinformationen.

Formulieren Sie Erfolgskriterien als beobachtbares Verhalten des KI-Agenten. Kriterien, die beschreiben, was der Agent sagen oder tun soll, werden zuverlässig bewertet. Kriterien, die einen internen Zustand beschreiben, der in der Unterhaltung nie auftaucht, werden nicht bewertet.

Ablauf einer Simulation

1. Der simulierte Nutzer beginnt mit dem ersten Schritt.
2. In jeder Runde generiert der simulierte Nutzer eine Äußerung, die nur auf den aktuellen Schritt abzielt.
3. Nachdem der Agent geantwortet hat, wird der aktuelle Schritt anhand seiner Erfolgskriterien bewertet. Wenn die Kriterien erfüllt sind, wird der Schritt als abgeschlossen markiert und der simulierte Nutzer fährt mit dem nächsten Schritt fort. Ein abgeschlossener Schritt wird nie wieder geöffnet.
4. Wenn ein Schritt nicht innerhalb des Limits für Maximale Anzahl von Runden zum Erreichen abgeschlossen wird, wird die Simulation beendet. Die nachfolgenden Schritte werden nie versucht.
5. Wenn die Unterhaltung beendet ist, wird das Transkript ausgewertet, um eine schriftliche Begründung für jeden versuchten Schritt zu erstellen.

Zusätzlich zu den Limits pro Schritt ist die gesamte Unterhaltung auf dasselbe Gesamtlimit wie jede andere simulierte Unterhaltung begrenzt, nämlich 100 Runden. In der Praxis wird eine Simulation zuerst durch die schrittweisen Limits für Maximal zu erreichende Runden beendet.

Eine Simulation gilt nur dann als bestanden, wenn alle Schritte abgeschlossen sind und die anderen Kriterien für das Bestehen oder Nichtbestehen erfüllt sind, die für simulierte Unterhaltungen gelten. Da die Schritte streng sequenziell sind, blockiert ein fehlgeschlagener Schritt den Rest des Testlaufs. Ordnen Sie die Schritte so an, dass ein Fehler eindeutig auf die Phase hinweist, in der er aufgetreten ist.

Simulationsergebnisse

Öffnen Sie ein Simulationsergebnis, um einen Abschnitt mit Zielen aufzurufen, dessen Überschrift zeigt, wie viele Schritte von der Gesamtzahl abgeschlossen wurden, z. B. Goals (2/3). Der Bereich wird automatisch maximiert, wenn nicht alle Schritte abgeschlossen sind. Darin befindet sich ein minimierbares Steuerfeld pro Schritt:

• Ein grünes Häkchen bedeutet, dass die Erfolgskriterien für den Schritt erfüllt wurden.
• Ein rotes X bedeutet, dass der Schritt nicht abgeschlossen wurde, entweder weil die Kriterien nie erfüllt wurden oder weil ein früherer Schritt ihn blockiert hat.

Jeder Bereich enthält eine Begründung, in der in einfacher Sprache erklärt wird, warum der Schritt als abgeschlossen oder nicht abgeschlossen betrachtet wurde. Wenn die Ausführung abgeschlossen ist, werden die nicht abgeschlossenen Schritte mit ihrer Begründung maximiert und die abgeschlossenen Schritte minimiert. Ein Schritt, der nie versucht wurde, wird mit einer Meldung begründet, in der der Text des Ziels genannt wird, das ihn blockiert hat.

Der Bereich Unterhaltung unter den Zielen enthält das vollständige simulierte Transkript. Sie können also genau nachvollziehen, was der simulierte Nutzer gesagt und wie der Agent geantwortet hat.

Wenn die Ausführung mit einem Fehler beendet wurde, wird oben im Ergebnis eine Karte mit der Fehlermeldung angezeigt. Wenn der Durchlauf abgeschlossen wurde, aber ein Schritt vom Typ Statische Äußerung nicht abgeschlossen wurde, wird auf dieser Karte stattdessen die Begründung des ersten solchen Schritts wiederholt. Da statische Äußerungen und Ereignisschritte im Editor beide mit Turn gekennzeichnet sind, sehen Sie im Abschnitt „Ziele“ nach, auf welchen Schritt sich die Karte bezieht. Nicht abgeschlossene Schritte vom Typ Nutzerziel und Ereignis werden nur im Bereich „Ziele“ erfasst.

Simulation als YAML bearbeiten

Klicken Sie im Simulationseditor auf den Tab YAML, um den Testfall als YAML zu bearbeiten. Die Zielliste wird als steps ausgedrückt und jeder Schritt wird den Feldern zugeordnet, die unter Ziele beschrieben sind:

evals:
  - name: "billing_refund_request"
    tags:
      - "billing"
    session_parameters:
      product_id: "prod_123"
    steps:
      - goal: "Greet the agent and ask for a refund for product_id."
        success_criteria: "Agent asks for the reason for the refund."
        max_turns: 3
      - goal: "Provide the reason and insist on the refund."
        success_criteria: "Agent agrees to process the refund or escalates."
      - static_utterance: "I want to check my balance."

YAML-Schlüssel	Konsolenfeld
name	Name des Testlaufs
tags	Tags
session_parameters	Variable überschreiben
goal	Ziel der Person
success_criteria	Erfolgskriterien
max_turns	Maximale Anzahl von Zügen, um das Ziel zu erreichen
response_guide	Nutzerinformationen
static_utterance	Schritt mit statischer Äußerung
event	Ereignisschritt
expectations	Erwartungen

Der Editor validiert die YAML-Datei während der Eingabe und wendet die folgenden Regeln an:

• Das Dokument muss eine evals-Liste enthalten. Der Editor liest nur den ersten Eintrag in dieser Liste.
• Jeder Eintrag muss einen name und mindestens einen Schritt enthalten.
• Jeder Schritt muss mindestens goal, static_utterance oder event enthalten.
• Jeder Schlüssel in session_parameters muss eine Variable sein, die in der Agentenanwendung deklariert ist.
• Jeder String in expectations muss der Prompt-Text einer Erwartung sein, die bereits in der Agent-Anwendung vorhanden ist. Beim Abgleich werden Groß-/Kleinschreibung und umgebende Leerzeichen ignoriert. Wenn Sie eine Erwartung erstellen möchten, verwenden Sie auf dem Tab UI die Option Erwartungen hinzufügen und verweisen Sie dann hier auf den Prompt.
• Nicht erkannte Schlüssel in einem Eintrag der Liste evals werden abgelehnt.

Golden

Diese Testläufe werden verwendet, um ideale Unterhaltungspfade für Regressionstests zu definieren, damit wichtige, kritische Unterhaltungspfade beim Aktualisieren des KI-Agenten nicht unterbrochen werden. Es gibt mehrere Möglichkeiten, eine Golden Conversation zu erstellen:

So importieren Sie eine Unterhaltung aus dem Simulator:

1. Starten Sie eine Unterhaltung mit dem Simulator.
2. Klicken Sie rechts oben im Simulator auf das Dreipunkt-Menü, um das Simulatormenü aufzurufen.
3. Klicken Sie auf Als Golden speichern.
4. Geben Sie einen Namen für den Golden-Testfall ein und klicken Sie auf Speichern. Sie wird jetzt auf dem Tab Bewertung angezeigt.

So erstellen Sie einen Testfall aus dem Unterhaltungsverlauf:

1. Rufen Sie den Tab Bewertung auf.
2. Klicken Sie auf + Testfall hinzufügen.
3. Wählen Sie Golden aus.
4. Klicken Sie auf Weiter.
5. Klicken Sie auf Aus Chatverlauf auswählen.
6. Wählen Sie im angezeigten Fenster die Unterhaltung aus, die Sie als Golden Testlauf speichern möchten. Sie haben die Möglichkeit, nach Unterhaltungs-ID zu suchen.
7. Wenn Sie die Bearbeitung aktiviert haben, prüfen Sie die Antworten und Variablen des KI-Agenten auf Bearbeitung, bevor Sie mit fehlenden Informationen fortfahren.
8. Klicken Sie auf Hinzufügen.

So erstellen Sie einen Testfall von Grund auf:

1. Rufen Sie den Tab Bewertung auf.
2. Klicken Sie auf + Testfall hinzufügen.
3. Wählen Sie Golden aus.
4. Klicken Sie auf Weiter.
5. Klicken Sie auf Neu erstellen.
6. Geben Sie im angezeigten Fenster einen Anzeigenamen für den Testfall ein.
7. Fügen Sie nach Bedarf Text für die Nutzereingabe und die Erwartung des KI-Agenten hinzu. Klicken Sie auf + Nutzereingabe hinzufügen und + Agentenerwartung hinzufügen, um Antworten hinzuzufügen. Klicken Sie auf + Turn hinzufügen, um dem Testlauf einen neuen Konversations-Turn hinzuzufügen.
8. Klicken Sie auf Erstellen, um den Golden Test-Fall Ihrer Liste von Testfällen hinzuzufügen.

So erstellen Sie einen Testlauf aus einer simulierten Unterhaltung in einem Szenariotestlauf:

1. Rufen Sie die Ergebnisseite des Bewertungsdurchlaufs auf.
2. Klicken Sie rechts neben der ausgewählten Unterhaltung auf das Dreipunkt-Menü und dann auf Als Golden Conversation speichern.

So laden Sie Testläufe im Batch aus einer Datei hoch:

Weitere Informationen zum Dateiformat und eine CSV-Vorlage finden Sie auf der Seite CSV-Format für Golden-Testläufe.

Golden Expectations

Um eine Bewertung durchzuführen, definieren Sie Erwartungen für den Golden Testlauf. Eine Erwartung ist ein bestimmtes Ergebnis, das Sie zu einem bestimmten Zeitpunkt in der Unterhaltung vom Agenten erwarten. Während der Bewertung wird das tatsächliche Verhalten des Agenten mit diesen Erwartungen verglichen.

Erwartungen können einer der folgenden Typen sein:

• Nachricht: Eine erwartete Textantwort des KI-Agenten an den Endnutzer. Bei der Bewertung wird geprüft, ob die Antwort des KI-Agenten semantisch mit dieser Erwartung übereinstimmt.
• Toolaufruf: Eine Erwartung, dass der Agent ein bestimmtes Tool aufruft und eine Antwort erhält. Sie können auch erwartete Eingabeargumente für den Toolaufruf angeben.
• Agentenübergabe: Die Erwartung, dass der Agent die Unterhaltung an einen menschlichen Kundenservicemitarbeiter oder einen anderen Bot übergibt.

Hinweis: Im stabilen Wiedergabemodus werden erwartete Variablen und Toolantworten verwendet, um Kontext in die Unterhaltung einzufügen. Im einfachen Wiedergabemodus haben diese Werte keine Auswirkungen auf das Ergebnis.

So erstellen Sie eine Erwartung:

1. Klicken Sie auf einen bestimmten Golden Test-Fall, um die Details zu öffnen.
2. Klicken Sie im Abschnitt Details auf Golden ansehen.
3. Folgen Sie der Anleitung auf der Benutzeroberfläche, um Erwartungen hinzuzufügen oder zu ändern.

Bewertungseinstellungen

In der Kopfzeile der Testfallliste können Sie die Bewertungseinstellungen konfigurieren:

• Goldens:
  • Golden-Pass/Fail-Kriterien: Legen Sie die Logik fest, nach der eine simulierte Unterhaltung als bestanden oder nicht bestanden gilt.
  • Turn-Ebene: Diese Regeln bewerten jeden einzelnen Turn. Wenn einer dieser Grenzwerte nicht erreicht wird, wird der entsprechende Messwert rot als Fehler markiert.
    • Semantische Ähnlichkeit: Schwellenwert für die semantische Ähnlichkeit.
    • Korrekte Toolnutzung: Schwellenwert für die korrekte Toolnutzung.
    • Halluzinationen: Wenn diese Option deaktiviert ist, werden Halluzinationen von der Bewertung „Bestanden/Nicht bestanden“ ausgeschlossen.
  • Erwartungsebene: Diese Regeln beurteilen die Erwartungen innerhalb eines Turns. Wenn einer dieser Grenzwerte nicht erreicht wird, wird der entsprechende Messwert rot als Fehler markiert.
    • Korrekte Toolnutzung: Schwellenwert für die korrekte Toolnutzung.
  • Golden Run-Methode: Wählen Sie zwischen naiver oder stabiler Wiedergabevalidierung.
  • Tool-Fake: Verwenden Sie simulierte Daten anstelle von echten API-Aufrufen in der Produktion.
• Scenarios:
  • Kriterien für das Bestehen/Nichtbestehen des Szenarios: Legen Sie die Logik fest, nach der eine simulierte Unterhaltung als bestanden oder nicht bestanden gilt.
  • Unterhaltungsinitiator: Legen Sie fest, wer die Unterhaltung beginnt, der Nutzer oder das Modell.
  • Tool-Fake: Verwenden Sie simulierte Daten anstelle von echten API-Aufrufen in der Produktion.
• Audiobewertung
  • Audioaufnahmen für die Bewertung

Bewertungen ausführen

Wenn Sie eine Bewertung ausführen möchten, können Sie entweder in der Zeile des Testlaufs auf die Schaltfläche „Ausführen“ klicken oder mehrere Testläufe auswählen und ausführen.

Wenn Sie mehrere Versionen gespeichert haben, können Sie auswählen, welche Agentenversion verwendet werden soll, oder Ihren Agentenentwurf automatisch als neue Version für die Ausführung speichern.

Nach einem Bewertungslauf werden die Messwerte aktualisiert und die Ergebnisse präsentiert.

Wenn Sie auf eine bestimmte Ausführungsbewertung klicken, werden die detaillierten Ergebnisse für eine Ausführung angezeigt. Zusätzlich zu den Standardmesswerten wird Folgendes angezeigt:

• Fehlgeschlagene Abbiegungen
• Seitenweise Liste aller Details zu den Runden, einschließlich der tatsächlichen und erwarteten Antworten des KI-Agenten.

Bei Golden-Testfällen wird möglicherweise der Begriff „stabile Wiedergabe“ verwendet, um zu verdeutlichen, dass der Test in einer konsistenten Umgebung ausgeführt wurde (d.h. ohne Verschiebung des Kontexts/der Eingabe).

Bei Simulationstestfällen wird das Ergebnis jedes Ziels angezeigt, anstatt eines detaillierten Vergleichs mit den erwarteten Antworten. Weitere Informationen finden Sie unter Simulationsergebnisse.

Testläufe mithilfe von KI verbessern (VORSCHAU)

Vorschau

Dieses Produkt oder diese Funktion unterliegt den „Pre-GA-Angebotsbedingungen“ im Abschnitt „Allgemeine Dienstbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Produkte und -Features sind "im Ist-Zustand" verfügbar und bieten möglicherweise nur eingeschränkten Support. Weitere Informationen finden Sie unter den Beschreibungen der Startphase.

Hinweis: Derzeit werden KI-Verbesserungen nur für KI-Agentenanwendungen mit einem einzelnen KI-Agenten unterstützt.

Optional können Sie KI verwenden, um Fehler in einer Ausführung zu beheben und Vorschläge zur Verbesserung der Agentenqualität zu erhalten. KI-Vorschläge sind optimal, wenn die Anzahl der Ausführungen (Ausführungsanzahl) mindestens 3 beträgt. Wenn Sie die KI aktivieren möchten, wählen Sie die Testlauf-Fälle aus, die Sie bewerten möchten, und klicken Sie auf Auswahl ausführen. Setzen Sie im Pop-up-Fenster ein Häkchen neben Probleme mit KI finden.

Nach Abschluss des Durchlaufs werden auf der Ergebnisseite KI-basierte Vorschläge angezeigt. Gemini generiert automatisch eine herunterladbare loss_report, in der Aspekte der Leistung des KI-Agenten zusammengefasst und Bereiche hervorgehoben werden, die verbessert werden können.

Alle Nutzer können die von der KI vorgeschlagenen Korrekturen sehen, aber nur die Person, die die Ausführung initiiert hat, kann basierend auf den Ergebnissen Maßnahmen ergreifen.

Klicken Sie auf Gemini fragen, um mit dem Hilfs-Agenten zu interagieren. Zuerst wird der Verlustbericht angezeigt, in dem allgemeine Probleme mit dem Modell oder Agenten erläutert werden. Sie können den KI-Agenten bitten, den Bericht zu erklären. Er fasst den Bericht dann zusammen und schlägt möglicherweise Korrekturen vor. Nachdem die Korrekturen angewendet wurden, können Sie den Hilfs-Agenten bitten, die Bewertung noch einmal auszuführen.

Import und Export

Sie können Testläufe, Ausführungen und Ergebnisse für die Bewertung im YAML- oder JSON-Format importieren und exportieren. Achten Sie beim Importieren darauf, dass der empfangende Agent alle Ressourcen (Tools, Variablen und Sub-Agenten) enthält, die in den exportierten Daten definiert sind.

So exportieren Sie Testfälle:

1. Wählen Sie einen oder mehrere Testläufe aus.
2. Klicken Sie auf Testläufe exportieren.
3. Wählen Sie das Format aus.
4. Eine ZIP-Datei wird heruntergeladen.

So importieren Sie Testfälle:

1. Klicken Sie auf + Testfall hinzufügen.
2. Wählen Sie Golden aus.
3. Klicken Sie auf Weiter.
4. Laden Sie die ZIP-Datei hoch.
5. Wenn es Konflikte mit dem Import gibt, werden Sie durch die Behebung geführt.
6. Klicken Sie auf Erstellen.

So exportieren Sie Bewertungsdurchläufe und -ergebnisse:

1. Wählen Sie einen oder mehrere Bewertungsdurchläufe aus.
2. Klicken Sie auf Ausführung exportieren.
3. Wählen Sie das Format aus.
4. Eine ZIP-Datei wird heruntergeladen.

Messwerte

Jedes Testergebnis enthält eine Reihe von Messwerten, mit denen die Leistung des KI-Agenten im Vergleich zu den ausgewählten Testfällen gemessen wird. Messwerte werden entweder auf der Turn- oder der Erwartungsebene (Unterhaltungsebene) berechnet, wie in der Console angegeben.

In allen Fällen können Sie die für das Bestehen des Durchlaufs erforderlichen Werte im Menü Einstellungen auf dem Tab Bewerten anpassen.

Hinweis: Simulationstestfälle werden von derselben Pipeline für simulierte Nutzer ausgeführt wie Szenarien. Daher wird jeder Messwert, der für ein Szenario berechnet wird, auch für eine Simulation berechnet. Die Anwendbarkeit der einzelnen Messwerte wird unten erläutert.

Korrekte Toolnutzung

Wird für Golden-, Szenario- und Simulations-Testläufe berechnet. Dieser Messwert gibt den Prozentsatz der erwarteten Parameter an, die bei einem erwarteten Toolaufruf und den erwarteten Parameterwerten übereinstimmen. Verpasste Toolaufrufe werden mit 0 bewertet, Toolaufrufe ohne Eingabeparameter mit 1, falls vorhanden. Wenn während einer Golden Evaluation ein unerwarteter Toolaufruf erfolgt, wird das Ergebnis als Fehler gewertet. Dies hat jedoch keine Auswirkungen auf den Wert für die Toolkorrektheit.

Erreichen der Nutzerziele

Wird für Szenario- und Simulations-Testläufe berechnet. Die Zufriedenheit mit dem Nutzerziel ist ein binärer Messwert, der für Bewertungen mit Nutzersimulationen entwickelt wurde. Es wird gemessen, ob der simulierte Nutzer der Meinung ist, dass seine Ziele erreicht wurden (0=Nein, 1=Ja). Die Eingaben sind die user_goal, wie sie durch die simulierte Nutzerkonfiguration und ein Unterhaltungstranskript definiert sind. Wenn die angegebene user_goal kein explizites oder implizites Ziel angibt, ist die Ausgabepunktzahl -1.

Eine Simulation hat kein separates Feld für ein übergeordnetes Nutzerziel. Daher wird dieser Messwert anhand des Testlaufnamens beurteilt. Geben Sie Simulationen einen Namen, der beschreibt, was der Nutzer insgesamt erreichen möchte.

Dies ist nicht das einzige Signal auf Unterhaltungsebene für eine Simulation. Eine Simulation kann auch Erwartungen enthalten, die mit dem gesamten Transkript abgeglichen und im Abschnitt Erwartungen des Ergebnisses gemeldet werden. Dies sind dieselben Erwartungen, die auch für Szenarien gelten. Weitere Informationen finden Sie unter Szenarioerwartungen. Die Ergebnisse pro Schritt werden unter Abschlüsse für Zielvorhaben aufgeführt.

Abschlüsse für Zielvorhaben

Wird nur für Simulationen gemeldet. Anstelle einer einzelnen Punktzahl für die Unterhaltung wird jeder Schritt in der Simulation einzeln als abgeschlossen oder nicht abgeschlossen gemeldet, zusammen mit einer Begründung, die das Ergebnis erklärt. In der Console wird dies in der Überschrift des Abschnitts „Ziele“ als Anzahl der abgeschlossenen Schritte im Verhältnis zur Gesamtzahl zusammengefasst, z. B. Goals (2/3). Die Anzahl umfasst alle Schritte in der Simulation, einschließlich statischer Äußerungen und Ereignisschritte.

Da die Schritte der Reihe nach ausgeführt werden, ist der erste nicht abgeschlossene Schritt die Ursache des Fehlers. Die nachfolgenden Schritte werden nicht ausgeführt.

KI-Halluzinationen

Verfügbar für Golden- und Szenario-Testläufe. Halluzinationswerte werden für jede generierte Antwort berechnet. Dieser Messwert gibt an, ob der KI-Agent Aussagen gemacht hat, die nicht durch den Kontext des KI-Agenten gerechtfertigt sind (0=nein, 1=ja). Der Kontext besteht aus allen vorherigen Runden in der Unterhaltung, Sitzungsvariablen, Toolaufrufen und Agentenanweisungen. Dieser Messwert wird nur für Turns berechnet, die Toolaufrufe enthalten. Halluzinationen in Toolaufrufen werden nicht erkannt. Toolaufrufe, die als Kontext bereitgestellt werden, werden als korrekt angenommen. Um falsch positive Ergebnisse zu minimieren, kann der Messwert „–“ zurückgeben, wenn eine Antwort keine sachlichen Behauptungen oder nur allgemein bekanntes Wissen enthält.

Sie können Halluzinationen in den Bewertungseinstellungen aktivieren und deaktivieren.

Semantische Übereinstimmung

Wird nur für Golden-Testläufe berechnet, nicht für Szenario- oder Simulationstestläufe. Dieser Messwert gibt an, inwieweit eine beobachtete Agentenäußerung mit einer erwarteten Agentenäußerung übereinstimmt. Die semantische Übereinstimmung wird auf Turn-Ebene berechnet. Die zurückgegebenen Werte reichen von 0 (völlig inkonsistent oder widersprüchlich) bis 4 (völlig konsistent).

Erwartungen an das Szenario

Wird für Szenario- und Simulations-Testläufe berechnet. Dieser Messwert gibt an, ob das Verhalten des KI-Agenten, wie von den simulierten Nutzern erwartet, zufriedenstellend war oder nicht (0=nein, 1=ja). Es werden zwei Arten von simulierten Nutzererwartungen unterstützt:

• Erwartungen an Toolaufrufe: Werden ähnlich wie die Korrektheit von Toolaufrufen berechnet, mit folgenden Ausnahmen:
  • Die Ergebnisse sind entweder 0 (nein) oder 1 (ja).
  • Unerwartete Toolaufrufe werden nicht negativ bewertet. Erwartungen sollen die Toolaufrufe angeben, die für eine Unterhaltung erforderlich sind, um die Erwartungen des simulierten Nutzers zu erfüllen.
  • Wenn eine Erwartung für die Eingabe eines Toolaufrufs erfüllt wird, wird der Aufruf abgefangen und zur Laufzeit durch einen simulierten Rückgabewert ersetzt.
• Erwartungen an die Antwort des KI-Agenten: Prüft, ob eine Antwort des KI-Agenten in der Unterhaltung einen erwarteten String enthält.

Aufgabe abschließen

Wird für Szenario- und Simulations-Testläufe berechnet. Die Erledigung von Aufgaben ist ein Maß für die Qualität der Unterhaltung. Es wird gemeinsam gemessen, ob die Ziele des Nutzers erreicht wurden UND ob das Verhalten des Agenten korrekt war. Sie ist so definiert:

User_Goal_Satisfied AND no_hallucinations_detected AND Expectations Satisfied

Bei Simulationen wird ein vierter Begriff hinzugefügt: Jeder Schritt in der Simulation muss ebenfalls abgeschlossen werden. Der Abschluss der Aufgabe wird in der Console als Gesamtstatus des Testfallergebnisses (bestanden oder nicht bestanden) gemeldet.

Nutzeridentitäten:

Personas sind simulierte Nutzer-Personas, die Sie anpassen und für Agententests mit Szenario- und Simulations-Testfällen verwenden können. Diese Funktion ist nützlich, um sicherzustellen, dass der Agent angemessen mit den Arten von menschlichen Nutzern interagiert, denen er zur Laufzeit wahrscheinlich begegnen wird.

Wenn Sie keine Persona auswählen, wird für jedes Szenarioergebnis eine zufällige Persona ausgewählt.

Diese Funktion ist sowohl für Text- als auch für Audioeingaben verfügbar.

Persona erstellen

1. Wenn Sie eine Persona erstellen möchten, rufen Sie den Tab Bewerten auf und klicken Sie auf Persona-Verwaltung (neben dem Symbol für die Einstellungen).
2. Klicken Sie auf + Persona hinzufügen.
3. Geben Sie im Pop-up-Menü einen Namen, eine Nutzerpersönlichkeit und einen zusätzlichen Nutzerkontext (z. B. Alter, Standort, Grund des Anrufs usw.) ein.
4. Klicken Sie auf + Hinzufügen.

So führen Sie eine Bewertung mit einer Persona aus:

1. Kehren Sie zur Hauptseite Bewerten zurück und wählen Sie einen oder mehrere Szenario- oder Simulationstestfälle aus. Klicken Sie auf Ausgewählte ausführen.
2. Wählen Sie im eingeblendeten Fenster die gerade erstellte Persona aus dem Drop-down-Menü Personas aus und klicken Sie auf Ausführen.

Best Practices für Bewertungen und Hillclimbing

Wenn Sie einen neuen Agenten mit modularen Komponenten erstellen, sollten Sie für jede Agentenvariante dedizierte Testfälle erstellen, z. B.:

• Sprach- und Chat-Funktionen
• SMS- und Chat-SDK
• Marke A, B, C usw.

Erstellen Sie zusätzliche Fälle, um zu prüfen, ob Anweisungen zwischen Varianten weitergegeben werden. Beispielsweise sollten chatspezifische Anweisungen nicht für Fälle angezeigt werden, die im Sprachmodus ausgeführt werden, und umgekehrt.

Achten Sie darauf, dass die Fälle für den richtigen Agenten ausgeführt werden:

• Bei Modalitäten (Chat oder Sprache) oder Kanälen wird die Anfrage automatisch mit der richtigen Bereitstellung abgeglichen.
• Jede Bereitstellung umfasst die Modalität, das verwendete Modell und den Kanal.
• Fügen Sie bei vom Builder definierten Variablenbedingungen den Variablenwert ein, wenn Sie den Fall ausführen. Beispiel: brand_name == "Cymbal Retail" oder brand_name == "Acme Corp".

Bitten Sie Ihren bevorzugten Codierungs-Agenten, den CX Agent Studio-Agenten iterativ zu verbessern, bis alle Testfälle ihre Zielmesswerte oder ein anderes Qualitätsziel erreichen.

• Bitten Sie Ihren KI-Agenten für die Programmierung, vorgeschlagene Änderungen aus verschiedenen Testfällen abzugleichen, die sich auf dieselben Agentenanweisungen auswirken. Weisen Sie es an, schwierige Konflikte für eine manuelle Überprüfung zu kennzeichnen, damit Sie bei Bedarf differenzierte Eingaben machen können.
• Bitten Sie Ihren Coding-Agenten, für die vorgenommenen Änderungen nebeneinander angeordnete Diffs aller Agentenvarianten zu erstellen. So können Sie die ausgewählten Korrekturen besser nachvollziehen und validieren.
• Wiederholen Sie den Vorgang bei Bedarf. Die genaue Art dieser Iterationen hängt vom Design Ihres CX Agent Studio-Agenten, dem Design des Coding-Agenten, dem verwendeten Modell und dem Framing der Unterhaltung ab.
• Prüfen Sie, ob die Ergebnisse des Codierungs-Agents korrekt sind, indem Sie tatsächliche Transkript- und Ergebnisproben manuell validieren.
• Weisen Sie Ihren Coding Agent an, fehlende Szenarien aus der Hillclimbing-Übung zu finden und gegebenenfalls neue Fälle vorzuschlagen. Wiederholen Sie den Vorgang nach Bedarf.