Einige Produkte und Funktionen werden umbenannt. Außerdem werden die Funktionen für generative Playbooks und Flows zu einer einzigen konsolidierten Konsole migriert.

Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Playbook-Bewertungen

In diesem Leitfaden wird erläutert, wie Sie die integrierte Bewertungsfunktion in der Dialogflow CX-Konsole verwenden, um die Funktionen Ihres Agenten zu prüfen und Regressionen nach Updates zu verhindern. Dialogflow CX bietet vordefinierte Messwerte, mit denen Sie die Leistung Ihres Agents bewerten können.

Für alle Messwerte außer der Latenz ist mindestens ein Testfall erforderlich, eine „goldene Antwort“, mit der Dialogflow CX die Leistung des Agenten vergleicht, um die Ergebnisse zu messen. Jeder Testfall kann im Kontext einer Umgebung gemessen werden. So können Sie verschiedene Versionen von Playbooks, Abläufen und Tools angeben, die bei der Leistungsbewertung des KI-Agenten verwendet werden sollen.

(Optional) Umgebung erstellen

Das Erstellen einer Umgebung ist optional. Wenn Sie keine erstellen, ist der Standardwert Entwurf.

Gehen Sie zu Umgebungen und klicken Sie auf Erstellen.
Wählen Sie die Versionen der Playbooks, Abläufe und Tools aus, die Sie zum Messen der Agentenleistung verwenden möchten.
Klicken Sie auf Speichern, um die Umgebung zu speichern.

Testlauf erstellen

Sie können einen Testfall aus einer vorhandenen Unterhaltung in Ihrem Unterhaltungsverlauf erstellen, eine neue Unterhaltung erstellen, um sie als Testfall zu speichern, oder Testfälle in Dialogflow CX importieren.

Testlauf in der Console erstellen

Rufen Sie im Navigationsmenü den Unterhaltungsverlauf auf.
Wenn Sie eine neue Unterhaltung erstellen möchten, aktivieren Sie Ihren Agenten, z. B. indem Sie die Telefonnummer des Agenten anrufen. Wählen Sie eine Unterhaltung aus, die Sie als Testfall verwenden möchten.
Sehen Sie sich die Unterhaltung an und prüfen Sie die Antworten des KI-Agenten, die aufgerufenen Tools und wie die einzelnen Antworten klingen. Wenn Sie zufrieden sind, wählen Sie Testlauf erstellen aus.
Geben Sie einen Anzeigenamen für den Testfall an und legen Sie fest, welche Ereignisse auf Unterhaltungsebene auftreten müssen. Dazu können Tools, Playbooks und Abläufe gehören, die voraussichtlich während der Unterhaltung aufgerufen werden. Wählen Sie + Erwartung hinzufügen aus, um weitere Erwartungen hinzuzufügen. Wenn die Erwartungen in der Reihenfolge von oben nach unten ausgewertet werden sollen, aktivieren Sie Sequenzielle Validierung.
Klicken Sie auf Speichern, um den Testfall zu speichern.

Testläufe hochladen

Testläufe müssen im folgenden CSV-Format vorliegen.
Klicken Sie oben im Menü „Testläufe“ auf Importieren, um Testläufe in das System hochzuladen.
Wählen Sie im angezeigten Menü entweder die lokal gespeicherte Datei aus oder geben Sie den Pfad zum Cloud Storage-Bucket ein.
Ihre Testläufe sollten jetzt im Menü „Testläufe“ angezeigt werden.

Testlauf ausführen

Rufen Sie im Navigationsmenü Testfälle auf und wählen Sie die Testfälle aus, mit denen Sie Ihren Agenten vergleichen möchten. Sie können einen oder mehrere Testläufe auswählen.
Klicken Sie auf Ausgewählte Testläufe ausführen.

Testergebnisse

Auf Ergebnisse zugreifen: Die neuesten Ergebnisse der Testlaufausführung werden nach Abschluss für jeden Testlauf in der Ansicht Testlauf angezeigt:
1. Semantische Ähnlichkeit: Misst, wie ähnlich die Unterhaltungen des KI-Agenten der „Golden Response“ (Antworten im Testlauf) waren. Für diesen Messwert sind Golden Responses erforderlich. Die Werte können 0 (inkonsistent), 0,5 (etwas konsistent) oder 1 (sehr konsistent) sein.
2. Accuracy des Toolaufrufs: Gibt an, wie genau die Unterhaltung die Tools enthält, die voraussichtlich während der Unterhaltung aufgerufen werden. Die Werte reichen von 0 bis 1. Wenn in der Unterhaltung keine Tools verwendet werden, wird die Genauigkeit als -- (nicht zutreffend) angezeigt.
3. Latenz: Die Gesamtzeit, die der Agent benötigt, um eine Nutzeranfrage zu verarbeiten und dem Nutzer zu antworten. Sie wird als Differenz zwischen dem Ende der Nutzeräußerung und dem Beginn der Agentenantwort in Sekunden gemessen.
Golden-Testlauf aktualisieren: Wenn der neueste Testlauf erwartete Änderungen aufgrund eines Agentenupdates widerspiegelt, wählen Sie Als Golden-Testlauf speichern aus, um den ursprünglichen Testlauf zu überschreiben.
Ergebnisse filtern und sortieren: Sie können die Bewertungsergebnisse nach allen generierten Messwerten oder nach einer bestimmten Umgebung filtern und sortieren, um Leistungsänderungen nach jedem Update zu verfolgen.

Formatierung für den Batchimport von Testläufen

In diesem Abschnitt wird beschrieben, wie Sie eine CSV-Datei für den Import von Batch-Testläufen für Ihren Agenten formatieren. Das System liest diese Datei, um eine strukturierte Reihe von Testfällen zu erstellen, die jeweils einen oder mehrere Gesprächswechsel enthalten.

Ein einzelner Testfall kann sich über mehrere Zeilen in der CSV-Datei erstrecken. In der ersten Zeile eines Testlauf werden die allgemeinen Eigenschaften definiert, z. B. Name und Sprache. Jede nachfolgende Zeile für diesen Testfall definiert einen einzelnen Hin- und Her-Wechsel in der Unterhaltung, bei dem der Nutzer etwas sagt und der Agent antwortet.

Die CSV-Datei muss eine Kopfzeile als allererste Zeile enthalten. Diese Kopfzeile definiert die Daten in jeder Spalte.

Erforderliche Header

Die beiden erforderlichen Header müssen in der gezeigten Reihenfolge angezeigt werden. Beide sind für die erste Zeile eines neuen Testfalls erforderlich. Sie können einen neuen Testfall starten, indem Sie neue DisplayName- und LanguageCode-Werte angeben.

DisplayName: Der Name Ihres Testlauf. Diese Spalte wird nur für die erste Zeile eines neuen Testlauf ausgefüllt.
LanguageCode: Der Sprachcode für den Test (z. B. en, en-US, es).

Optionale Header

Sie können die folgenden optionalen Header einfügen, um weitere Details zu Ihren Testfällen anzugeben. Sie können nach den ersten beiden erforderlichen Spalten in beliebiger Reihenfolge angeordnet sein.

Metadaten des Testlaufes:

Tags: Durch Leerzeichen getrennte Tags zum Organisieren von Tests (z. B. „Zahlungen Onboarding“).
Hinweis: Freitextnotizen oder eine Beschreibung des Zwecks des Testlaufs.
TestCaseConfigV2.StartResource: Geben Sie den Ablauf oder das Playbook an, mit dem der Test gestartet werden soll.

Nutzereingabe:

UserInput.Input.Text: Der Text, den der Nutzer für eine bestimmte Runde eingibt.
UserInput.InjectedParameters: Parameter, die zu Beginn einer Runde in die Unterhaltung eingefügt werden sollen, formatiert als JSON-String.

Ausgabe des KI-Agenten:

AgentOutput.QueryResult.ResponseMessages.Text: Der genaue Text, mit dem der Agent geantwortet hat.
AgentOutput.QueryResult.Parameters: Die vom Agenten extrahierten Parameter, formatiert als JSON-String.

Geordnete Erwartungen:

OrderedExpectations.ExpectedFlow: Der Ablauf, der nach der Runde aktiv sein soll.
OrderedExpectations.ExpectedIntent: Die Intent, die für die Runde abgeglichen werden soll.
OrderedExpectations.ExpectedAgentReply: Der Text, den Sie als Antwort vom KI-Agenten erwarten. Dies kann ein Teilstring der vollständigen Antwort sein.
OrderedExpectations.ExpectedOutputParameter: Die Parameter, die am Ende der Runde festgelegt werden sollen, formatiert als JSON-String.

Audiometadaten:

AudioTurnMetadata: Metadaten für audiobasierte Tests, formatiert als JSON-String.

Testlauf erstellen

Testfälle sind nach Datenzeilen organisiert.

Füllen Sie die Metadatenzeile aus, um einen neuen Testfall zu starten:
- Regel: Diese Zeile muss einen Wert in der Spalte DisplayName enthalten.
- Aktion: Geben Sie Werte für DisplayName und LanguageCode ein. Fügen Sie in dieser Zeile nach Bedarf Tags, Notizen oder eine TestCaseConfigV2.StartResource ein. Lassen Sie die Spalten für die Gesprächsrunden (z. B. UserInput.Input.Text) in dieser Zeile leer. Wenn Sie Tags verwenden, trennen Sie jedes Tag durch ein Leerzeichen (z. B. tag1 tag2 tag3). Wenn Sie TestCaseConfigV2.StartResource verwenden, stellen Sie dem Ressourcennamen start_flow: oder start_playbook: voran (z. B. start_flow:projects/p/locations/l/agents/a/flows/f).
Fügen Sie dem gerade gestarteten Testlauf einen Gesprächsbeitrag hinzu, indem Sie direkt darunter eine neue Zeile einfügen:
- Regel: Die Spalte DisplayName muss leer sein. Dadurch wird dem Parser mitgeteilt, dass es sich um eine Runde handelt, die zum vorherigen Testlauf gehört.
- Aktion: Füllen Sie die Spalten aus, die die Aktion des Nutzers und die erwartete Antwort des KI-Agenten für diese Runde beschreiben, z. B. UserInput.Input.Text und OrderedExpectations.ExpectedAgentReply. Für Spalten, die JSON erfordern, müssen Sie ein gültiges JSON-Objekt als String angeben (z. B. {"param_name": "param_value", "number_param": 123}).