Batch-Upload für die Bewertung

Auf dieser Seite wird das Format beschrieben, das für das Hochladen von Referenzbewertungen in einer CSV-Datei erforderlich ist. Weitere Informationen zu Golden Evaluations finden Sie in der Dokumentation zu Golden Evaluations.

Vorlage herunterladen

  • Rufen Sie den Tab Bewerten auf und klicken Sie auf + Testlauf hinzufügen -> Golden.
  • Klicken Sie im angezeigten Menü auf Vorlage herunterladen.
  • Nachdem Sie mit der Vorlage eine CSV-Datei mit Ihren Golden Evaluations erstellt haben, können Sie sie hochladen, indem Sie im selben Menü auf Datei hochladen klicken.

Allgemeine Struktur

  • Eine einzelne CSV-Datei kann mehrere Auswertungen enthalten. Jede Bewertung kann sich über mehrere Zeilen erstrecken.
  • Die erste Zeile einer Auswertung ist die Auswertungszeile. Sie definiert die allgemeinen Eigenschaften der Auswertung (Name und Metadaten).
  • Jede nachfolgende Zeile ist eine Unterhaltungszeile und definiert eine einzelne Unterhaltungsrunde in der Auswertung (z. B. sagt ein Endnutzer etwas, der Agent soll antworten oder ein Tool-Aufruf wird erwartet).
  • Sie können einen neuen Testlauf starten, indem Sie in der Spalte display_name einen neuen Namen angeben. Jeder neue display_name-Wert definiert den Beginn einer neuen Auswertung.

Kopfzeile

Die erste Zeile Ihrer CSV-Datei muss eine Kopfzeile sein. In dieser Kopfzeile wird eine Datenvariable in jeder Spalte definiert. Alle Variablen mit Ausnahme der erforderlichen Variablen sind optional, sofern sie nicht durch einen action_type-Wert erforderlich sind. Optionale Spalten für Variablen können in beliebiger Reihenfolge nach den erforderlichen Variablen stehen.

  • Erforderliche Variablen: display_name, turn_index, action_type.

Unterhaltungsbewertung definieren

Jede neue Bewertung beginnt in einer Bewertungszeile. Jede Unterhaltungszeile unter der Bewertungszeile entspricht einer Unterhaltungsrunde bis zur nächsten Bewertungszeile.

Bewertungszeile

Die erste Zeile nach der Kopfzeile muss eine Bewertungszeile sein. Jede Zeile in der Tabelle definiert eine neue Auswertung.

  • Erforderlich:Geben Sie im Feld display_name einen eindeutigen, für Menschen lesbaren Namen für die Evaluierung ein.
  • Optional:Sie können optional Daten für Metadatenvariablen in dieser Zeile hinzufügen.

Unterhaltungszeile

Jede Zeile enthält Daten aus einer Unterhaltungsrunde.

  • Erforderlich:Geben Sie Werte in die Felder turn_index und action_type ein. display_name muss leer bleiben.
  • Optional:Geben Sie Werte für alle anderen Spaltenüberschriften als Metadatenvariablen oder display_name ein.

Variablen

In den folgenden Tabellen werden die verfügbaren Datenvariablen beschrieben. Alle Variablen mit Ausnahme der erforderlichen Variablen sind optional, sofern nicht durch einen action_type-Wert erforderlich. Alle Variablen müssen in der Kopfzeile definiert werden, eine pro Spalte. Optionale Variablenspalten können nach den erforderlichen Spalten in beliebiger Reihenfolge angegeben werden.

Erforderliche Headervariablen

Spaltenname Beschreibung
display_name Der für Menschen lesbare Name Ihrer Bewertung. Dieses Feld wird nur für die erste Zeile einer neuen Auswertung ausgefüllt. Jeder neue display_name-Wert definiert eine neue Auswertung.
turn_index Eine Zahl (1, 2, 3…), die die fortlaufende Reihenfolge des Gesprächsbeitrags angibt. Alle Zeilen in einem Turn haben denselben Indexwert. Die Werte müssen für jede Auswertung mit 1 beginnen. Jede nachfolgende Zeile muss den gleichen oder einen höheren Wert als die vorherige Zeile haben.
action_type Gibt an, was die Daten dieser Zeile darstellen. Für jeden Wert gibt es optionale Variablenwerte, die ebenfalls ausgefüllt werden müssen (wie angegeben), damit der Gesprächsbeitrag korrekt eingegeben wird. Der Eingabewert muss einer der folgenden sein:

INPUT_TEXT: Eine Texteingabe des Endnutzers.
 – (Erforderlich) text_content.

INPUT_IMAGE: Eine Bild-Eingabe des Endnutzers.
 – (Erforderlich) image_mime_type, image_content.

INPUT_TOOL_RESPONSE: Eine Tool-Antwort.
– (Erforderlich) tool_name.
– (Optional) tool_response_json.

INPUT_UPDATED_VARIABLES: Variablen aus einer Eingabe aktualisieren.
– (Erforderlich) updated_variables_json

EXPECTATION_TEXT: Erwartete Ausgabe aus einer Textantwort des Agenten.
– (Erforderlich) response_agent, text_content.
– (Optional) expectation_note.

EXPECTATION_TOOL_CALL: Erwarteter Tool-Aufruf.
- (Erforderlich) tool_name.
- (Optional) tool_call_args_json, expectation_note.

EXPECTATION_TOOL_RESPONSE: Erwartete Tool-Antwort.
– (Erforderlich) tool_name.
– (Optional) expectation_note.

EXPECTATION_AGENT_TRANSFER: Erwartete Agent-Weiterleitung.
– (Erforderlich) agent_transfer_target.
– (Optional) expectation_note.

Metadatavariablen

Spaltenname Beschreibung
evaluation_id Eine eindeutige ID für die Auswertung. Jeder evaluation_id-Wert muss für Ihren Customer Experience Agent Studio-Agenten eindeutig sein. Wenn in dieser Spalte kein Wert manuell eingegeben wird, wird automatisch eine eindeutige ID generiert.
description Freitextanmerkungen oder eine Beschreibung des Zwecks der Auswertung.
tags Durch Semikolons getrennte Tags zum Organisieren von Auswertungen (z. B. „tag1;tag2“).
evaluation_groups Durch Semikolon getrennte Namen aller Auswertungsgruppen, zu denen die Auswertung gehört (z. B. „Gruppenname 1;Gruppenname 2“). Alle evaluation_groups-Werte, die in dieser Spalte eingegeben, aber nicht in der Kopfzeile definiert sind, werden ignoriert.

Variablen für Unterhaltungsrunden

Spaltenname Beschreibung
response_agent Name des Agents, der die Antwort bereitgestellt hat. Wird nur für EXPECTATION_TEXT erwartet.
text_content Der Text für INPUT_TEXT oder EXPECTATION_TEXT.
image_mime_type Der IANA-Standard-MIME-Typ des Quellbilds. Unterstützte Werte: image/png, image/jpeg, image/webp, image/heic, image/heif.
image_content Bytestring des INPUT_IMAGE.
tool_name Die display_name für das Tool, das aufgerufen wird oder antwortet. Erwartet für INPUT_TOOL_RESPONSE,EXPECTATION_TOOL_CALL oder EXPECTATION_TOOL_RESPONSE.
tool_call_args_json Die JSON-Argumente für ein EXPECTATION_TOOL_CALL.
tool_response_json Der JSON-Inhalt eines INPUT_TOOL_RESPONSE.
updated_variables_json Der JSON-Inhalt für INPUT_UPDATED_VARIABLES.
agent_transfer_target Anzeigename des Ziel-Agents für ein EXPECTATION_AGENT_TRANSFER.
expectation_note Hinweis oder Beschreibung der Erwartung.