上傳評估批次

本頁說明以 CSV 檔案上傳黃金評估時的格式規定。如要進一步瞭解黃金評估,請參閱黃金評估說明文件。

下載範本

  • 前往「Evaluate」分頁,然後點選「+ Add test case -> Golden」
  • 在隨即顯示的選單中,按一下「下載範本」
  • 使用範本建立內含黃金評估的 CSV 檔案後,請在相同選單中按一下「上傳檔案」,即可上傳檔案。

一般結構

  • 單一 CSV 檔案可包含多項評估。每項評估可跨越多列。
  • 評估的第一列是「評估列」,定義整體屬性 (名稱和中繼資料)。
  • 後續的每一列都是「對話列」,定義評估中的單一對話回合 (例如,使用者說了什麼、代理程式應回覆的內容,或預期會呼叫工具)。
  • 您可以在 display_name 欄中提供新名稱,開始新的測試案例。每個新的 display_name 值都會定義新的評估開始時間。

標頭列

CSV 檔案的第一行必須是標頭列。這個標題會定義每個資料欄中的資料變數。除非 action_type要求,否則除了必要變數以外,所有變數都是選填。必要變數後可依任意順序排列選用變數欄。

  • 必要變數display_nameturn_indexaction_type

定義對話評估

每次新的評估作業都會從評估列開始。評估列下方的每個對話列都對應到一個對話回合,直到下一個評估列為止。

評估列

標題列後的第一行必須是評估列。每個評估資料列都代表一項新的評估。

  • 必要:在「display_name」欄位中,輸入評估作業專屬且易於辨識的名稱。
  • 選用:您可以在這一列中選用新增任何中繼資料變數資料

對話列

每個資料列都對應一個對話回合的資料。

  • 必要:turn_indexaction_type 欄位中輸入值。 「display_name」必須留空。
  • 選用:輸入中繼資料變數display_name 以外的任何標題資料欄值。

變數

下表說明可用的資料變數。除非 action_type 值要求,否則除了必要變數以外,所有變數都是選填。所有變數都必須在標題列中定義,每個資料欄一個變數。 選用變數資料欄可按任意順序排列,但必須放在必要資料欄之後。

必要標頭變數

資料欄名稱 說明
display_name 使用者可理解的評估名稱。只有在新的評估作業的第一列中,才會填入這個值。每個新 display_name 值都代表一次新的評估。
turn_index 數字 (1、2、3...),表示對話輪流進行的順序。同一回合中的所有資料列都會共用索引值。每次評估的值都必須從 1 開始。後續每一列的值都必須大於或等於前一列的值。
action_type 指定這個資料列代表的內容。每個值都有選用的變數值,必須填入這些值 (如圖所示),對話輪次才能正確輸入。輸入值必須是下列其中一個值:

INPUT_TEXT:使用者輸入的文字。
- (必填) text_content

INPUT_IMAGE:使用者輸入的圖片。
- (必要) image_mime_typeimage_content

INPUT_TOOL_RESPONSE:工具回應輸入內容。
- (必要) tool_name
- (選用) tool_response_json

INPUT_UPDATED_VARIABLES:從輸入內容更新變數。
- (必要) updated_variables_json

EXPECTATION_TEXT:預期從代理程式文字回應輸出的內容。
- (必要) response_agenttext_content
- (選用) expectation_note

EXPECTATION_TOOL_CALL:預期的工具呼叫。
- (必要) tool_name
- (選用) tool_call_args_jsonexpectation_note

EXPECTATION_TOOL_RESPONSE:預期的工具回應。
- (必要) tool_name
- (選用) expectation_note

EXPECTATION_AGENT_TRANSFER:預期代理程式轉移。
- (必要) agent_transfer_target
- (選用) expectation_note

中繼資料變數

資料欄名稱 說明
evaluation_id 評估的專屬 ID。每個 evaluation_id 值都必須是 Customer Experience Agent Studio 專員的專屬值。如果未在這個資料欄中手動輸入值,系統會自動產生專屬 ID。
description 任意文字的附註,或評估目的的說明。
tags 以半形分號分隔的標記,用於整理評估結果 (例如「tag1;tag2」)。
evaluation_groups 評估作業所屬的任何評估群組名稱,以半形分號分隔 (例如「群組名稱 1;群組名稱 2」)。如果在這個資料欄中輸入 evaluation_groups 值,但未在標題中定義,系統會忽略這些值。

對話輪次變數

資料欄名稱 說明
response_agent 提供回覆的代理程式名稱。預計僅適用於 EXPECTATION_TEXT
text_content INPUT_TEXTEXPECTATION_TEXT 的文字。
image_mime_type 來源圖片的 IANA 標準 MIME 類型。支援的值:image/pngimage/jpegimage/webpimage/heicimage/heif
image_content INPUT_IMAGE 的位元組字串。
tool_name 要呼叫或回應的工具的 display_name。預計為 INPUT_TOOL_RESPONSE,EXPECTATION_TOOL_CALLEXPECTATION_TOOL_RESPONSE
tool_call_args_json EXPECTATION_TOOL_CALL 的 JSON 引數。
tool_response_json INPUT_TOOL_RESPONSE 的 JSON 內容。
updated_variables_json INPUT_UPDATED_VARIABLES 的 JSON 內容。
agent_transfer_target EXPECTATION_AGENT_TRANSFER 的目標代理顯示名稱。
expectation_note 期望的附註或說明。