本頁說明以 CSV 檔案上傳黃金評估時的格式規定。如要進一步瞭解黃金評估,請參閱黃金評估說明文件。
下載範本
- 前往「Evaluate」分頁,然後點選「+ Add test case -> Golden」。
- 在隨即顯示的選單中,按一下「下載範本」。
- 使用範本建立內含黃金評估的 CSV 檔案後,請在相同選單中按一下「上傳檔案」,即可上傳檔案。
一般結構
- 單一 CSV 檔案可包含多項評估。每項評估可跨越多列。
- 評估的第一列是「評估列」,定義整體屬性 (名稱和中繼資料)。
- 後續的每一列都是「對話列」,定義評估中的單一對話回合 (例如,使用者說了什麼、代理程式應回覆的內容,或預期會呼叫工具)。
- 您可以在
display_name欄中提供新名稱,開始新的測試案例。每個新的display_name值都會定義新的評估開始時間。
標頭列
CSV 檔案的第一行必須是標頭列。這個標題會定義每個資料欄中的資料變數。除非 action_type 值要求,否則除了必要變數以外,所有變數都是選填。必要變數後可依任意順序排列選用變數欄。
- 必要變數:
display_name、turn_index、action_type。
定義對話評估
每次新的評估作業都會從評估列開始。評估列下方的每個對話列都對應到一個對話回合,直到下一個評估列為止。
評估列
標題列後的第一行必須是評估列。每個評估資料列都代表一項新的評估。
- 必要:在「
display_name」欄位中,輸入評估作業專屬且易於辨識的名稱。 - 選用:您可以在這一列中選用新增任何中繼資料變數資料。
對話列
每個資料列都對應一個對話回合的資料。
- 必要:在
turn_index和action_type欄位中輸入值。 「display_name」必須留空。 - 選用:輸入中繼資料變數或
display_name以外的任何標題資料欄值。
變數
下表說明可用的資料變數。除非 action_type 值要求,否則除了必要變數以外,所有變數都是選填。所有變數都必須在標題列中定義,每個資料欄一個變數。
選用變數資料欄可按任意順序排列,但必須放在必要資料欄之後。
必要標頭變數
| 資料欄名稱 | 說明 |
|---|---|
display_name |
使用者可理解的評估名稱。只有在新的評估作業的第一列中,才會填入這個值。每個新 display_name 值都代表一次新的評估。 |
turn_index |
數字 (1、2、3...),表示對話輪流進行的順序。同一回合中的所有資料列都會共用索引值。每次評估的值都必須從 1 開始。後續每一列的值都必須大於或等於前一列的值。 |
action_type |
指定這個資料列代表的內容。每個值都有選用的變數值,必須填入這些值 (如圖所示),對話輪次才能正確輸入。輸入值必須是下列其中一個值:INPUT_TEXT:使用者輸入的文字。- (必填) text_content。INPUT_IMAGE:使用者輸入的圖片。- (必要) image_mime_type,image_content。INPUT_TOOL_RESPONSE:工具回應輸入內容。- (必要) tool_name。- (選用) tool_response_json。INPUT_UPDATED_VARIABLES:從輸入內容更新變數。- (必要) updated_variables_jsonEXPECTATION_TEXT:預期從代理程式文字回應輸出的內容。- (必要) response_agent、text_content。- (選用) expectation_note。EXPECTATION_TOOL_CALL:預期的工具呼叫。- (必要) tool_name。- (選用) tool_call_args_json、expectation_note。EXPECTATION_TOOL_RESPONSE:預期的工具回應。- (必要) tool_name。- (選用) expectation_note。EXPECTATION_AGENT_TRANSFER:預期代理程式轉移。- (必要) agent_transfer_target。- (選用) expectation_note。 |
中繼資料變數
| 資料欄名稱 | 說明 |
|---|---|
evaluation_id |
評估的專屬 ID。每個 evaluation_id 值都必須是 Customer Experience Agent Studio 專員的專屬值。如果未在這個資料欄中手動輸入值,系統會自動產生專屬 ID。 |
description |
任意文字的附註,或評估目的的說明。 |
tags |
以半形分號分隔的標記,用於整理評估結果 (例如「tag1;tag2」)。 |
evaluation_groups |
評估作業所屬的任何評估群組名稱,以半形分號分隔 (例如「群組名稱 1;群組名稱 2」)。如果在這個資料欄中輸入 evaluation_groups 值,但未在標題中定義,系統會忽略這些值。 |
對話輪次變數
| 資料欄名稱 | 說明 |
|---|---|
response_agent |
提供回覆的代理程式名稱。預計僅適用於 EXPECTATION_TEXT。 |
text_content |
INPUT_TEXT 或 EXPECTATION_TEXT 的文字。 |
image_mime_type |
來源圖片的 IANA 標準 MIME 類型。支援的值:image/png、image/jpeg、image/webp、image/heic、image/heif。 |
image_content |
INPUT_IMAGE 的位元組字串。 |
tool_name |
要呼叫或回應的工具的 display_name。預計為 INPUT_TOOL_RESPONSE,EXPECTATION_TOOL_CALL 或 EXPECTATION_TOOL_RESPONSE。 |
tool_call_args_json |
EXPECTATION_TOOL_CALL 的 JSON 引數。 |
tool_response_json |
INPUT_TOOL_RESPONSE 的 JSON 內容。 |
updated_variables_json |
INPUT_UPDATED_VARIABLES 的 JSON 內容。 |
agent_transfer_target |
EXPECTATION_AGENT_TRANSFER 的目標代理顯示名稱。 |
expectation_note |
期望的附註或說明。 |