評估

評估是測試代理程式效能的關鍵工具，可確保代理程式在特定情況下的行為符合預期。評估功能可讓您自動執行測試、在變更後找出迴歸問題，並評估代理的回覆品質，進而提升代理品質。

如要開始評估，請按一下代理程式建構工具頂端的「評估」按鈕。

評估概念

測試案例：每個測試案例都是特定的獨立測試情境或提示，用於評估代理程式的效能。您可以建立兩種不同類型的測試案例：

  • 情境：這項 AI 輔助功能可協助您啟動測試，確保測試涵蓋範圍全面。您只需要描述使用者的目標，系統就會自動模擬使用者並生成對話，測試代理能否妥善處理該情境。情境是實驗的實用方式，有助於定義黃金對話。
  • 黃金標準：非常適合用於迴歸測試。您可以提供具體的「理想」對話路徑，而評估系統會檢查代理的行為是否與這個標準一致，包括是否正確呼叫工具等。

執行：評估執行代表針對您測試的代理效能，完整執行一組黃金和情境測試案例。每次執行可包含一或多個測試案例。

結果：測試案例結果是指在單次執行中，特定測試案例的單次執行結果。如果測試案例在單次評估執行期間執行多次 (例如檢查一致性、不穩定性等)，每次執行都會產生個別結果。結果會以矩形圖示顯示在每個測試案例資料列的欄中，如果執行失敗會顯示紅色 X，如果通過則會顯示綠色勾號。

標記：測試案例可使用標記分組，方便管理。

建立測試案例

如要為代理程式建立及存取測試案例，請按一下代理程式建構工具頂端的「評估」按鈕。您可以建立及管理黃金或情境測試案例。

情境

情境式測試案例會運用 AI，根據您定義的概略使用者目標，自動生成各種對話。使用這些測試案例時，您不必提供特定的黃金對話，而是選取產生的情境，或說明必須測試的特定情境。這項強大工具可協助您探索極端情況，並測試代理程式的穩定性，而不必手動撰寫每一條可能的對話路徑。

這些情境運作良好後，即可將其儲存為黃金對話。

如要建立情境，請按照下列步驟操作：

  1. 按一下「建立情境」。 系統會為您建議多種情境。
  2. 您可以根據所選項目生成情境，也可以從頭建立新情境。

查看情境清單時，點選情境即可列出詳細資料和對話清單。

如要將情境儲存為黃金對話，請按照下列步驟操作：

  1. 選取情境。
  2. 按一下右上角的選單按鈕。
  3. 選取「儲存為黃金對話」。

情境使用者目標

每個情境都有使用者目標，說明使用者在使用代理程式應用程式時的目標。例如：

Securely book a specific room at a chosen hotel and receive a confirmation.

CX Agent Studio 會根據使用者目標，自動生成用於評估的對話。

情境變數

定義情境時，您可以提供情境應使用的變數。

情境預期

如要執行評估，請定義測試案例的預期結果。

期望值可分為兩種：

  • 訊息：預期的代理程式回覆。
  • 工具呼叫：包含預期輸入和輸出的工具呼叫。

期望值可包含下列條件：

  • 必備條件
  • 不得有
  • 工具呼叫後
  • 變數值

如要建立期望值：

  • 按一下特定情境即可開啟詳細資料。
  • 在「期望」部分，按一下「查看全部」。
  • 按照介面上的操作說明，為情境建立期望值。

金黃

這些測試案例用於定義迴歸測試的理想對話路徑，確保您更新代理時，核心重要對話路徑不會中斷。建立標準對話有多種方式：

如要從模擬器匯入對話，請按照下列步驟操作：

  1. 使用模擬器發起對話。
  2. 按一下模擬器右上角的三個垂直圓點，開啟模擬器選單。
  3. 按一下「另存為黃金版」。
  4. 輸入黃金測試案例的名稱，然後按一下「儲存」。現在，該案例會顯示在「評估」分頁中。

如要根據對話記錄建立測試案例，請按照下列步驟操作：

  1. 前往「評估」分頁。
  2. 按一下「+ 新增測試案例」。
  3. 選取「黃金」。
  4. 點選「下一步」。
  5. 按一下「從對話記錄中選取」。
  6. 在隨即顯示的視窗中，選取要儲存為黃金測試案例的對話。您可以選擇依對話 ID 搜尋。
  7. 如果已啟用遮蓋功能，請先檢查客服專員的回覆和變數是否已遮蓋，再繼續處理缺少資訊的問題。
  8. 按一下「新增」。

如要從頭建立測試案例，請按照下列步驟操作：

  1. 前往「評估」分頁。
  2. 按一下「+ 新增測試案例」。
  3. 選取「黃金」。
  4. 點選「下一步」。
  5. 按一下「從頭開始建立」。
  6. 在隨即顯示的視窗中，為測試案例新增「顯示名稱」。
  7. 視需要新增使用者輸入內容和代理程式預期內容的文字。按一下「+ 新增使用者輸入內容」和「+ 新增服務專員期望」，即可新增回覆。按一下「+ 新增對話輪次」，即可在測試案例中新增對話輪次。
  8. 按一下「建立」，將黃金測試案例新增至測試案例清單。

如要從情境測試案例的模擬對話建立測試案例，請按照下列步驟操作：

  1. 前往評估作業執行結果頁面。
  2. 按一下所選對話右側的選單圖示 (縱向排列的三個點)，然後點選「另存為黃金對話」。

如要從檔案批次上傳測試案例，請按照下列步驟操作：

如要瞭解檔案格式和 CSV 範本的詳細資訊，請參閱「黃金測試案例 CSV 格式」頁面。

金黃期望

如要進行評估，請為黃金測試案例定義預期結果。預期結果是指您預期代理程式在對話中的特定時間點會出現的特定結果。評估期間，系統會將代理程式的實際行為與這些預期結果進行比較。

期望值可以是下列其中一種類型：

  • 訊息：代理程式預期會傳送給使用者的文字回覆。評估作業會檢查代理程式的回覆是否與這項預期在語意上相符。
  • 工具呼叫：預期代理會呼叫特定工具並回應。您也可以指定工具呼叫的預期輸入引數。
  • 轉交給服務專員：預期服務專員會將對話轉交給真人服務專員或其他機器人。

如要建立期望值：

  1. 按一下特定黃金測試案例，開啟詳細資料。
  2. 在「詳細資料」部分，按一下「查看黃金」。
  3. 按照介面上的操作說明新增或修改期望值。

評估設定

在測試案例清單的標題列中，您可以設定評估設定：

  • 金毛獵犬：
    • 黃金及格/不及格條件： 設定模擬對話是否通過的邏輯。
    • 回合等級： 這些規則會評估每個回合。 如果未達到任何門檻，該指標就會以紅色標示為失敗。
      • 語意相似度： 語意相似度的門檻值。
      • 工具正確性： 工具正確性的門檻值。
      • 幻覺： 如果停用這項功能，系統會在通過/未通過的結果中排除幻覺。
    • 預期程度： 這些規則會判斷回合內的預期程度。 如果未達到任何門檻，該指標就會以紅色標示為失敗。
      • 工具正確性： 工具正確性的門檻值。
    • 黃金執行方法： 選擇簡單或穩定的重播驗證。
    • 工具模擬： 使用模擬資料，而非實際的正式版 API 呼叫。
  • Scenarios：
    • 情境通過/失敗條件： 設定模擬對話是否通過的邏輯。
    • 對話發起者： 設定對話發起者為使用者或模型。
    • 工具模擬： 使用模擬資料，而非實際的正式版 API 呼叫。
  • 音訊評估
    • 音訊評估記錄

執行評估作業

如要執行評估，您可以按一下測試案例列中的執行按鈕，也可以選取並執行多個測試案例。

如果您已儲存多個版本，可以選取要使用的代理程式版本，或自動將草稿代理程式儲存為新版本以供執行。

評估執行完畢後，系統會更新指標並顯示結果。

點選特定執行評估後，即可查看該次執行的詳細結果。除了標準指標，還會顯示下列指標：

  • 轉彎失敗
  • 所有對話輪次詳細資料的分頁清單，包括實際和預期的代理程式回應。

如果是黃金測試案例，您可能會看到「穩定重播」一詞，這表示測試是在一致的環境中執行 (即沒有轉移內容/輸入)。

使用 AI 改善測試案例 (搶先體驗)

您可以選擇使用 AI 協助排解執行作業問題，並取得提升代理品質的建議。當執行次數 (執行計數) 達到 3 次以上時，AI 建議效果最佳。如要啟用 AI，請選取要評估的測試案例，然後按一下「執行所選項目」。在彈出式視窗中，勾選「使用 AI 尋找問題」旁的方塊。

執行完畢後，結果頁面會顯示 AI 建議。 Gemini 會自動生成可下載的 loss_report，其中摘要說明服務專員的效能，並指出可改善的部分。

所有使用者都能查看 AI 建議的修正方式，但只有發起執行作業的人員，才能根據結果採取行動。

按一下「問問 Gemini」，與輔助代理互動。您會先看到損失報表，其中說明模型或代理程式的高層級問題。你可以要求輔助代理程式說明報表， 系統會摘要報表內容，並可能建議修正方式。 套用修正內容後，你可以要求輔助代理程式再次執行評估。

匯入及匯出

您可以匯入及匯出 YAML 或 JSON 格式的評估測試案例、執行作業和結果。匯入時，請確認接收代理程式包含匯出資料中定義的所有資源 (工具、變數和子代理程式)。

如要匯出測試案例，請按照下列步驟操作：

  1. 選取一或多個測試案例。
  2. 按一下「匯出測試案例」。
  3. 選取格式。
  4. 系統會下載 ZIP 檔案。

如要匯入測試案例，請按照下列步驟操作：

  1. 按一下「+ 新增測試案例」。
  2. 選取「黃金」。
  3. 點選「下一步」。
  4. 上傳 ZIP 檔案。
  5. 如有任何匯入衝突，系統會引導你處理。
  6. 點選「建立」。

如要匯出評估執行作業和結果，請按照下列步驟操作：

  1. 選取一或多個評估執行作業。
  2. 按一下「匯出執行作業」。
  3. 選取格式。
  4. 系統會下載 ZIP 檔案。

指標

每個測試案例結果都包含一組指標，可評估代理程式在所選測試案例中的成效。指標會在回合層級或預期 (對話) 層級計算，如控制台中所示。

在所有情況下，您都可以在「評估」分頁的「設定」選單中，自訂執行傳遞作業所需的值。

Tool correctness (工具正確性)

針對黃金和情境測試案例計算。這項指標會根據預期的工具呼叫及其預期的參數值，反映相符預期參數的百分比。如果錯過工具呼叫，分數為 0；如果工具呼叫沒有輸入參數，分數為 1 (如有)。如果在黃金評估期間進行非預期的工具呼叫，結果會視為失敗，但這不會影響工具正確性值。

使用者目標達成率

這項指標是針對情境計算而得，屬於二進位指標，專為使用者模擬評估而設計，可評估模擬使用者是否認為自己已達成目標 (0 代表否，1 代表是)。輸入內容為模擬使用者設定和對話記錄所定義的 user_goal。如果提供的 user_goal 未指定明確或隱含目標，輸出分數為 -1。

幻覺

適用於黃金和情境測試案例。 系統會計算每個生成的輪次，得出幻覺分數。 這項指標會反映代理程式是否根據自身情境提出不合理的聲明 (0 代表否，1 代表是)。脈絡由對話中任何先前的輪次、工作階段變數、工具呼叫和代理程式指令組成。這項指標只會針對包含工具呼叫的回合計算。 不會偵測工具呼叫中的錯覺； 系統會假設做為內容提供的工具呼叫正確無誤。 為盡量減少誤報，如果回覆不含事實陳述，或只包含已知的常識，指標可能會傳回「不適用」的分數。

您可以在評估設定中啟用及停用錯覺。

語意比對

針對黃金測試案例計算。這項指標會評估觀察到的代理程式話語與預期代理程式話語的相符程度。語意比對是在回合層級計算。傳回的值介於 0 (完全不一致或矛盾) 到 4 (完全一致)。

情境預期

針對情境計算。這項指標會評估模擬使用者是否對虛擬服務專員的行為感到滿意 (0 代表不滿意，1 代表滿意)。系統支援兩種模擬使用者期望：

  • 工具呼叫預期結果：計算方式與工具呼叫正確性類似，但有以下例外狀況：
    • 結果為 0 (否) 或 1 (是)。
    • 系統不會懲處非預期的工具呼叫。期望是用來指定一組工具呼叫，這些呼叫對於對話是否能滿足模擬使用者的期望至關重要。
    • 當工具呼叫輸入值符合預期時，系統會在執行階段攔截呼叫，並以模擬傳回值取代。
  • 代理程式回覆期望：檢查對話中的任何代理程式回覆是否包含預期字串。

完成工作

這項指標是針對情境計算而得，用來衡量對話品質，同時評估使用者是否達成目標，以及服務專員的行為是否正確。計算方式如下：

User_Goal_Satisfied AND no_hallucinations_detected AND Expectations Satisfied

職位

模擬使用者角色是模擬的使用者角色，您可以自訂這些角色，並搭配情境測試案例，用於測試代理程式。這項功能有助於確保代理程式能適當與執行階段可能遇到的各類型人類使用者互動。

如未選取角色，系統會為每個情境結果隨機選取角色。

這項功能適用於文字和音訊輸入內容。

塑造人物角色

  1. 如要建立目標對象，請前往「評估」分頁，然後點按「目標對象管理」(「設定」圖示旁)。
  2. 按一下「+ 新增角色」。
  3. 在彈出式選單中輸入「名稱」、「使用者個性」，以及任何額外的「使用者情境」 (例如年齡、地點、通話原因等)。
  4. 按一下「+ 新增」。

如要使用人物角色執行評估作業，請按照下列步驟操作：

  1. 返回「評估」主頁面，選取一或多個情境測試案例，然後按一下「執行所選項目」。
  2. 在彈出式視窗中，從「目標對象」下拉式選單選取您剛建立的目標對象，然後按一下「執行」。