本指南說明如何使用 CCAI Platform 設定對話式代理的 A/B 測試。
為何要對虛擬服務專員進行 A/B 測試？
A/B 測試 (或稱「分流測試」) 是一種強大的方法，可提升對話式 AI 的成效。更新流程時，您不必憑直覺，而是可以根據即時資料做出決策。
主要優點包括：
- 降低風險：先以一小部分流量 (例如 10%) 測試新的「代理程式 B」，再全面推出，確保不會對遏止率造成負面影響。
- 成效比較：比較不同版本之間的特定 KPI，例如意圖比對準確度、工作完成率和顧客情緒。
- 反覆修正：嘗試不同的提示、角色或 LLM 支援的生成器，找出解決使用者查詢的最佳方式。
設定測試
本節說明如何設定 CCAI Platform，以支援代理程式功能的 A/B 測試。這項規定適用於語音服務專員和數位管道，例如行動裝置和網路。
準備虛擬代理人
設定電話或轉送功能前，請先確保環境中已備妥兩個不同的虛擬服務專員目標。如要瞭解如何設定虛擬代理程式，請參閱說明文件。您可能需要兩個不同的對話設定檔。實際的對話式代理可以是不同的代理，也可以是環境不同的相同代理。
代理 A (控制組)：現有的穩定虛擬服務專員。
代理程式 B (變體)：包含您要測試的新功能、提示或邏輯變更。
建立專屬的 CCAI 平台佇列
在 CCAI 平台入口網站中，您需要建立佇列階層來管理流量。這取決於你使用的是語音還是數位管道。如要進一步瞭解如何建立佇列，請參閱說明文件。
建立佇列 A：前往「佇列管理」，建立名為 Queue_A_Test 的新佇列。將虛擬代理 A 指派為這個佇列的主要處理人員。
建立佇列 B：建立名為 Queue_B_Test 的第二個佇列。將虛擬服務專員 B 指派為這個佇列的主要處理人員。
建立父項 (進入) 佇列：建立名為 Main_Entry_Point 的佇列。這個佇列不會直接指派虛擬服務專員，而是做為「流量分配器」。
實作轉送邏輯
如要分配流量，您必須在 Main_Entry_Point 佇列中設定轉送規則。這會運用自動重新導向功能指定路由群組。每個路徑群組都會包含相對應佇列的路徑。百分比分配也會與特定路徑群組建立關聯。如要進一步瞭解如何設定路由規則，請參閱說明文件。
定義流量分配比例
您將使用以百分比為準的分配規則。這樣就能精確控管每位服務專員收到的案件量。
| 元件 | 邏輯 | 目標 |
|---|---|---|
| 觸發條件 | 所有撥給 Main_Entry_Point 的來電或即時通訊。 |
擷取所有流量。 |
| 動作 1 | 將 X% 的流量導向 Queue_A_Test。 |
建立控制組。 |
| 動作 2 | 將剩餘 % 的流量導向 Queue_B_Test。 |
建立測試群組。 |
設定工作流程
- 開啟佇列的自動重新導向設定。
Main_Entry_Point - 新增群組。
- 選取佇列的重新導向選項。
- 選取要與這個 A 路由群組建立關聯的佇列。
- 選取「百分比分割」。
- 選取 [新增]。
- 新增群組。
- 選取佇列的重新導向選項。
- 選取應與這個 B 路由群組建立關聯的佇列。
- 選取「百分比分割」。
- 選取 [新增]。
- 定義比例 (例如，平衡測試為 50/50，初期測試版本為 90/10)。
- 儲存設定。
監控及分析
流量開始流動後，請使用 CCaaS Analytics 資訊主頁比較成效。
- 依
Queue_A_Test與Queue_B_Test篩選報表。 - 查看平均處理時間 (AHT) 和轉接給真人服務專員的轉接率，瞭解統計顯著程度。
- 查看對話式代理程式的數據分析，找出任何其他詳細資料，判斷對成效的影響是正面還是負面。