虛擬服務專員平台是 Quality AI 中的功能,可提供洞察資訊,瞭解使用 Dialogflow 和 Customer Experience Agent Studio (CX Agent Studio) 建立的對話式代理成效。CX Agent Studio 是虛擬代理建構工具,可讓您建立具有雙向串流的非同步多代理系統。
查看平台
請按照下列步驟,在 Customer Experience Insights (CX Insights) 控制台中查看平台。
- 依序點選「Quality AI」 >「Agents」 >「虛擬代理」。
- 選取代理程式。
虛擬代理效能
虛擬代理平台會提供虛擬代理的效能詳細資料。平台會顯示作業和品質 AI 指標的詳細資料。
營運指標
虛擬代理平台會以數字或百分比顯示下列各項指標。
| 名稱 | 定義 | 程式碼 |
|---|---|---|
| 交易量或工作階段總數 | 這個代理處理的對話總數。 | volume或total_sessions |
| 提報率 | 轉接給真人服務專員的對話百分比。 | escalation_rate |
| 各工作階段的對話輪數 | 每段對話的平均輪流次數。 | turns_per_session |
| 不相符率 | 沒有相符意圖的對話百分比,僅適用於以流程為基礎的虛擬服務專員。 | no_match_rate |
虛擬代理平台會顯示下列各項指標的變化圖表。
| 名稱 | 定義 | 程式碼 |
|---|---|---|
| 交易量或工作階段總數 | 這個代理處理的對話總數。 | volume或total_sessions |
| 端對端延遲時間細目 | 使用者說完話到代理程式開始說話之間的時間。 | percentile_end_to_end_latency |
| 提報率 | 轉接給真人服務專員的對話百分比。 | escalation_rate |
| 依升級類型細分 | 每個升級發起者的對話數量。 | escalation_type_breakdown |
| 工具失敗率 | 在所選時間範圍內,特定代理在指定對話媒介中,所有使用工具的對話中,工具呼叫失敗的百分比。 | tool_failure_rate |
| 工具延遲 | 在所選時間範圍和對話媒介中,特定代理程式在對話中使用工具時的平均延遲時間。 | tool_latency |
| 不相符率 | 沒有相符意圖的對話百分比,僅適用於以流程為基礎的虛擬服務專員。 | no_match_rate |
端對端延遲時間 (E2E) 細目
端對端 (E2E) 延遲時間是指使用者說完話到代理程式開始說話之間的時間長度。虛擬代理平台會計算聊天和語音對話中,每次使用者與代理程式互動的端對端延遲時間。
虛擬代理平台會顯示名為「E2E 延遲細目」的圖表,說明語音層級的 E2E 延遲。Y 軸顯示時間,以 50 毫秒為遞增量。x 軸表示您可以查看工具、大型語言模型 (LLM) 和文字轉語音 (TTS) 的端對端延遲時間。最後,圖表會以個別長條顯示三種百分位數類別的端對端延遲:P50 是第 50 個百分位數,P90 是第 90 個百分位數,P99 則是第 99 個百分位數。舉例來說,如果 LLM P99 延遲時間為 5 秒,表示 99% 的語音層級 LLM 延遲時間值都少於 5 秒。
提報率
請使用下列方法計算升級率:
- Dialogflow:使用 Dialogflow 的信號計算。
- CX Agent Studio:使用 CX Agent Studio 結束工作階段追蹤記錄中的信號計算。
在 CX Agent Studio 中,按照下列步驟使用 end_session 工具設定轉接率:
- 將
end_session工具新增至代理節點。前往 Quality AI 的「代理程式」頁面。按一下「工具」即可查看end_session工具。 提供代理指令。
範例:顧客要求與真人服務專員交談時,請使用
{session_escalated = true}引數執行end_session工具。
在 end_session 工具中,CX Insights 會根據 session_escalated 引數和 endSession 參數計算升級率。
依升級類型細分
「升級類型」細目會顯示各升級發起者 (使用者或服務專員) 的對話次數。Quality AI 會回答預先定義的問題「是誰發起對話升級?」來判斷升級發起者。您可以深入瞭解升級要求發起人,查看與該發起人的對話清單。
工具
工具指標是針對對話式代理工具計算而得。工具延遲和失敗率等匯總指標可協助機器人建構者找出對話中的效能瓶頸。
品質 AI 指標
虛擬代理平台會顯示下列 Quality AI 指標。
- 品質分數:這位服務專員處理的對話,每份評量表的平均品質分數。
- 整體情緒:這名服務專員處理的對話平均情緒分數。
- 情緒細目:以顏色編碼的長條圖,顯示此代理程式每種對話層級情緒類別 (負面、中立或正面) 的對話數量。
- 對話結果:每種可能結果的對話數量。
- 依探索方式劃分的意見:這項指標的對話數量明細,依對話層級的情緒類別劃分。
平台也會顯示下列品質 AI 指標的長期變化圖表。
- 品質分數:這位服務專員處理的所有對話的品質分數百分比。
- 分數類別細目:各預先定義類別 (業務、法規遵循、顧客) 和任何自訂類別的品質分數。
對話結果
對話結果圖表會顯示以以下各種可能結果結尾的對話數量:
- 已捨棄
- 部分已解決
- 已提報
- 已轉飛其他機場
- 已成功解決
- 不明
使用品質 AI 預建評分表中的預先定義問題,計算對話結果。
- 如要在這張圖表中查看結果資料,請使用預先建構的評量表執行品質 AI 分析。
- 按一下結果,即可查看具有該結果的對話清單。
情緒細目
對所有對話執行情緒分析後,情緒分類圖表會顯示各類別 (負面、中立和正面) 的整體情緒對話數量。