虛擬服務專員平台是 Quality AI 的功能,可提供洞察資訊,瞭解使用 Dialogflow 和 Customer Experience Agent Studio 建立的對話式代理成效。Customer Experience Agent Studio 是一種虛擬代理建構工具,可協助您建立具有雙向串流的非同步多代理系統。
查看平台
請按照下列步驟,在顧客體驗洞察控制台中查看平台。
- 依序點選「Quality AI」 >「Agents」 >「虛擬代理」。
- 選取代理程式。
虛擬代理效能
虛擬服務專員平台會提供虛擬服務專員的成效詳細資料。平台會顯示營運和 Quality AI 指標的詳細資料。
營運指標
虛擬代理平台會以數字或百分比顯示下列各項指標。
- 工作階段總數:這名服務專員處理的對話總數。
- 轉接率:轉接給真人服務專員的對話百分比,使用 Dialogflow 的信號計算得出。
- 單次工作階段對話輪數:每次對話的平均對話輪數。
- 不相符率:未與任何意圖相符的對話百分比,僅適用於以流程為基礎的虛擬服務專員。
虛擬代理平台會顯示下列各項指標隨時間變化的圖表。
- 量:這名服務專員處理的對話總數。
- 轉接率:轉接給真人服務專員的對話百分比。
請使用下列方法計算升級率:
- Dialogflow:使用 Dialogflow 的信號計算。
- Customer Experience Agent Studio:使用 Customer Experience Agent Studio
EndSession追蹤的信號計算。
如要在 Customer Experience Agent Studio 中設定 end_session 的轉送率,請按照下列步驟操作:
- 將
end_session工具新增至代理節點。前往 Quality AI 的「Agent」頁面。按一下「工具」即可查看end_session工具。 - 提供代理指令。
範例:當顧客要求與真人服務專員交談時,請使用引數 {session_escalated = true} 執行 end_session 工具
- 轉交類型細目:根據預先建構的評量表中的預先定義問題「是誰轉交對話?」,分析每位轉交者 (使用者或服務專員) 的對話次數。
- 工具故障率:在所選時間範圍內,指定代理在對話中使用工具時,工具呼叫失敗的百分比,並適用於指定的對話媒介。
- 工具延遲時間:在所選時間範圍和對話媒介中,特定代理在對話中使用工具時的平均延遲時間。
- 不相符率:未與任何意圖相符的對話百分比,僅適用於以流程為基礎的虛擬服務專員。
端對端延遲時間 (E2E) 細目
端對端 (E2E) 延遲時間是指使用者說完話到代理程式開始說話的時間差。虛擬代理程式平台會計算聊天和語音對話中,每次使用者代理程式互動的端對端延遲時間。
虛擬代理平台會顯示名為「E2E 延遲細目」的圖表,說明語音層級的 E2E 延遲。Y 軸顯示時間,以 50 毫秒為遞增量。x 軸表示您可以查看工具、大型語言模型 (LLM) 和文字轉語音 (TTS) 的端對端延遲時間。最後,圖表會以個別長條顯示三種百分位數類別的端對端延遲:P50 是第 50 個百分位數,P90 是第 90 個百分位數,P99 則是第 99 個百分位數。舉例來說,如果 LLM P99 延遲時間為 5 秒,表示 99% 的語音層級 LLM 延遲時間值都少於 5 秒。
依升級類型劃分的細目
「升級類型」細目會顯示各升級發起者 (使用者或服務專員) 的對話次數。Quality AI 會回答預先定義的問題「是誰發起對話升級?」,藉此判斷升級發起者。你可以深入瞭解升級要求發起者,查看與該發起者的對話清單。
工具
系統會為對話式代理工具計算工具指標。工具延遲和失敗率等匯總指標,可協助機器人建構者找出對話中的效能瓶頸。
品質 AI 指標
虛擬代理平台會顯示下列 Quality AI 指標。
- 品質分數:這名服務專員處理的對話中,每份評量表的平均品質分數。
- 整體情緒:這個服務專員處理的對話平均情緒分數。
- 情緒細目:以顏色編碼的長條圖,根據對話層級的情緒類別 (負面、中立或正面),說明這位服務專員的對話次數。
- 對話結果:每種可能結果的對話數量。
- 依探索方式劃分的情緒:這項指標會依對話層級的情緒類別,細分對話數量。
平台也會顯示下列品質 AI 指標的變化趨勢圖。
- 品質分數:這位服務專員處理的所有對話的品質分數百分比。
- 分數類別細目:每個預先定義類別 (業務、法規遵循、客戶) 和任何自訂類別的品質分數。
對話結果
對話結果圖表會顯示以以下各種可能結果結尾的對話數量:
- 已捨棄
- 部分已解決
- 已提報
- 已轉飛其他機場
- 已成功解決
- 不明
使用 Quality AI 預先建構的評量表,根據預先定義的問題計算對話結果。
- 如要在這個圖表中查看結果資料,請使用預先建構的評分表執行 Quality AI 分析。
- 按一下結果,即可查看具有該結果的對話清單。
情緒細目
對所有對話執行情緒分析後,情緒分類圖表會顯示各類別的整體情緒 (負面、中立和正面) 對話數量。