實驗用於比較多個流程版本 (變體版本) 與控制版本 (通常是正式版) 的成效,同時處理即時路況。您可以將部分即時流量分配給每個流程版本,並監控下列指標:
- 包含: 達到 END_SESSION 的工作階段數, 但未觸發下列其他指標。 僅適用於使用電話整合的服務專員。
- 轉接給真人服務專員的比例: 轉接給真人服務專員的工作階段數。
- 回呼率: 使用者重新啟動的工作階段數。 僅適用於使用電話整合的服務專員。
- 放棄率: 使用者放棄的工作階段數。 僅適用於使用電話整合的服務專員。
- 工作階段結束率: 達到 END_SESSION 的工作階段數。
- 不相符總數: 不相符事件的發生總數。
- 總輪次數: 對話輪次總數 (一次使用者輸入和一次代理回覆視為一輪)。
- 平均輪流次數: 平均輪流次數。
準備
如要準備實驗,請按照下列步驟操作:
- 決定實驗要使用的流程。 您無法在單一流程中執行多項實驗,因此請務必將代理程式劃分為多個流程。
- 為流程建立多個版本。視要比較的內容而定,各版本之間的差異可能很小或很大。
- 決定要分配給實驗的流量。如果您要測試微小變更,可以先從較高的流量開始。如果變更幅度較大,可能會造成干擾,建議為實驗分配少量流量。
建立實驗
如何建立實驗:
- 開啟 Dialogflow CX 控制台。
- 選取專案,開啟代理程式選取器。
- 選取代理程式,開啟代理程式建構工具。
- 選取「管理」分頁標籤。
- 按一下「實驗」開啟「實驗」面板。
- 選取「狀態」分頁標籤。
- 點選「建立」。
- 輸入說明。
- 選取要執行實驗的環境。
- 選取實驗的流程。
- (選用) 輸入實驗自動停止的天數。
- 輸入控制流程版本,以及要導向控制版本的流量百分比。
- 輸入一到四個變體流程版本,以及將導向變體版本的流量百分比。
- 視需要按一下「Enable auto rollout and steps」(啟用自動推出和步驟),將流量漸進式推出至變體流程。自動實驗是以「步驟」為基礎,也就是將一定比例的流量導向變體流程的時間長度。自動推出功能僅支援一個變數流程。
- 在「推出規則」下方,您可以設定一或多項條件規則,決定實驗應如何進行各個步驟。
- 如果選取「至少符合一項規則」,只要符合至少一項規則和目前步驟的時間長度,實驗就會進入下一個步驟。
- 如果選取「符合所有規則」,只要符合所有規則和目前步驟的時間長度,實驗就會繼續進行下一個步驟。
- 如果選取「僅限步驟」,實驗會根據每個步驟的時間長度進行。
- 在「增加步驟」下方,定義要分配給變體流程的流量百分比,以及每個步驟的時間長度。每個步驟的預設時間長度為 6 小時。
- 選取「停止條件」,設定一或多項條件,在符合條件時停止將流量傳送至變體流程。請注意,停止的實驗無法重新啟動。
- 在「推出規則」下方,您可以設定一或多項條件規則,決定實驗應如何進行各個步驟。
- 按一下 [儲存]。
開始及停止實驗
您可以隨時啟動已儲存的實驗,或手動停止進行中的實驗。停止實驗後,系統會取消流量分配,並將流量還原為原始狀態。
如要開始或停止實驗,請按照下列步驟操作:
- 開啟「實驗」面板。
- 選取「狀態」分頁標籤。
- 在清單中,按一下實驗的「開始」或「停止」。
管理實驗
您可以隨時編輯或刪除實驗:
- 開啟「實驗」面板。
- 選取「狀態」分頁標籤。
- 按一下清單中實驗的選項 more_vert 選單。
- 按一下「編輯」或「刪除」。
監控實驗狀態
無論狀態為何,所有實驗都會顯示在實驗面板中。實驗有四種狀態:
- 草稿: 實驗已建立,但從未執行。
- 待處理: 實驗最近才開始,但結果尚未出爐。
- 執行中: 實驗正在執行,且提供臨時結果。
- 已完成: 實驗已自動或手動停止,因此已完成。
查看實驗結果
如要查看實驗結果,請按照下列步驟操作:
- 開啟 Dialogflow CX 控制台。
- 選取專案,開啟代理程式選取器。
- 選取代理程式,開啟代理程式建構工具。
- 選取「管理」分頁標籤。
- 按一下「實驗」開啟「實驗」面板。
- 選取「結果」分頁標籤。
- 選取環境和實驗,即可查看結果。
綠色結果表示結果良好,紅色則表示結果較不理想。請注意,在某些情況下,較高/較低的數字不一定較好 (高 / 低放棄率)。
限制
限制如下: