實驗可用來比較多個流程版本 (「變化版本」) 與「控制組」版本 (通常是正式版) 在處理實際流量時的成效。您可以將部分即時流量分配給各個流程版本,並監控下列指標:
- Contained:達到 END_SESSION,但未觸發下列其他指標的工作階段數量。僅適用於使用電話整合功能的代理。
- 真人服務專員轉接率:轉接給真人服務專員的工作階段數量。
- 回呼率:使用者重新啟動的工作階段數。僅適用於使用電話整合功能的代理。
- 放棄率:使用者放棄的工作階段數。僅適用於使用電話整合功能的代理。
- 工作階段結束率:達到 END_SESSION 的工作階段數。
- 無相符項目總數:無相符項目事件的總發生次數。
- 總回合數:對話回合總數 (一次使用者輸入和一次代理回覆視為一個回合)。
- 平均輪數: 平均輪數。
準備
實驗準備工作:
- 決定實驗要使用的流程。 您無法在單一流程中執行多項實驗,因此請務必將代理分割成多個流程。
- 為流程建立多個版本。各版本之間的差異可能很小,也可能很大,取決於您要比較的內容。
- 決定要分配給實驗的流量。如果您要測試微幅變更,可以先從較高的流量開始。如果變更幅度較大,可能會造成干擾,建議您為實驗分配少量流量。
建立實驗
如何建立實驗:
- 開啟 Dialogflow CX 控制台。
- 選取專案,開啟代理選取器。
- 選取代理,開啟代理建構工具。
- 選取「管理」分頁標籤。
- 按一下「實驗」,開啟「實驗」面板。
- 選取「狀態」分頁標籤。
- 點選「建立」。
- 輸入說明。
- 選取要執行實驗的環境。
- 選取實驗流程。
- (選用) 輸入實驗自動停止的天數。
- 輸入控制流程版本,以及要分配給控制版本的流量百分比。
- 輸入一到四個變化版本流程,以及要分配給變化版本的流量百分比。
- (選用) 按一下「Enable auto rollout and steps」(啟用自動推出和步驟),逐步將流量推出至變化版本流程。自動化實驗是以步驟為基礎,也就是將流量百分比提高至變化版本流程的時間長度。自動推出功能僅支援一個變化版本流程。
- 在「Rollout rules」(推出規則) 下方,您可以設定一或多個條件規則,決定實驗應如何進行。
- 如果選取「Match at least one rule」(至少符合一項規則),實驗會在符合至少一項規則和目前步驟的時間長度時,進入下一個步驟。
- 如果選取「符合所有規則」,實驗會在符合目前步驟的所有規則和時間長度後,進入下一個步驟。
- 如果選取「僅限步驟」,實驗會根據每個步驟的時間長度進行。
- 在「Increase steps」(增加步驟) 下方,定義要分配給變化版本流程的流量百分比,以及每個步驟的時間長度。每個步驟的預設時間長度為 6 小時。
- 選取「Stop conditions」(停止條件),設定一或多個條件,在符合條件時停止將流量傳送至變化版本流程。請注意,實驗停止後就無法重啟。
- 在「Rollout rules」(推出規則) 下方,您可以設定一或多個條件規則,決定實驗應如何進行。
- 按一下 [儲存]。
開始及停止實驗
您隨時可以啟動已儲存的實驗,或手動停止執行中的實驗。停止實驗會取消流量分配,並將流量還原至原始狀態。
如要開始或停止實驗,請按照下列步驟操作:
- 開啟「實驗」面板。
- 選取「狀態」分頁標籤。
- 在清單中,按一下實驗的「開始」或「停止」。
管理實驗
您隨時可以編輯或刪除實驗:
- 開啟「實驗」面板。
- 選取「狀態」分頁標籤。
- 在清單中,按一下實驗的選項選單 more_vert。
- 按一下「編輯」或「刪除」。
監控實驗狀態
無論狀態為何,所有實驗都會顯示在實驗面板中。實驗可能有四種狀態:
- 草稿:實驗已建立,但從未執行。
- 待處理:實驗已於近期開始,但結果尚未出爐。
- 執行中:實驗正在執行,且可查看期中結果。
- 已完成:實驗已自動或手動停止。
查看實驗結果
查看實驗結果:
- 開啟 Dialogflow CX 控制台。
- 選取專案,開啟代理選取器。
- 選取代理,開啟代理建構工具。
- 選取「管理」分頁標籤。
- 按一下「實驗」,開啟「實驗」面板。
- 選取「結果」分頁標籤。
- 選取環境和實驗即可查看結果。
綠色結果表示成效良好,紅色則表示成效不佳。請注意,在某些情況下,數字較高/較低不一定比較好 (高放棄率 / 低放棄率)。
限制
限制如下:
- 必須啟用啟用對話記錄代理設定。