實驗

實驗可用來比較多個流程版本 (「變化版本」) 與「控制組」版本 (通常是正式版) 在處理實際流量時的成效。您可以將部分即時流量分配給各個流程版本,並監控下列指標:

  • Contained:達到 END_SESSION,但未觸發下列其他指標的工作階段數量。僅適用於使用電話整合功能的代理。
  • 真人服務專員轉接率:轉接給真人服務專員的工作階段數量。
  • 回呼率:使用者重新啟動的工作階段數。僅適用於使用電話整合功能的代理。
  • 放棄率:使用者放棄的工作階段數。僅適用於使用電話整合功能的代理。
  • 工作階段結束率:達到 END_SESSION 的工作階段數。
  • 無相符項目總數:無相符項目事件的總發生次數。
  • 總回合數:對話回合總數 (一次使用者輸入和一次代理回覆視為一個回合)。
  • 平均輪數: 平均輪數。

準備

實驗準備工作:

  1. 決定實驗要使用的流程。 您無法在單一流程中執行多項實驗,因此請務必將代理分割成多個流程。
  2. 為流程建立多個版本。各版本之間的差異可能很小,也可能很大,取決於您要比較的內容。
  3. 決定要分配給實驗的流量。如果您要測試微幅變更,可以先從較高的流量開始。如果變更幅度較大,可能會造成干擾,建議您為實驗分配少量流量。

建立實驗

如何建立實驗:

  1. 開啟 Dialogflow CX 控制台。
  2. 選取專案,開啟代理選取器。
  3. 選取代理,開啟代理建構工具。
  4. 選取「管理」分頁標籤。
  5. 按一下「實驗」,開啟「實驗」面板。
  6. 選取「狀態」分頁標籤。
  7. 點選「建立」。
  8. 輸入說明。
  9. 選取要執行實驗的環境。
  10. 選取實驗流程。
  11. (選用) 輸入實驗自動停止的天數。
  12. 輸入控制流程版本,以及要分配給控制版本的流量百分比。
  13. 輸入一到四個變化版本流程,以及要分配給變化版本的流量百分比。
  14. (選用) 按一下「Enable auto rollout and steps」(啟用自動推出和步驟),逐步將流量推出至變化版本流程。自動化實驗是以步驟為基礎,也就是將流量百分比提高至變化版本流程的時間長度。自動推出功能僅支援一個變化版本流程。
    1. 在「Rollout rules」(推出規則) 下方,您可以設定一或多個條件規則,決定實驗應如何進行。
      1. 如果選取「Match at least one rule」(至少符合一項規則),實驗會在符合至少一項規則和目前步驟的時間長度時,進入下一個步驟。
      2. 如果選取「符合所有規則」,實驗會在符合目前步驟的所有規則和時間長度後,進入下一個步驟。
      3. 如果選取「僅限步驟」,實驗會根據每個步驟的時間長度進行。
    2. 在「Increase steps」(增加步驟) 下方,定義要分配給變化版本流程的流量百分比,以及每個步驟的時間長度。每個步驟的預設時間長度為 6 小時。
    3. 選取「Stop conditions」(停止條件),設定一或多個條件,在符合條件時停止將流量傳送至變化版本流程。請注意,實驗停止後就無法重啟。
  15. 按一下 [儲存]。

開始及停止實驗

您隨時可以啟動已儲存的實驗,或手動停止執行中的實驗。停止實驗會取消流量分配,並將流量還原至原始狀態。

如要開始或停止實驗,請按照下列步驟操作:

  1. 開啟「實驗」面板。
  2. 選取「狀態」分頁標籤。
  3. 在清單中,按一下實驗的「開始」或「停止」。

管理實驗

您隨時可以編輯或刪除實驗:

  1. 開啟「實驗」面板。
  2. 選取「狀態」分頁標籤。
  3. 在清單中,按一下實驗的選項選單 。
  4. 按一下「編輯」或「刪除」。

監控實驗狀態

無論狀態為何,所有實驗都會顯示在實驗面板中。實驗可能有四種狀態:

  • 草稿:實驗已建立,但從未執行。
  • 待處理:實驗已於近期開始,但結果尚未出爐。
  • 執行中:實驗正在執行,且可查看期中結果。
  • 已完成:實驗已自動或手動停止。

查看實驗結果

查看實驗結果:

  1. 開啟 Dialogflow CX 控制台。
  2. 選取專案,開啟代理選取器。
  3. 選取代理,開啟代理建構工具。
  4. 選取「管理」分頁標籤。
  5. 按一下「實驗」,開啟「實驗」面板。
  6. 選取「結果」分頁標籤。
  7. 選取環境和實驗即可查看結果。

綠色結果表示成效良好,紅色則表示成效不佳。請注意,在某些情況下,數字較高/較低不一定比較好 (高放棄率 / 低放棄率)。

限制

限制如下: