測試案例

您可以使用內建的測試功能找出錯誤,並防止迴歸。如要測試代理程式,可以使用模擬工具與代理程式互動,並將對話儲存為測試案例。

儲存測試案例時,系統會將對話期間發生的意圖比對、應對手冊動作、啟用的流程和啟用的頁面,儲存為測試案例預期結果。稍後更新代理程式後,執行測試案例時,系統會驗證這些預期結果。您也可以在建立或編輯測試案例時編輯這些期望值。

建立測試案例

如要使用模擬器建立測試案例,請按照下列步驟操作:

  1. 開啟模擬器。
  2. 與代理程式對話。
  3. 按一下模擬器上方的「建立測試案例」按鈕。
  4. 測試案例編輯器面板隨即開啟。 提供測試案例顯示名稱,並視需要編輯任何預期結果
  5. 按一下模擬器上方的「儲存測試案例」按鈕。

執行測試案例

如要執行單一測試案例,請按照下列步驟操作:

  1. 按一下左側導覽列中的「測試案例」
  2. 選取要執行的測試案例。
  3. 按一下「執行」按鈕。
  4. 畫面會顯示測試案例記錄結果。

如要執行多個測試案例,請按照下列步驟操作:

  1. 按一下左側導覽列中的「測試案例」
  2. 使用左側的核取方塊,選取要執行的測試案例。
  3. 按一下「執行選取的項目」
  4. 系統會顯示每個測試案例的最新測試執行結果。

編輯測試案例

編輯測試案例時,您無法編輯使用者訊息或服務專員回覆,但可以變更下列項目:

  • 新增期望
  • 刪除期望
  • 更新期望

如要編輯測試案例,請按照下列步驟操作:

  1. 按一下左側導覽列中的「測試案例」
  2. 選取要編輯的測試案例。
  3. 按一下測試案例摘要上方的「編輯」按鈕。
  4. 您可以展開「對話層級的期望」部分,編輯適用於整個對話的期望
  5. 每一回合對話都會顯示使用者訊息、代理程式回應,以及該回合的預期結果。你無法編輯訊息,但可以編輯回合層級的期望。

刪除測試案例

如要刪除測試案例,請按照下列步驟操作:

  1. 按一下左側導覽列中的「測試案例」
  2. 使用左側的核取方塊,選取要刪除的測試案例。
  3. 按一下「刪除所選測試案例」

目標

提供測試案例的預期結果時,您可以提供對話層級的預期結果回合層級的預期結果

對話層級的期望適用於整個對話,您可以提供下列期望類型:

  • 使用工具
  • 流程叫用
  • 應對手冊叫用

回合層級的期望值只適用於特定對話回合,您可以提供下列期望值類型:

  • 代理回覆
  • 目前流程
  • 目前意圖
  • 目前頁面
  • 使用工具
  • 流程叫用
  • 應對手冊叫用

舊版測試案例

您可以使用內建的測試功能找出錯誤,並避免發生迴歸問題。 如要測試代理程式,請使用模擬器建立測試案例,定義黃金測試案例,然後視需要執行測試案例。測試執行作業會驗證代理程式對測試案例中定義的輸入內容,是否仍傳回相同的回應。

下方的操作說明會介紹如何使用控制台,但您也可以透過 API 執行相同功能。

模擬器設定

首次開啟模擬器時,您需要選取代理程式環境或流程版本,以及有效的流程。在大多數情況下,您應該使用草稿環境和預設開始流程。

你也可以隨時使用 webhook 切換按鈕,啟用或停用 webhook 呼叫。定義測試案例時,停用 Webhook 相當實用。

模擬工具輸入內容

與模擬器互動時,請以文字形式提供使用者輸入內容,然後按下 Enter 鍵或點選「傳送」按鈕。除了純文字,您也可以使用輸入 選取器選擇其他輸入類型:

  • 參數: 插入 參數 值。 您可以提供新參數,或為現有參數提供預設值。
  • 事件: 叫用事件
  • DTMF: 傳送雙音多頻信號 (觸控音) 輸入內容,用於電話互動。

建立測試案例

如要建立對話:

  1. 開啟 Dialogflow CX 控制台
  2. 選擇專案。
  3. 選取代理程式。
  4. 按一下「測試代理程式」開啟模擬器。
  5. 與服務專員對話,建立涵蓋要測試功能的對話。針對每個輪次,驗證觸發的意圖、代理程式回覆、有效網頁和工作階段參數的值是否正確。

模擬工具螢幕截圖。

如要將對話儲存為測試案例,請按照下列步驟操作:

  1. 按一下「儲存」按鈕。
  2. 輸入測試案例顯示名稱。 每個測試案例的顯示名稱不得重複。
  3. (選用) 提供標記名稱。 標記可協助您整理測試案例。 所有標記的開頭都必須是「#」。
  4. 視需要提供附註,說明測試案例的用途。
  5. 視需要選取要在測試案例中追蹤的參數。 系統會提供建議參數清單。 您也可以輸入其他要追蹤的參數。 如果選取追蹤參數,系統會在執行測試案例時檢查參數斷言。如要進一步瞭解參數斷言,請參閱「執行測試案例」一節。
  6. 按一下「儲存」即可儲存測試案例。

執行測試案例

如要查看代理程式的所有測試案例,請按一下「管理」分頁中的「測試案例」。測試案例表格會顯示測試名稱、標記、最新測試時間和環境,以及最新測試結果。

如要執行測試案例,請按照下列步驟操作:

  1. 選取要執行的測試案例,然後按一下「執行」。 或者,您也可以按一下「執行所有測試案例」
  2. 選取要執行測試案例的環境。
  3. 測試開始執行,您可以在工作佇列中查看狀態。 測試完成後,系統會更新測試結果。

如要查看測試詳細結果,請按一下測試案例。 黃金測試案例最新執行作業的對話會並排顯示。

模擬工具螢幕截圖。

按一下任一服務專員的對話回合,即可查看該回合的詳細資料。測試引擎會逐一檢查下列類型的資料,以評估測試結果:

  • 代理程式對話

    系統會比較每次對話輪替的代理對話,從黃金標準到最新執行結果。如有任何差異,系統會顯示警告。 這些差異不會導致測試失敗,因為同一代理程式狀態的代理程式對話通常會有所不同。

  • 相符意圖

    如要通過測試,每個回合的相符意圖必須相同。

  • 目前頁面

    如要通過測試,每個回合的有效網頁都必須相同。

  • 工作階段參數

    如果您在建立測試案例時新增了追蹤參數,測試引擎會檢查對應的會期參數,如果缺少/出現非預期參數或參數值不符,測試就會失敗。

在某些情況下,測試案例可能會因代理程式更新而預期會失敗。如果最新一輪的對話反映了預期變更,您可以按一下「儲存為黃金測試案例」,覆寫黃金測試案例

編輯測試案例

如要編輯測試案例,請從「測試案例」表格中選取測試案例,然後按一下測試案例名稱旁的編輯 圖示。系統會顯示「Update Test Cases」(更新測試案例) 對話方塊。

如要編輯測試案例的中繼資料和設定,請按一下「設定」分頁標籤。

  1. 您可以編輯「測試案例名稱」、「標記」和「附註」欄位,或新增追蹤參數。

  2. 按一下 [儲存]

如要編輯測試案例的使用者輸入內容,請按一下「使用者輸入」分頁標籤。

  1. 以 JSON 格式新增、移除或編輯使用者輸入內容。

  2. 按一下「Confirm」(確認)。系統會自動開始測試,測試完成後,更新後的對話就會顯示在畫面上。

  3. 按一下「儲存」即可覆寫原始的黃金測試案例,或按一下「另存為」即可建立含有變更內容的新測試案例。

查看測試涵蓋範圍

如要查看所有測試案例的測試涵蓋範圍報告,請按一下「涵蓋範圍」

「涵蓋範圍」頁面包含下列分頁:

  • 系統會針對所有狀態處理常式 (不包括路徑群組) 判斷轉場涵蓋範圍,並由測試案例執行轉場目標。表格會列出來源流程/頁面和轉換目標流程/頁面。

  • 系統會根據測試案例比對的所有意圖,判斷意圖涵蓋範圍。

  • 系統會針對測試案例比對的所有路徑群組,判斷路徑群組涵蓋範圍。

匯入及匯出測試案例

如要匯出測試案例,請按照下列步驟操作:

  1. 選取測試案例,然後按一下「匯出」或「匯出所有測試案例」
  2. 按一下「下載至本機檔案」,或提供 Cloud Storage 值區 URI,然後按一下「匯出至 Google Cloud Storage」

匯入測試案例時,Dialogflow CX 一律會為目標代理程式建立新的測試案例,不會覆寫任何現有測試案例。如要匯入測試案例,請按照下列步驟操作:

  1. 按一下「匯入」
  2. 選擇本機檔案或提供 Cloud Storage bucket URI。
任何資源不符的測試案例都會失敗。