測試案例

您可以使用內建測試功能找出錯誤,並避免發生迴歸問題。如要測試代理,可以使用模擬工具與代理互動,並將對話儲存為測試案例。

儲存測試案例時,對話期間發生的意圖比對、應對手冊動作、啟用的流程和啟用的頁面,都會儲存為測試案例預期。更新代理後,如果執行測試案例,系統會驗證這些預期結果。您也可以在建立或編輯測試案例時,編輯這些預期結果。

建立測試案例

如要使用模擬器建立測試案例,請按照下列步驟操作:

  1. 開啟模擬器。
  2. 與代理對話。
  3. 點選模擬器上方的「Create test case」(建立測試案例) 按鈕。
  4. 測試案例編輯器面板隨即開啟。提供測試案例顯示名稱,並視需要編輯任何預期。
  5. 按一下模擬器上方的「Save test case」(儲存測試案例) 按鈕。

執行測試案例

如要執行單一測試案例:

  1. 按一下左側導覽列中的「Test Cases」(測試案例)。
  2. 選取要執行的測試案例。
  3. 按一下「執行」按鈕。
  4. 系統會顯示測試案例記錄結果。

如要執行多個測試案例:

  1. 按一下左側導覽列中的「Test Cases」(測試案例)。
  2. 使用左側的核取方塊,選取要執行的測試案例。
  3. 按一下「執行所選項目」。
  4. 每個測試案例都會顯示最新測試執行的結果。

編輯測試案例

編輯測試案例時,您無法編輯使用者訊息或代理回覆,但可以變更下列項目:

  • 新增預期
  • 刪除預期
  • 更新預期

如何編輯測試案例:

  1. 按一下左側導覽列中的「Test Cases」(測試案例)。
  2. 選取要編輯的測試案例。
  3. 按一下測試案例摘要上方的「編輯」按鈕。
  4. 您可以展開「Conversation-level expectations」(對話層級預期) 區段,編輯適用於整個對話的預期。
  5. 每個對話回合都會顯示使用者訊息、代理回覆和該回合的預期。你無法編輯訊息,但可以編輯對話層級的預期。

刪除測試案例

如要刪除測試案例,請按照下列步驟操作:

  1. 按一下左側導覽列中的「Test Cases」(測試案例)。
  2. 使用左側的核取方塊,選取要刪除的測試案例。
  3. 按一下「刪除所選測試案例」。

目標

提供測試案例的預期結果時,您可以提供對話層級預期結果或回合層級預期結果。

對話層級的預期會套用至整個對話,您可以提供下列預期類型:

  • 使用工具
  • Flow 叫用
  • 叫用應對手冊

回合層級預期僅適用於特定對話回合,您可以提供下列預期類型:

  • 代理回覆
  • 目前流程
  • 目前意圖
  • 目前頁面
  • 使用工具
  • Flow 叫用
  • 叫用應對手冊

舊版測試案例

您可以使用內建測試功能找出錯誤,並避免發生迴歸問題。如要測試代理,請使用模擬器建立測試案例,定義黃金測試案例,然後視需要執行測試案例。測試執行會驗證代理對測試案例中定義的使用者輸入內容,回覆是否未變更。

以下操作說明會示範如何使用控制台,但您也可以在 API 中找到相同功能。

模擬器設定

首次開啟模擬器時,您必須選取代理環境或流程版本,以及有效的流程。在多數情況下,您應使用草稿環境和預設起始流程。

您也可以隨時使用 Webhook 切換鈕,啟用或停用 Webhook 呼叫。定義測試案例時,停用 Webhook 相當實用。

模擬器輸入

與模擬器互動時,請以文字形式提供使用者輸入內容,然後按下 Enter 鍵或點選傳送按鈕 。除了純文字外,您也可以使用輸入 選取器選擇其他輸入類型:

  • 參數:插入參數值。您可以提供新參數,或為現有參數提供預設值。
  • 事件:叫用事件。
  • DTMF:傳送雙音多頻信號 (按鍵式電話) 輸入,用於電話互動。

建立測試案例

建立對話的步驟如下:

  1. 開啟 Dialogflow CX 控制台。
  2. 選擇專案。
  3. 選取代理程式。
  4. 點選「測試代理」開啟模擬器。
  5. 與代理對話,建立涵蓋要測試功能的對話。請確認每個回合中,觸發的意圖、代理回覆、有效頁面和工作階段參數的值都正確。

模擬器螢幕截圖。

如要將對話儲存為測試案例,請按照下列步驟操作:

  1. 按一下「儲存」按鈕。
  2. 輸入測試案例顯示名稱。每個測試案例都必須有不重複的顯示名稱。
  3. (選用) 提供標記名稱。標記可協助您管理測試案例。所有標記都必須以「#」開頭。
  4. 您可以視需要提供附註,說明測試案例的目的。
  5. 視需要選取要在測試案例中追蹤的參數。系統會提供建議參數清單。您也可以輸入其他要追蹤的參數。如果選取追蹤參數,系統會在執行測試案例時檢查參數斷言。如要進一步瞭解參數斷言,請參閱「執行測試案例」一節。
  6. 按一下「Save」(儲存),儲存測試案例。

執行測試案例

如要查看代理的所有測試案例,請按一下「Manage」(管理) 分頁中的「Test Cases」(測試案例)。測試案例表格會顯示測試名稱、標記、最新測試時間和環境,以及最新測試結果。

如何執行測試案例:

  1. 選取要執行的測試案例,然後按一下「Run」(執行)。或者,您也可以按一下「Run all test cases」(執行所有測試案例)。
  2. 選取要執行測試案例的環境。
  3. 測試會開始執行,您可以在工作佇列中查看狀態。測試完成後,系統會更新結果。

如要查看測試詳細結果,請按一下測試案例。黃金測試案例和最新執行對話會並排顯示。

模擬器螢幕截圖。

點選任何代理的回覆,即可查看該回覆的詳細資料。測試引擎會逐一檢查下列類型的資料,評估測試結果:

  • 代理對話:

    在每個對話回合中,系統會比較黃金版本和最新執行的代理對話。如有任何差異,系統會顯示警告。這些差異不會導致測試失敗,因為相同代理狀態的代理對話通常會有所不同。

  • 比對成功的意圖:

    每次對話比對出的意圖必須相同,測試才會通過。

  • 目前頁面:

    每個回合的使用中頁面必須相同,測試才能通過。

  • 工作階段參數:

    如果您在建立測試案例時新增了追蹤參數,測試引擎會檢查對應的工作階段參數,並在缺少/出現非預期參數或參數值不符時,判定測試失敗。

在某些情況下,測試案例可能會因代理更新而發生預期失敗。如果最新執行作業中的對話反映預期變更,您可以按一下「Save as golden」(儲存為黃金測試案例),覆寫黃金測試案例。

編輯測試案例

如要編輯測試案例,請從「Test cases」(測試案例) 表格中選取測試案例,然後按一下測試案例名稱旁的「Edit」(編輯) 圖示 。「Update Test Cases」(更新測試案例) 對話方塊隨即顯示。

如要編輯測試案例的中繼資料和設定,請按一下「Settings」(設定) 分頁標籤。

  1. 您可以編輯「Test case name」(測試案例名稱)、「Tags」(標記) 和「Note」(附註) 欄位,或新增追蹤參數。

  2. 按一下 [儲存]。

如要編輯測試案例的使用者輸入內容,請按一下「User Input」(使用者輸入內容) 分頁標籤。

  1. 以 JSON 格式新增、移除或編輯使用者輸入內容。

  2. 點選「Confirm」(確認)。系統會自動開始執行測試,並在測試完成後顯示更新後的對話。

  3. 按一下「Save」(儲存) 覆寫原始黃金測試案例,或按一下「Save as」(另存新檔) 建立包含變更的新測試案例。

查看測試涵蓋範圍

如要查看所有測試案例的測試涵蓋率報表,請按一下「涵蓋率」。

「涵蓋率」頁面包含下列分頁:

  • 轉換涵蓋率是針對所有狀態處理常式 (不含路由群組) 決定,且測試案例會執行轉換目標。表格中會列出來源流程/頁面和轉換目標流程/頁面。

  • 意圖涵蓋率是根據測試案例比對出的所有意圖決定。

  • 路由群組涵蓋率是根據測試案例比對的所有路由群組決定。

匯入及匯出測試案例

匯出測試案例:

  1. 選取測試案例,然後按一下「Export」(匯出) 或「Export all test cases」(匯出所有測試案例)。
  2. 按一下「Download to local file」(下載至本機檔案),或提供 Cloud Storage bucket URI,然後按一下「Export to Google Cloud Storage」(匯出至 Google Cloud Storage)。

匯入測試案例時,Dialogflow CX 一律會為目標代理建立新的測試案例,不會覆寫任何現有測試案例。如何匯入測試案例:

  1. 按一下「匯入」。
  2. 選擇本機檔案或提供 Cloud Storage bucket URI。