使用者指南：摘要自動評估

摘要自動評估功能會根據準確度、完整度和一致性這三項指標，評估摘要品質。這項功能可協助您評估摘要生成器的品質，這對於調整自訂章節定義或升級會影響摘要模型的軟體至關重要。如要進一步瞭解評估指標，請參閱摘要自動評估基礎知識。

事前準備

  • 建立摘要生成器，為評估作業生成候選摘要。
  • 生成器中的章節定義會做為評估的實際資料。
  • 如要讓最終分數反映產生器品質，各節的指示必須與產生器中的指示相符。

建立摘要自動評估要求

請按照下列步驟建立摘要產生器。

  1. 前往 Agent Assist 控制台並登入帳戶。

    前往控制台

  2. 選取專案。

  3. 依序點選「評估」 >「新增評估」。

  4. 輸入專屬的「顯示名稱」，然後選擇與候選人摘要相符的「產生器」。

  5. 點選「下一步」。

  6. 選擇評估資料集，方法如下：

    • 指定日期範圍內的隨機對話樣本：如果您已付費使用 Agent Assist 摘要功能，請指定日期範圍和最多對話數。評估功能會從記錄中隨機選取最多數量的對話和摘要。
    • 選取特定資料集：選擇您使用「對話洞察」精選的特定對話樣本。

  7. 從下列選項中選擇摘要來源：

    • 使用指定的產生器，只產生缺少的摘要。支付摘要生成費用
    • 為所有對話生成新的摘要。支付摘要生成費用
    • 不要生成摘要。請改用資料集隨附的現有摘要。你必須支付其他費用。

  8. 點選「下一步」。

  9. 按一下「選取資料夾」，在 bucket 中選擇要儲存結果的 Cloud Storage 資料夾，然後按一下「確定」。自動評估會將結果寫入 CSV 檔案，並儲存在 Cloud Storage bucket 中。

  10. 按一下「執行」。這項作業需要較長時間才能完成。表格中會列出新的評估結果。

評估結果

請按照下列步驟查看摘要生成器清單，以及已完成的評估工作階段執行作業。

  1. 前往 Agent Assist 控制台並登入帳戶。前往控制台
  2. 選取專案。
  3. 按一下「評估」。
  4. 選用：如要切換建立時間順序，請按一下「建立時間」欄標題中的 keyboard_arrow_down「向下」。

篩選清單

如要篩選清單來搜尋特定評估，請按照下列步驟操作：

  1. 按一下「篩選評估結果」。

  2. 您可以選擇下列其中一個選項：

    • 顯示名稱
    • 產生器名稱
    • 建立時間

  3. 輸入參數值。

刪除評估作業

  1. 等待生成器完成評估。
  2. 按一下「刪除」即可清除評估結果。

查看評估結果

如要查看 Agent Assist 控制台的詳細評估結果，請按照下列步驟操作。

  1. 前往 Agent Assist 控制台並登入帳戶。前往控制台
  2. 選取專案。
  3. 按一下「評估」。
  4. 按一下清單中的任一資料列，即可查看「評估詳細資料」，包括下列資訊：
    • 生成器的顯示名稱
    • 對話數量
    • 如果任何 Conversational Insights 資料集，相關聯的 Conversational Insights 資料集名稱
    • 執行時間
    • Cloud Storage 輸出
    • 整個資料集的整體成效結果
    • 資料集中每個對話的對話層級結果

對話層級結果

Agent Assist 會在表格中顯示對話層級的評估結果。

  1. 在「評估詳細資料」頁面中，按一下「對話層級結果」表格的任一行，即可查看詳細結果、摘要和對話記錄。
  2. 按一下任一區段，即可查看摘要中該區段的範例。

比較結果

如要比較不同評估的結果，請按照下列步驟操作：

  1. 在 Agent Assist 控制台中，前往「評估」。
  2. 按一下評估結果即可查看詳細資料。這項評估作業是比較的基礎，並決定比較作業要納入哪些指標。
  3. 依序點按「比較」和「新增執行作業」，即可新增其他評估項目進行比較。一次最多可以比較五項評估。每個顯示名稱都會以灰色醒目顯示。
  4. 如要從比較中移除評估結果，請依序按一下「關閉」「關閉」。

比較摘要產生器版本

您也可以使用摘要自動評估功能，比較不同版本摘要產生器的摘要。您需要收集對話轉錄稿。

以下範例說明如何根據摘要 v4.0 和 v5.0 生成器比較評估結果。

步驟 1：建立摘要產生器的新版本

如果您尚未採用摘要生成器，請按照操作說明建立使用摘要 4.0 版的生成器。接著，請按照下列步驟建立第二個產生器，使用摘要版本 5.0：

  1. 依序前往 Agent Assist 控制台 >「摘要」頁面。
  2. 依序點選生成器旁的「更多」圖示 more_vert >「複製生成器」 > 生成器副本的名稱。
  3. 在「版本」中選擇「5.0」，然後按一下「儲存」。

步驟 2：建立資料集

按照操作說明建立資料集，最多可包含 100 則對話。每項評估最多可建立 100 個對話。

步驟 3：建立摘要評估

請按照下列步驟建立各項評估。

  1. 前往 Agent Assist 控制台，登入並選取專案。
  2. 依序點選「評估」 >「新增評估」。
  3. 輸入不重複的顯示名稱。
  4. 選擇摘要 4.0 產生器。
  5. 點選「下一步」。
  6. 選取「選取特定資料集」。
  7. 選取「生成摘要」。
  8. 依序點選「下一步」 >「選取資料夾」。
  9. 在 bucket 中選擇要儲存結果的 Cloud Storage 資料夾，然後按一下「確定」。自動評估會將結果寫入 CSV 檔案，並儲存在 Cloud Storage bucket 中。
  10. 按一下「執行」。這項作業需要較長時間才能完成。表格中會列出新的評估結果。

針對摘要 5.0 生成器重複步驟 2 到 10，並使用相同資料集。

步驟 4：比較評估結果

請按照操作說明比較結果。 Agent Assist 會顯示兩項評估結果的比較。如果某個生成器的分數高於其他生成器，系統會以綠色醒目顯示較高的分數。如果兩個生成器的分數相同，也會以綠色醒目顯示。

限制

摘要自動評估功能不支援 VPC Service Controls。

可用地區

摘要自動評估功能僅適用於三個 Agent Assist 區域。如需各項功能適用的地區清單，請參閱區域化表格。