語音調整

執行偵測意圖要求時,您可以視需要提供 phrase_hints,為語音辨識工具提供提示。這些提示有助於辨識特定對話狀態。

自動語音調整

自動語音調整功能會自動使用對話狀態,將相關實體和訓練詞組做為所有偵測意圖要求的語音情境提示,藉此提高代理的語音辨識準確度。這項功能預設為停用。

啟用或停用自動語音調整功能

如要啟用或停用自動語音調整功能,請按照下列步驟操作:

控制台

  1. 開啟 Dialogflow CX 控制台。
  2. 選擇 Google Cloud 專案。
  3. 選取代理程式。
  4. 按一下「Agent Settings」(代理程式設定)。
  5. 按一下「Speech and IVR」分頁標籤。
  6. 開啟或關閉「啟用自動語音調整」。
  7. 按一下「儲存」。

API

請參閱 Agent 類型的 get 和 patch/update 方法。

選取代理參考資料的通訊協定和版本:

通訊協定 V3 V3beta1
REST 代理資源 代理資源
RPC 代理介面 代理介面
C++ AgentsClient 不適用
C# AgentsClient 不適用
Go AgentsClient 不適用
Java AgentsClient AgentsClient
Node.js AgentsClient AgentsClient
PHP 不適用 不適用
Python AgentsClient AgentsClient
小茹 不適用 不適用

提升語音辨識能力的代理設計

啟用自動語音調整功能後,您就能建構代理,充分運用這項功能。以下各節說明如何透過變更代理的訓練詞組和實體,改善語音辨識功能。

訓練詞組

  • 如果您使用「鼻塞」這類詞組定義訓練詞組,系統就能可靠地將發音相似的使用者語句辨識為「鼻塞」,而不是「stuff he knows」。
  • 如果必要參數強制 Dialogflow 進入表單填寫提示,自動語音調整功能會大幅偏向填寫的實體。

在所有情況下,自動語音調整功能只會偏向語音辨識,不會限制語音辨識。舉例來說,即使 Dialogflow 提示使用者輸入必要參數,使用者仍可觸發其他意圖,例如頂層的「與服務專員交談」意圖。

系統實體

如果您定義的訓練詞組使用 @sys.number 系統實體,而使用者說「我要兩個」,系統可能會辨識為「to」、「too」、「2」或「two」。

啟用自動語音調整功能後,Dialogflow 會在語音辨識期間使用 @sys.number 實體做為提示,因此參數更有可能擷取為「2」。

自訂實體

  • 如果您為公司提供的產品或服務名稱定義自訂實體,且使用者在語句中提及這些字詞,系統就更有可能辨識出這些字詞。如果訓練詞組為「我喜歡 Dialogflow」,其中「Dialogflow」標註為 @product 實體,則自動語音調整功能會偏向「我喜歡 Dialogflow」、「我喜歡 Cloud Speech」和 @product 實體中的所有其他項目。

  • 使用 Dialogflow 偵測語音時,定義清楚的實體同義詞尤其重要。假設您有兩個 @product 實體項目:「Dialogflow」和「Dataflow」。「Dialogflow」的同義詞可能是「Dialogflow」、「dialogue flow」、「dialogue builder」、「Speaktoit」、「speak to it」、「API.ai」、「API dot AI」。這些是很好的同義詞,因為涵蓋了最常見的變化版本。您不需要新增「對話流程建構工具」,因為「對話流程」已涵蓋該詞。

  • 使用者語句中若有連續但不同的數字實體,可能會造成語意模糊。舉例來說,「我要兩組十六包裝」可能代表 2 組 16 包裝,或 216 組包裝。如果您設定的實體具有拼寫值,語音調整功能可協助釐清這些情況:
    • 定義 quantity 實體,並加入下列項目:
      zero
      one
      ...
      twenty
    • 定義 product 或 size 實體,並加入以下項目:
      sixteen pack
      two ounce
      ...
      five liter
    • 語音調整功能只會使用實體同義詞,因此您可以定義參考值為 1 且只有一個同義詞 one 的實體,簡化執行要求邏輯。

規則運算式實體

Regexp 實體:如果設定和測試正確,可針對英數字元和數字序列 (例如「ABC123」或「12345」) 觸發自動語音調整功能。

如要透過語音辨識這些序列,請實作下列所有四項規定:

1. 規則運算式輸入規定

雖然任何規則運算式都能用於從文字輸入內容中擷取實體,但只有特定運算式會指示自動語音調整功能,在辨識語音時偏向拼寫出的英數字元或數字序列。

在規則運算式實體中,至少一個項目必須符合所有下列規則:

  • 應與部分英數字元相符,例如:\d、\w、[a-zA-Z0-9]
  • 不得包含空白字元   或 \s,但允許使用 \s* 和 \s?
  • 不應包含擷取或非擷取群組 ()
  • 不應嘗試比對任何特殊字元或標點符號,例如: ` ~ ! @ # $ % ^ & * ( ) - _ = + , . < > / ? ; ' : " [ ] { } \ |

這個項目可以包含字元集 [] 和重複數量詞,例如 *、?、+、{3,5}。

請參閱範例。

2. 參數定義規定

將規則運算式實體標示為必要的表單參數,以便在填寫表單時收集。這樣一來,自動語音調整功能就會大幅偏向序列辨識,而不是嘗試同時辨識意圖和序列。否則「Where is my package for ABC123」可能會誤認為「Where is my package 4ABC123」。

3. 訓練詞組註解需求

請勿將規則運算式實體用於意圖訓練詞組註解。這可確保參數在表單填寫過程中解析。

4. 測試規定

請參閱「測試語音調整」。

範例

舉例來說,含有單一項目 ([a-zA-Z0-9]\s?){5,9} 的規則運算式實體不會觸發語音序列辨識器,因為該實體包含擷取群組。如要修正這個問題,只要為 [a-zA-Z0-9]{5,9} 新增另一個項目即可。現在,比對「ABC123」時,您將受益於序列辨識器,但 NLU 仍會比對「ABC 123」等輸入內容,因為原始規則允許空格。

以下規則運算式範例適用於英數字元序列:

^[A-Za-z0-9]{1,10}$
WAC\d+
215[2-8]{3}[A-Z]+
[a-zA-Z]\s?[a-zA-Z]\s?[0-9]\s?[0-9]\s?[0-9]\s?[a-zA-Z]\s?[a-zA-Z]

以下規則運算式範例適用於數字序列:

\d{2,8}
^[0-9]+$
2[0-9]{7}
[2-9]\d{2}[0-8]{3}\d{4}
規則運算式解決方法

自動語音調整功能內建的 regexp 實體支援因語言而異。請查看語音類別符記,瞭解 $OOV_CLASS_ALPHANUMERIC_SEQUENCE 和 $OOV_CLASS_DIGIT_SEQUENCE 支援的語言。

如果清單中沒有您使用的語言,可以採取以下做法。 舉例來說,如果您希望系統準確辨識由三個字母和三個數字組成的員工 ID,可以使用下列實體和參數建構代理:

  • 定義包含 10 個實體項目 (含同義詞) 的 digit 實體:
    0, 0
    1, 1
    ...
    9, 9
  • 定義包含 26 個實體項目 (含同義詞) 的 letter 實體:
    A, A
    B, B
    ...
    Z, Z
  • 定義包含單一實體項目 (不含同義詞) 的 employee-id 實體:
    @letter @letter @letter @digit @digit @digit
  • 在訓練詞組中使用 @employee-id 做為參數。

手動語音調整

手動語音調整功能可讓您手動設定流程或頁面的語音調整詞組。如果啟用自動語音調整功能,這項設定也會覆寫該功能產生的隱含語音情境。

流程層級和頁面層級的語音調整設定具有階層關係,也就是說,頁面預設會沿用流程層級的語音調整設定,如果頁面有自訂設定,則更精細的頁面層級一律會覆寫流程層級。

語音調整設定、流程層級設定和頁面層級設定可以獨立啟用。如果未啟用流程層級的自動調整設定,您仍可在頁面層級選擇「Customize」(自訂),為特定頁面啟用手動語音調整功能。同樣地,如果您在流程層級設定中停用手動語音調整功能,流程中已選取「Customize」(自訂) 的頁面不會受到影響。

不過,流程層級設定和頁面層級設定無法單獨停用。如果對話流程已啟用手動語音調整功能,您就無法透過「Customize」(自訂) 選項,為對話流程下的頁面停用這項功能。因此,如果您想在流程中的頁面混合使用手動語音調整和自動語音調整,請勿在流程層級啟用手動語音調整,而應僅使用頁面層級調整設定。請參閱下表,瞭解應根據您的調整情況,使用哪種流程和頁面設定組合。

目標效果 建議使用的調整設定
停用流程的自動調整功能 已啟用流程,但沒有詞組集 (流程中的頁面預設會使用流程設定)。
停用頁面的自動調整功能 流程已停用,頁面已啟用 (已選擇「自訂」),沒有詞組集。
只對流程中的所有頁面使用手動語音調整 已啟用流程。自訂需要使用與流程不同詞組集的頁面。
在流程中混合使用自動和手動調整 流程已停用。自訂要套用手動調整功能的頁面。
僅對流程中的所有頁面使用自動語音調整功能 流程已停用。

啟用或停用手動語音調整功能

如要在流程或頁面層級啟用或停用手動語音調整功能,請按照下列步驟操作:

流程設定

  1. 開啟 Dialogflow CX 控制台。
  2. 選擇 Google Cloud 專案。
  3. 將滑鼠游標懸停在「Flows」(流程) 區段中的流程上。
  4. 按一下「選項」按鈕 。
  5. 在下拉式選單中選取「Flow Settings」。
  6. 勾選或取消勾選「啟用手動語音調整」核取方塊。
  7. 在詞組集表格中編輯、新增或刪除詞組集
  8. 按一下「儲存」。

頁面設定

  1. 開啟 Dialogflow CX 控制台。
  2. 選擇 Google Cloud 專案。
  3. 將滑鼠游標懸停在「頁面」部分的頁面上。
  4. 按一下「選項」按鈕 。
  5. 在下拉式選單中選取「頁面設定」。
  6. 系統預設會選擇「Use flow level」(使用流程層級),選擇後,系統會在這個頁面重複使用流程層級調整詞組。您可以選擇「Customize」(自訂),設定與流程層級設定不同的調整詞組。即使在流程層級停用手動語音調整功能,您仍可透過「Customize」(自訂) 選項,為該流程中的頁面啟用及設定手動語音調整功能。
  7. 在調整詞組集表格中編輯、新增或刪除詞組集
  8. 按一下「儲存」。

手動設定詞組集,提升語音辨識準確度

1. 字詞和詞組

在調整詞組集中,您可以定義單字或多字詞組,並視需要參照語音類別權杖。例如,您可以新增「費率超值」、「追蹤號碼為 $OOV_CLASS_ALPHANUMERIC_SEQUENCE」或「$FULLPHONENUM」等詞組。相較於其他發音相似的詞組,系統更有可能轉錄這些提供的詞組。如果新增多字詞組,但未設定任何提升,則偏誤會套用至整個詞組和詞組中的連續部分。一般來說,詞組數量應保持在少量,且只應新增語音辨識在沒有語音調整的情況下難以正確辨識的詞組。如果 Speech-to-Text 已能正確辨識某個詞組,就不需要將該詞組加入語音調整設定。如果發現 Speech-to-Text 經常在某個頁面或流程中誤認某些詞組,可以將正確的詞組新增至對應的調整設定。

辨識錯誤修正範例

以下範例說明如何使用語音調整功能修正辨識問題。假設您正在設計手機裝置交易代理,而使用者可能會在代理詢問第一個問題「您需要什麼協助?」後,說出包含「sell phones」或「cell phone」等詞組的內容。那麼,如何使用語音調整功能,提高這兩個詞組的辨識準確度?

如果您在自動調整設定中同時加入這兩個詞組,Speech-to-Text 仍可能混淆,因為兩者發音相似。如果只提供其中一個詞組,Speech-to-Text 可能會將其中一個詞組誤認為另一個詞組。如要提高這兩個詞組的語音辨識準確度,您需要提供更多語境線索,讓 Speech-to-Text 區分何時應辨識為「sell phones」,何時應辨識為「cell phone」。舉例來說,您可能會發現使用者經常在「how to sell phones」(如何賣手機)、「want to sell phones」(想賣手機) 或「do you sell phones」(你有賣手機嗎) 等語句中使用「sell phones」(賣手機),而在「purchase cell phone」(購買手機)、「cell phone bill」(手機帳單) 和「cell phone service」(手機服務) 等語句中使用「cell phone」(手機)。如果您向模型提供這些更精確的詞組,而不是簡短的原始詞組「cell phone」和「sell phones」,Speech-to-Text 就會瞭解「sell phone」這個動詞詞組更可能出現在「how to」、「want to」和「do you」等字詞之後,而「cell phone」這個名詞詞組更可能出現在「purchase」等字詞之後,或出現在「bill」或「service」等字詞之前。因此,設定調整詞組時,一般建議提供更精確的詞組,例如「如何銷售手機」或「你們有賣手機嗎」,而不是只包含「賣手機」。

2. 語音類別符記

除了自然語言字詞外,您也可以在詞組中嵌入語音類別符記的參照。語音類別符記代表常見概念,通常會遵循特定的書寫格式。舉例來說,在「123 Main Street」這個地址中,使用者通常會預期看到地址號碼的數字格式「123」,而不是完整拼寫的版本「one-hundred twenty-three」。如果您希望語音轉錄結果採用特定格式,尤其是英數字元序列,請參閱支援的類別權杖清單,瞭解您的語言和用途有哪些可用的權杖。

如果頁面已有意圖路徑或參數,且參照系統實體,請參考下表,瞭解常見系統實體和語音類別權杖之間的對應關係:

系統實體 語音類別符記
@sys.date $MONTH $DAY $YEAR
@sys.date-time $MONTH $DAY $YEAR
@sys.date-period $MONTH $DAY $YEAR
@sys.time $TIME
@sys.time-period $TIME
@sys.age $OPERAND
@sys.number $OPERAND
@sys.number-integer $OPERAND
@sys.cardinal $OPERAND
@sys.ordinal $OPERAND
@sys.percentage $OPERAND
@sys.duration $OPERAND
@sys.currency-name $MONEY
@sys.unit-currency $MONEY
@sys.phone-number $FULLPHONENUM
@sys.zip-code $POSTALCODE或$OOV_CLASS_POSTALCODE
@sys.address $ADDRESSNUM $STREET $POSTALCODE
@sys.street-address $ADDRESSNUM $STREET $POSTALCODE
@sys.temperature $OOV_CLASS_TEMPERATURE
@sys.number-sequence $OOV_CLASS_DIGIT_SEQUENCE
@sys.flight-number $OOV_CLASS_ALPHANUMERIC_SEQUENCE

3. 增強值

如果新增不含提升值的詞組無法提供足夠的偏誤效果,您可以使用提升值進一步強化語音調整偏誤效果。

如果將 Boost 設為大於 0 且不超過 20 的值,系統會套用額外的偏誤。如果提升值為空白或 0,預設偏誤效果有助於辨識整個詞組和詞組中的連續部分。舉例來說,未提升的詞組「are you open to sell phones」有助於辨識該詞組,以及類似的詞組,例如「I sell phones」和「Hi are you open」。

套用正向提升時,偏誤效果會更強,但只會套用至完全相符的詞組。舉例來說,如果提高「sell phones」這個詞組的權重,系統會辨識出「can you sell phones」,但不會辨識出「do you sell any phones」。

因此,建議您同時提供有和沒有提高權重的詞組,以獲得最佳結果。

提高增強值可減少偽陰性,也就是音訊中出現字詞或詞組,但 Speech-to-Text 未正確辨識 (偏誤過低)。不過,提高權重也可能增加偽陽性的機率,也就是說,即使音訊中未出現該字詞或詞組,轉錄稿中仍會出現該字詞或詞組 (過度偏誤)。您通常需要微調偏誤詞組,在兩種偏誤問題之間找到最佳平衡點。

如要進一步瞭解如何微調詞組的提升值,請參閱 Cloud Speech 說明文件中有關提升值的內容。

Speech-to-Text V2 chirp_3 支援每個要求最多 1,000 個詞組,並會忽略數值 boost 值。如要瞭解 chirp_3 調整限制和指南,請參閱「透過模型調整功能提高準確度」。

自動或手動語音調整功能的使用時機

一般來說,如果您不確定語音調整功能是否能改善代理的語音辨識品質 (沒有明確的轉錄錯誤模式),建議您先嘗試自動語音調整功能,再手動調整語音。如要做出更精細的決策,請考量下列因素,決定要使用自動語音調整或手動語音調整:

1. 填寫表單

自動語音調整功能非常適合用於表單填寫,因為它會使用 ABNF 文法結構定義來設定表單參數,並根據實體類型強制執行文法規則。由於手動語音調整功能尚未支援 ABNF 文法,因此在表單填寫頁面中,自動語音調整功能通常比手動語音調整功能更適合。不過,如果頁面僅包含系統實體參數和語音類別權杖支援的簡單規則運算式實體,您也可以使用手動語音調整功能,達到類似自動語音調整的偏誤效果,而不需要調整規則運算式實體。

2. 頁面或流程轉換複雜度

如果是只有幾個意圖路徑的簡單頁面或流程,自動語音調整功能可能會產生代表性的偏誤詞組,並達到合理的成效。

不過,如果頁面或流程有大量意圖路徑 (如果是頁面,也請考量流程層級路徑的數量),或任何意圖有過長或過短的不重要訓練詞組 (例如整個句子或只有一兩個音節的單字),語音調整模型很可能無法妥善處理這些詞組。請先嘗試停用複雜度較高的開放式頁面語音調整功能,方法是啟用手動語音調整功能,並使用空白詞組集 (空白調整覆寫)。接著,評估是否仍需提供特殊、明確的詞組給 Speech-to-Text,以提升辨識品質。

啟用自動語音調整功能時,如果出現各種偏誤過低或過高的問題,也可能是複雜度問題。與上述情況類似,您也需要先在停用語音調整功能的情況下,測試特定頁面。如果停用語音調整功能後,錯誤行為仍持續發生,您可以將要修正的詞組新增至語音調整設定,甚至視需要新增提升值,進一步強化偏誤效果。

測試語音調整

測試代理對特定訓練詞組或實體比對的語音調整功能時,請勿直接測試對話中第一個語音語句的比對結果。在要測試的比對之前,整個對話應只使用語音或事件輸入。以這種方式測試代理時,其行為會與實際正式環境對話中的行為類似。

限制

限制如下:

  • 語音調整功能不適用於所有語音模型和語言組合。請參閱 Cloud Speech 語言支援頁面,確認您的語音模型和語言組合是否支援「模型調整」功能。
  • 目前手動語音調整功能不支援自訂類別或 ABNF 文法。您可以啟用自動語音調整功能,或使用執行階段偵測意圖要求,來使用這些調整功能。

  • 相同的提升值在不同的語音模型和語言中可能會有不同的效果,因此如果代理使用多種語言或語音模型,請謹慎手動設定。目前,手動語音調整功能會套用至代理中的所有語言,因此多語言代理應僅使用與語言無關的詞組,或將每種語言拆分為獨立代理。由於預設偏誤行為 (不提供提升或 0 提升) 通常適用於所有語言和模型,因此除非您的辨識用途需要更強的偏誤,否則不需要設定特定語言的提升值。如要進一步瞭解如何微調提升值,請參閱這份 Cloud Speech-to-Text 指南。

  • 辨識長字元序列並不容易。單次擷取的字元數與輸入音訊的品質直接相關。如果您已遵循所有規則運算式實體指南,並嘗試在手動語音自動調整設定中使用相關的語音類別權杖,但仍無法在單一回合中擷取整個序列,可以考慮採用其他更具對話性的替代方案:
    • 根據資料庫驗證序列時,請考慮交叉比對其他收集到的參數 (例如日期、姓名或電話號碼),以允許不完整的比對。例如,除了詢問使用者的訂單編號,也詢問他們的電話號碼。現在,當 Webhook 查詢資料庫中的訂單狀態時,可以先依據電話號碼,然後傳回該帳戶最相符的訂單。這樣一來,即使 Dialogflow 將「ABC」誤聽為「AVC」,仍可為使用者傳回正確的訂單狀態。
    • 如果序列過長,建議設計一個流程,鼓勵使用者在中間暫停,讓機器人能逐步確認。