進階語音設定

本指南提供語音功能的其他進階設定。如要開啟或關閉這些進階設定,請依序前往「Agent settings」(代理設定) >「Speech and IVR」(語音和 IVR) >「Speech-to-Text」(語音轉文字) >「Advanced speech settings」(進階語音設定)。

這些設定可在代理設定 (適用於整個代理)、流程設定 (適用於整個流程,並會覆寫代理設定)、頁面設定 (適用於頁面,並會覆寫流程和代理設定) 和執行設定 (適用於執行,並會覆寫頁面、流程和代理設定) 中找到。每個層級都有一部分設定,具體取決於該層級的設定關聯性。

如要在任何較低層級設定這些設定,請先在代理設定中選取「Enable advanced speech settings」(啟用進階語音設定)。

如果代理層級設定更新,但流程、頁面和執行層級已選取「Customize」(自訂) 選項,則更新不會套用至這些層級。如果「Customize」(自訂) 選項包含多項設定,而您只想更新其中幾項,則可能也需要更新其他設定,才能與代理層級設定保持一致。

如果取消勾選流程的「Enable advanced speech settings」(啟用進階語音設定),流程就不會沿用代理語音或「Barge-in」(插話) 設定。在繼承代理設定的流程 (例如 Default Start Flow) 中,請保持選取這個選項。

各層級可用的設定

下表列出各層級可用的進階語音設定:

設定名稱 代理 流程 頁面 Fulfillment
模型選擇 (Speech-to-Text) ✔ ✔ ✔
語音感測結束處 ✔ ✔ ✔
進階語音感測結束處 (依據逾時時間) ✔ ✔ ✔
啟用智慧端點偵測 ✔
無語音逾時 ✔ ✔ ✔
插話 ✔ ✔ ✔
允許取消部分回覆播放 ✔
音訊匯出 bucket ✔ ✔
DTMF ✔ ✔ ✔

模型選擇 (Speech-to-Text)

可在代理、流程和頁面層級設定。

設定用於語音辨識的語音模型。這項設定會因語言而異,因此您可以為不同語言選取不同模型。您也可以選取「Override request-level speech model」(覆寫要求層級語音模型)。這個選項會套用代理、流程或頁面模型,而非要求或 ConversationProfile 中的模型。

在雙向串流工作階段 (BidiStreamingAnalyzeContent) 中,請在代理、流程和頁面使用相同的 Speech-to-Text 版本。請勿在同一個工作階段中,混用 Speech-to-Text V2 (chirp_3) 和 Speech-to-Text V1 模型 (例如 telephony_short 或 latest_short)。

如需 Dialogflow CX Phone Gateway 的相關資訊,請參閱限制。詳情請參閱「語音模型」。

語音感測結束處

可在代理、流程和頁面層級設定。

控制辨識使用者音訊輸入結尾的靈敏度。值介於 0 (低敏感度,較不可能結束語音) 到 100 (高敏感度,較可能結束語音)。

請留意下列建議:

  • 使用 Speech-to-Text V2 chirp_3 時,請先將「End of speech sensitivity」(語音感測結束處) 值設為 75,或在有雜訊的 8 kHz 電話音訊中設為 80。請勿將值設為 100,否則可能會在雜訊線路上造成誤判。在控制台中,保持啟用「Enable advanced timeout-based end of speech sensitivity」(啟用進階語音感測結束處 (依據逾時時間))。在 API 要求中,將 useTimeoutBasedEndpointing 設為 true。
  • 如果您使用 ConversationProfile,請在代理、流程和頁面設定中,確認「End of speech sensitivity」(語音結束敏感度) 值。如果值較低 (例如 35),可能會導致端點延遲數秒。

進階語音感測結束處 (依據逾時時間)

可在代理層級設定,並在流程和頁面層級停用。

如果啟用這項設定,系統會使用「 End of speech sensitivity 」(語音結束敏感度) 設定值做為基準,建立相對的音訊靜音逾時時間 ,藉此判斷語音何時結束。如果停用這項設定 (預設),系統會根據「End of speech sensitivity」(語音結束靈敏度) 設定值,使用 Google Cloud Speech-to-Text 提供的機器學習模型判斷語音結束時間。

雖然「End of speech sensitivity」(語音感測結束處) 設定預設僅支援 en-US language 標記的 phone_call 語音模型,但「Enable advanced timeout-based end of speech sensitivity」(啟用以逾時為依據的進階語音感測結束處) 設定可讓您為 Dialogflow 支援的所有語言和語音模型設定語音感測結束處。

啟用智慧端點偵測

只能在代理層級設定。

如果啟用這項設定,Dialogflow CX 會分析部分使用者輸入內容,判斷語音何時結束。舉例來說,如果使用者說「我想」後停頓,Dialogflow CX 會等待使用者繼續說完句子。

這項功能特別適合用於收集數字參數,例如使用者可能會先說「1234」,然後停頓一下再說「5678」。如要將這項設定套用至特定參數,您必須在參數表單中設定智慧型端點。

這項設定僅適用於 en-US 語言標記,預設為停用。

無語音逾時

可在代理、流程和頁面層級設定。

Dialogflow CX 停止等待使用者音訊輸入的時間長度 (以秒為單位)。預設值為 5 秒,最大值為 60 秒。如果發生逾時,Dialogflow CX 會叫用無輸入內容事件。

使用 Speech-to-Text V2 chirp_3 時,建議將無語音逾時設為 8 秒。

插話

可在代理、流程和執行層級設定。

啟用後,使用者可以中斷 Dialogflow CX 回覆音訊。中斷時,Dialogflow CX 會停止傳送音訊,並處理下一個使用者輸入內容。

如果訊息佇列中有多則訊息,且訊息是由與已啟用插播功能的頁面、流程或代理相關聯的執行要求排入佇列,則佇列中所有後續訊息也會啟用插播功能。在這種情況下,整合功能會停止播放所有已啟用插話功能的佇列訊息音訊。

如果您將插話功能與自訂電話或串流整合搭配使用,請遵循下列指南:

  • 每輪 StreamingAnalyzeContent 呼叫:在對話的每一輪中,將 barge_in_config 納入 InputAudioConfig。如果後續回合省略 barge_in_config,插話功能會在第一回合後停止運作。
  • 預錄 .wav 提示:修剪 <audio> 標記中預錄音訊檔案的結尾靜音。結尾靜音會延長播放時間,可能導致插話資格和無語音逾時延遲。

允許取消部分回覆播放

只能在執行層級設定。

如要啟用這項設定,請依序前往「Agent settings」>「Speech and IVR」,勾選「Enable advanced speech settings」方塊,並在執行層級啟用部分回覆。這項設定可取消播放部分回覆。

如果訊息佇列中的訊息是由允許取消的執行要求建立,則在佇列中新增其他訊息時,系統會取消播放該訊息。如果您希望初始訊息開始播放,但如果運作中的 Webhook 在初始訊息播放完成前產生另一則訊息,則取消播放,這個方法就很有用。

音訊匯出 bucket

可在代理和流程層級設定。

如果提供,與要求相關聯的任何音訊資料都會儲存至 Cloud Storage bucket:

音訊已儲存 適用要求
使用者音訊輸入 DetectIntent、StreamingDetectIntent、AnalyzeContent、StreamingAnalyzeContent
為回覆合成的文字轉語音 (TTS) 音訊 AnalyzeContent、StreamingAnalyzeContent

將「Storage 物件建立者」角色授予專案中的下列服務帳戶:

  • 如果使用合作夥伴內建電話整合功能,請將角色授予格式為 one-click@df-cx-ALPHANUMERIC_VALUE-ALPHANUMERIC_VALUE.iam.gserviceaccount.com 的服務帳戶。

  • 如果您使用 Dialogflow CX Phone Gateway 整合功能,請將角色授予格式為 service-PROJECT_NUMBER@gcp-sa-dialogflow.iam.gserviceaccount.com 的服務帳戶。如要在 IAM 中找到這個服務帳戶,請勾選「Include Google-provided role grants」(包含 Google 提供的角色授權) 選項。

Chirp 3:HD 語音的串流 Text-to-Speech

如要使用 Chirp3-HD 語音的串流 Text-to-Speech 功能,必須取得存取權核准。 核准後,請依序前往「Agent settings」(代理設定) >「Speech and IVR」(語音和 IVR) >「Text-to-Speech」(文字轉語音),然後選取「Enable streaming text-to-speech」(啟用串流文字轉語音)。串流合成會使用 StreamingSynthesize 縮短較長回覆的延遲時間。

請留意以下行為:

  • 如要搭配插話功能使用串流文字轉語音,請使用 BidiStreamingAnalyzeContent。StreamingAnalyzeContent 呼叫不支援串流文字轉語音和插話功能。
  • 在單一回合中,Dialogflow CX 會將連續的文字 responseMessages 串連成一個文字轉語音合成要求。

DTMF

如要進一步瞭解這項功能,請參閱 DTMF (雙音多頻信號) 說明文件。

如果 StreamingDetectIntent 用戶端攔截頻外 DTMF 數字,請勿取消進行中的 gRPC 音訊串流。如果取消串流時未半關閉,伺服器串流會保持開啟,直到無語音逾時時間到期為止。請改為停止傳送音訊影格、在同一個串流上傳送 DTMF queryInput,然後半關閉串流。