本指南提供語音功能的其他進階設定。如要開啟或關閉這些進階設定,請依序前往「Agent settings」(代理設定) >「Speech and IVR」(語音和 IVR) >「Speech-to-Text」(語音轉文字) >「Advanced speech settings」(進階語音設定)。
這些設定可在代理設定 (適用於整個代理)、流程設定 (適用於整個流程,並會覆寫代理設定)、頁面設定 (適用於頁面,並會覆寫流程和代理設定) 和執行設定 (適用於執行,並會覆寫頁面、流程和代理設定) 中找到。每個層級都有一部分設定,具體取決於該層級的設定關聯性。
如要在任何較低層級設定這些設定,請先在代理設定中選取「Enable advanced speech settings」(啟用進階語音設定)。
如果代理層級設定更新,但流程、頁面和執行層級已選取「Customize」(自訂) 選項,則更新不會套用至這些層級。如果「Customize」(自訂) 選項包含多項設定,而您只想更新其中幾項,則可能也需要更新其他設定,才能與代理層級設定保持一致。
如果取消勾選流程的「Enable advanced speech settings」(啟用進階語音設定),流程就不會沿用代理語音或「Barge-in」(插話) 設定。在繼承代理設定的流程 (例如 Default Start Flow) 中,請保持選取這個選項。
各層級可用的設定
下表列出各層級可用的進階語音設定:
| 設定名稱 | 代理 | 流程 | 頁面 | Fulfillment |
|---|---|---|---|---|
| 模型選擇 (Speech-to-Text) | ✔ | ✔ | ✔ | |
| 語音感測結束處 | ✔ | ✔ | ✔ | |
| 進階語音感測結束處 (依據逾時時間) | ✔ | ✔ | ✔ | |
| 啟用智慧端點偵測 | ✔ | |||
| 無語音逾時 | ✔ | ✔ | ✔ | |
| 插話 | ✔ | ✔ | ✔ | |
| 允許取消部分回覆播放 | ✔ | |||
| 音訊匯出 bucket | ✔ | ✔ | ||
| DTMF | ✔ | ✔ | ✔ |
模型選擇 (Speech-to-Text)
可在代理、流程和頁面層級設定。
設定用於語音辨識的語音模型。這項設定會因語言而異,因此您可以為不同語言選取不同模型。您也可以選取「Override request-level speech model」(覆寫要求層級語音模型)。這個選項會套用代理、流程或頁面模型,而非要求或 ConversationProfile 中的模型。
在雙向串流工作階段 (BidiStreamingAnalyzeContent) 中,請在代理、流程和頁面使用相同的 Speech-to-Text 版本。請勿在同一個工作階段中,混用 Speech-to-Text V2 (chirp_3) 和 Speech-to-Text V1 模型 (例如 telephony_short 或 latest_short)。
如需 Dialogflow CX Phone Gateway 的相關資訊,請參閱限制。詳情請參閱「語音模型」。
語音感測結束處
可在代理、流程和頁面層級設定。
控制辨識使用者音訊輸入結尾的靈敏度。值介於 0 (低敏感度,較不可能結束語音) 到 100 (高敏感度,較可能結束語音)。
請留意下列建議:
- 使用 Speech-to-Text V2
chirp_3時,請先將「End of speech sensitivity」(語音感測結束處) 值設為75,或在有雜訊的 8 kHz 電話音訊中設為80。請勿將值設為100,否則可能會在雜訊線路上造成誤判。在控制台中,保持啟用「Enable advanced timeout-based end of speech sensitivity」(啟用進階語音感測結束處 (依據逾時時間))。在 API 要求中,將useTimeoutBasedEndpointing設為true。 - 如果您使用
ConversationProfile,請在代理、流程和頁面設定中,確認「End of speech sensitivity」(語音結束敏感度) 值。如果值較低 (例如35),可能會導致端點延遲數秒。
進階語音感測結束處 (依據逾時時間)
可在代理層級設定,並在流程和頁面層級停用。
如果啟用這項設定,系統會使用「 End of speech sensitivity 」(語音結束敏感度) 設定值做為基準,建立相對的音訊靜音逾時時間 ,藉此判斷語音何時結束。如果停用這項設定 (預設),系統會根據「End of speech sensitivity」(語音結束靈敏度) 設定值,使用 Google Cloud Speech-to-Text 提供的機器學習模型判斷語音結束時間。
雖然「End of speech sensitivity」(語音感測結束處) 設定預設僅支援 en-US language 標記的 phone_call 語音模型,但「Enable advanced timeout-based end of speech sensitivity」(啟用以逾時為依據的進階語音感測結束處) 設定可讓您為 Dialogflow 支援的所有語言和語音模型設定語音感測結束處。
啟用智慧端點偵測
只能在代理層級設定。
如果啟用這項設定,Dialogflow CX 會分析部分使用者輸入內容,判斷語音何時結束。舉例來說,如果使用者說「我想」後停頓,Dialogflow CX 會等待使用者繼續說完句子。
這項功能特別適合用於收集數字參數,例如使用者可能會先說「1234」,然後停頓一下再說「5678」。如要將這項設定套用至特定參數,您必須在參數表單中設定智慧型端點。
這項設定僅適用於 en-US 語言標記,預設為停用。
無語音逾時
可在代理、流程和頁面層級設定。
Dialogflow CX 停止等待使用者音訊輸入的時間長度 (以秒為單位)。預設值為 5 秒,最大值為 60 秒。如果發生逾時,Dialogflow CX 會叫用無輸入內容事件。
使用 Speech-to-Text V2 chirp_3 時,建議將無語音逾時設為 8 秒。
插話
可在代理、流程和執行層級設定。
啟用後,使用者可以中斷 Dialogflow CX 回覆音訊。中斷時,Dialogflow CX 會停止傳送音訊,並處理下一個使用者輸入內容。
如果訊息佇列中有多則訊息,且訊息是由與已啟用插播功能的頁面、流程或代理相關聯的執行要求排入佇列,則佇列中所有後續訊息也會啟用插播功能。在這種情況下,整合功能會停止播放所有已啟用插話功能的佇列訊息音訊。
如果您將插話功能與自訂電話或串流整合搭配使用,請遵循下列指南:
- 每輪
StreamingAnalyzeContent呼叫:在對話的每一輪中,將barge_in_config納入InputAudioConfig。如果後續回合省略barge_in_config,插話功能會在第一回合後停止運作。 - 預錄
.wav提示:修剪<audio>標記中預錄音訊檔案的結尾靜音。結尾靜音會延長播放時間,可能導致插話資格和無語音逾時延遲。
允許取消部分回覆播放
只能在執行層級設定。
如要啟用這項設定,請依序前往「Agent settings」>「Speech and IVR」,勾選「Enable advanced speech settings」方塊,並在執行層級啟用部分回覆。這項設定可取消播放部分回覆。
如果訊息佇列中的訊息是由允許取消的執行要求建立,則在佇列中新增其他訊息時,系統會取消播放該訊息。如果您希望初始訊息開始播放,但如果運作中的 Webhook 在初始訊息播放完成前產生另一則訊息,則取消播放,這個方法就很有用。
音訊匯出 bucket
可在代理和流程層級設定。
如果提供,與要求相關聯的任何音訊資料都會儲存至 Cloud Storage bucket:
| 音訊已儲存 | 適用要求 |
|---|---|
| 使用者音訊輸入 | DetectIntent、StreamingDetectIntent、AnalyzeContent、StreamingAnalyzeContent |
| 為回覆合成的文字轉語音 (TTS) 音訊 | AnalyzeContent、StreamingAnalyzeContent |
將「Storage 物件建立者」角色授予專案中的下列服務帳戶:
如果使用合作夥伴內建電話整合功能,請將角色授予格式為
one-click@df-cx-ALPHANUMERIC_VALUE-ALPHANUMERIC_VALUE.iam.gserviceaccount.com的服務帳戶。如果您使用 Dialogflow CX Phone Gateway 整合功能,請將角色授予格式為
service-PROJECT_NUMBER@gcp-sa-dialogflow.iam.gserviceaccount.com的服務帳戶。如要在 IAM 中找到這個服務帳戶,請勾選「Include Google-provided role grants」(包含 Google 提供的角色授權) 選項。
Chirp 3:HD 語音的串流 Text-to-Speech
如要使用 Chirp3-HD 語音的串流 Text-to-Speech 功能,必須取得存取權核准。
核准後,請依序前往「Agent settings」(代理設定) >「Speech and IVR」(語音和 IVR) >「Text-to-Speech」(文字轉語音),然後選取「Enable streaming text-to-speech」(啟用串流文字轉語音)。串流合成會使用 StreamingSynthesize 縮短較長回覆的延遲時間。
請留意以下行為:
- 如要搭配插話功能使用串流文字轉語音,請使用
BidiStreamingAnalyzeContent。StreamingAnalyzeContent呼叫不支援串流文字轉語音和插話功能。 - 在單一回合中,Dialogflow CX 會將連續的文字
responseMessages串連成一個文字轉語音合成要求。
DTMF
如要進一步瞭解這項功能,請參閱 DTMF (雙音多頻信號) 說明文件。
如果 StreamingDetectIntent 用戶端攔截頻外 DTMF 數字,請勿取消進行中的 gRPC 音訊串流。如果取消串流時未半關閉,伺服器串流會保持開啟,直到無語音逾時時間到期為止。請改為停止傳送音訊影格、在同一個串流上傳送 DTMF queryInput,然後半關閉串流。