このドキュメントでは、Live API で合成音声レスポンスと音声検出を構成する方法について説明します。さまざまな HD 音声と言語でレスポンスを構成したり、音声アクティビティ検出設定を構成してユーザーがモデルを中断できるようにしたりできます。
言語と音声を設定する
レスポンスの言語と音声を設定するには、次のように構成します。
コンソール
- [Vertex AI Studio] > [リアルタイム ストリーミング] を開きます。
- [出力] 展開メニューで、[音声] プルダウンから音声を選択します。
- 同じの展開メニューで、[言語] プルダウンから言語を選択します。
- [ セッションを開始] をクリックしてセッションを開始します。
Python
from google.genai.types import LiveConnectConfig, SpeechConfig, VoiceConfig, PrebuiltVoiceConfig config = LiveConnectConfig( response_modalities=["AUDIO"], speech_config=SpeechConfig( voice_config=VoiceConfig( prebuilt_voice_config=PrebuiltVoiceConfig( voice_name=voice_name, ) ), language_code="en-US", ), )
サポートされている音声
Live API は、voice_name フィールドで次の 30 個の音声オプションをサポートしています。
|
Zephyr -- Bright Kore -- Firm Orus -- Firm Autonoe -- Bright Umbriel -- Easy-going Erinome -- Clear Laomedeia -- Upbeat Schedar -- Even Achird -- Friendly Sadachbia -- Lively |
Puck -- Upbeat Fenrir -- Excitable Aoede -- Breezy Enceladus -- Breathy Algieba -- Smooth Algenib -- Gravelly Achernar -- Soft Gacrux -- Mature Zubenelgenubi -- Casual Sadaltager -- Knowledgeable |
Charon - Informative Leda - Youthful Callirrhoe - Easy-going Iapetus - Clear Despina - Smooth Rasalgethi - Informative Alnilam - Firm Pulcherrima - Forward Vindemiatrix - Gentle Sulafat - Warm |
サポートされている言語
Live API は、次の 24 言語をサポートしています。
| 言語 | BCP-47 コード | 言語 | BCP-47 コード |
|---|---|---|---|
| アラビア語（エジプト） | ar-EG | ドイツ語（ドイツ） | de-DE |
| 英語（アメリカ） | en-US | スペイン語（アメリカ） | es-US |
| フランス語（フランス） | fr-FR | ヒンディー語（インド） | hi-IN |
| インドネシア語（インドネシア） | id-ID | イタリア語（イタリア） | it-IT |
| 日本語（日本） | ja-JP | 韓国語（韓国） | ko-KR |
| ポルトガル語（ブラジル） | pt-BR | ロシア語（ロシア） | ru-RU |
| オランダ語（オランダ） | nl-NL | ポーランド語（ポーランド） | pl-PL |
| タイ語（タイ） | th-TH | トルコ語（トルコ） | tr-TR |
| ベトナム語（ベトナム） | vi-VN | ルーマニア語（ルーマニア） | ro-RO |
| ウクライナ語（ウクライナ） | uk-UA | ベンガル語（バングラデシュ） | bn-BD |
| 英語（インド） | en-IN と hi-IN のバンドル | マラーティー語（インド） | mr-IN |
| タミル語（インド） | ta-IN | テルグ語（インド） | te-IN |
音声アクティビティ検出を構成する
音声アクティビティ検出（VAD）により、モデルは人が話しているときを認識できます。これは、ユーザーがいつでもモデルを中断できるようにするため、自然な会話を作成するうえで不可欠です。
VAD が中断を検出すると、進行中の生成はキャンセルされ、破棄されます。クライアントにすでに送信された情報だけがセッション履歴に保持されます。その後、サーバーは中断を報告する BidiGenerateContentServerContent メッセージを送信します。その後、サーバーは保留中の関数呼び出しを破棄し、キャンセルされた呼び出しの ID を記載した BidiGenerateContentServerContent メッセージを送信します。
Python
config = { "response_modalities": ["audio"], "realtime_input_config": { "automatic_activity_detection": { "disabled": False, # default "start_of_speech_sensitivity": "low", "end_of_speech_sensitivity": "low", "prefix_padding_ms": 20, "silence_duration_ms": 100, } } }