Dokumen ini menjelaskan cara mengonfigurasi respons ucapan yang disintesis dan deteksi aktivitas suara di Gemini Live API. Anda dapat mengonfigurasi respons dalam berbagai suara dan bahasa HD, serta mengonfigurasi setelan deteksi aktivitas suara untuk memungkinkan pengguna menginterupsi model.
Menyetel bahasa dan suara
Model audio live seperti gemini-3.8-live dapat beralih antarbahasa
secara alami selama percakapan. Anda juga dapat membatasi bahasa yang digunakan
dengan menentukannya dalam petunjuk sistem.
Suara dikonfigurasi di kolom voice_name untuk semua model.
Contoh kode berikut menunjukkan cara mengonfigurasi bahasa dan suara.
from google.genai.types import LiveConnectConfig, SpeechConfig, VoiceConfig, PrebuiltVoiceConfig config = LiveConnectConfig( response_modalities=["AUDIO"], speech_config=SpeechConfig( voice_config=VoiceConfig( prebuilt_voice_config=PrebuiltVoiceConfig( voice_name=voice_name, ) ), language_code="en-US", ), )
Memandu nada dan aksen suara
Anda dapat memandu gaya bahasa dan aksen suara menggunakan petunjuk sistem, dan Gemini Live API akan merespons dengan suara yang Anda instruksikan. Misalnya, "Bahasa Inggris dengan suara positif dan ceria dengan aksen Prancis".
Suara yang didukung
Gemini Live API mendukung 30 opsi suara berikut di kolom voice_name:
|
Zephyr -- Cerah Kore -- Tegas Orus -- Tegas Autonoe -- Cerah Umbriel -- Santai Erinome -- Jelas Laomedeia -- Ceria Schedar -- Tenang Achird -- Ramah Sadachbia -- Hidup |
Puck -- Ceria Fenrir -- Antusias Aoede -- Santai Enceladus -- Berbisik Algieba -- Lembut Algenib -- Serak Achernar -- Halus Gacrux -- Dewasa Zubenelgenubi -- Kasual Sadaltager -- Berpengetahuan |
Charon -- Informatif Leda -- Muda Callirrhoe -- Santai Iapetus -- Jelas Despina -- Halus Rasalgethi -- Informatif Alnilam -- Tegas Pulcherrima -- Lugas Vindemiatrix -- Lembut Sulafat -- Hangat |
Bahasa yang didukung
Semua model Gemini Live API mendukung bahasa berikut:
| Bahasa | Kode BCP-47 |
|---|---|
| Arab (Mesir) | ar-EG |
| Bengali (Bangladesh) | bn-BD |
| Belanda (Belanda) | nl-NL |
| Inggris (India) | Paket en-IN & hi-IN |
| Inggris (AS) | en-US |
| Prancis (Prancis) | fr-FR |
| Jerman (Jerman) | de-DE |
| Hindi (India) | hi-IN |
| Indonesia (Indonesia) | id-ID |
| Italia (Italia) | it-IT |
| Jepang (Jepang) | ja-JP |
| Korea (Korea) | ko-KR |
| Marathi (India) | mr-IN |
| Polandia (Polandia) | pl-PL |
| Portugis (Brasil) | pt-BR |
| Rumania (Rumania) | ro-RO |
| Rusia (Rusia) | ru-RU |
| Spanyol (AS) | es-US |
| Tamil (India) | ta-IN |
| Telugu (India) | te-IN |
| Thai (Thailand) | th-TH |
| Turkiye (Turkiye) | tr-TR |
| Ukraina (Ukraina) | uk-UA |
| Vietnam (Vietnam) | vi-VN |
Bahasa tambahan yang didukung oleh Gemini 3.8 Live
Selain bahasa di atas, Gemini 3.8 Live
(gemini-3.8-live) mendukung bahasa berikut:
| Bahasa | Kode BCP-47 |
|---|---|
| Afrika | af |
| Albania | sq |
| Amhara | am |
| Armenia | hy |
| Azerbaijan | az |
| Basque | eu |
| Belarus | be |
| Bulgaria | bg |
| Burma | my |
| Catalan | ca |
| Cebuano | ceb |
| China, Mandarin | cmn |
| Kroasia | jam |
| Ceko | cs |
| Denmark | da |
| Estonia | et |
| Filipina | fil |
| Finlandia | fi |
| Galisia | gl |
| Georgia | ka |
| Yunani | el |
| Gujarat | gu |
| Kreol Haiti | ht |
| Ibrani | he |
| Hungaria | hu |
| Islandia | adalah |
| Jawa | jv |
| Kannada | kn |
| Konkani | kok |
| Laos | lo |
| Latin | la |
| Latvia | lv |
| Lituania | lt |
| Luksemburg | lb |
| Makedonia | mk |
| Maithili | mai |
| Malagasi | mg |
| Melayu | md |
| Malayalam | ml |
| Mongol | mn |
| Nepal | ne |
| Norwegia, Bokmål | nb |
| Norwegia, Nynorsk | nn |
| Odia | atau |
| Pashtun | ps |
| Persia | fa |
| Punjab | pa |
| Serb | sr |
| Sindhi | sd |
| Sinhala | si |
| Slovakia | sk |
| Slovenia | sl |
| Swahili | sw |
| Swedia | sv |
| Urdu | ur |
Menggunakan suara kustom
Alih-alih suara bawaan, Anda dapat memberikan rekaman singkat suara yang
akan direplikasi oleh Gemini Live API dalam respons ucapan yang disintesis. Suara kustom dikonfigurasi per sesi di kolom replicated_voice_config dari voice_config. Anda tidak perlu mengupload atau melatih apa pun terlebih dahulu.
Persyaratan sampel suara
Sampel suara harus memenuhi spesifikasi berikut:
Format audio: Audio PCM
s16ledengan frekuensi sampel variabel, misalnyaaudio/pcm;rate=24000Durasi: 10 hingga 20 detik.
Merekam suara kustom
Saat merekam sampel suara, sebaiknya ikuti tips berikut untuk mendapatkan kualitas suara terbaik:
Bicara secara alami: Jangan gunakan "suara radio" atau pengucapan yang berlebihan, kecuali jika Anda ingin avatar terdengar seperti penyiar. Baca skripnya persis seperti Anda berbicara dengan teman.
Batasi suara bising di latar belakang: Batasi suara bising di latar belakang sebanyak mungkin: matikan kipas angin, matikan unit AC, dan tutup jendela yang terbuka.
Tersenyum sedikit: Tersenyum saat merekam cenderung membuat Anda menambahkan kehangatan pada rekaman, dan kehangatan tersebut kemudian ditambahkan ke suara yang direplikasi.
Skrip yang direkomendasikan untuk suara kustom
Sebaiknya gunakan salah satu skrip berikut untuk merekam suara kustom:
Standar fonetik, terbaik untuk kualitas keseluruhan: "When the sunlight strikes raindrops in the air, they act like a prism and form a rainbow. Pelangi adalah pembagian cahaya putih menjadi banyak warna yang indah. Lengkungan ini berbentuk lengkungan bulat yang panjang."
Storyteller, paling cocok untuk menangkap emosi dan rentang dinamis: "Aku tidak percaya dengan apa yang kulihat saat membuka buku tua berdebu itu. Sebuah kunci emas kecil jatuh ke lantai kayu. 'Dari mana asalnya?' bisikku dalam hati, merasakan sensasi kegembiraan yang tiba-tiba. Semuanya akan berubah."
Menetapkan suara kustom
Konfigurasikan suara kustom dalam payload setup awal yang Anda kirim melalui
koneksi WebSocket:
import base64 import json import websockets # Load custom voice audio (PCM s16le, e.g., 24kHz) with open("/path/to/your/audio_sample.wav", "rb") as f: wav_b64 = base64.b64encode(f.read()).decode("utf-8") # Setup generation config with custom voice GENERATION_CONFIG = { "response_modalities": ["AUDIO"], "speech_config": { "voice_config": { "replicated_voice_config": { "voice_sample_audio": "VOICE_SAMPLE", "mime_type": "VOICE_MIME_TYPEaudio/pcm;rate=24000", } } }, } # Session setup message SETUP_MESSAGE = { "setup": { "model": "gemini-3.8-live", "generation_config": GENERATION_CONFIG, "system_instruction": { "parts": [{"text": "Your system instruction here"}] }, "input_audio_transcription": {}, "output_audio_transcription": {}, } }
Ganti kode berikut:
VOICE_SAMPLE: string audio PCM berenkode base64 (sampel 10-20 dtk).
VOICE_MIME_TYPE: Jenis MIME untuk audio PCM, misalnya
"audio/pcm;rate=24000".
Anda dapat menyambungkan suara kustom dengan avatar bawaan atau avatar kustom. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi avatar live.
Mengonfigurasi deteksi aktivitas suara
Deteksi aktivitas suara (VAD) memungkinkan model mengenali saat seseorang berbicara. Hal ini penting untuk menciptakan percakapan yang alami, karena memungkinkan pengguna menyela model kapan saja.
Saat VAD mendeteksi gangguan, pembuatan yang sedang berlangsung akan dibatalkan dan
dibuang. Hanya informasi yang telah dikirim ke klien yang dipertahankan dalam histori sesi. Server kemudian mengirimkan pesan BidiGenerateContentServerContent
untuk melaporkan gangguan. Server kemudian akan menghapus semua panggilan fungsi yang tertunda dan mengirim pesan BidiGenerateContentServerContent dengan ID panggilan yang dibatalkan.
Python
config = { "response_modalities": ["audio"], "realtime_input_config": { "automatic_activity_detection": { "disabled": False, # default "start_of_speech_sensitivity": "low", "end_of_speech_sensitivity": "low", "prefix_padding_ms": 20, "silence_duration_ms": 100, } } }
Langkah berikutnya
- Memulai dan mengelola sesi live
- Mengirim streaming audio dan video
- Mengonfigurasi kemampuan Gemini
- Praktik terbaik dengan Gemini Live API