Este documento descreve como configurar respostas de fala sintetizada e detecção de atividade de voz na API Gemini Live. É possível configurar respostas em uma variedade de vozes e idiomas em alta definição, além de definir as configurações de detecção de atividade de voz para permitir que os usuários interrompam o modelo.
Definir o idioma e a voz
Os modelos de áudio Live, como o gemini-3.8-live, podem alternar entre idiomas
naturalmente durante a conversa. Também é possível restringir os idiomas que ele fala
especificando-os nas instruções do sistema.
A voz é configurada no campo voice_name para todos os modelos.
O exemplo de código a seguir mostra como configurar o idioma e a voz.
from google.genai.types import LiveConnectConfig, SpeechConfig, VoiceConfig, PrebuiltVoiceConfig config = LiveConnectConfig( response_modalities=["AUDIO"], speech_config=SpeechConfig( voice_config=VoiceConfig( prebuilt_voice_config=PrebuiltVoiceConfig( voice_name=voice_name, ) ), language_code="en-US", ), )
Tom e sotaque da voz do guia
Você pode orientar o tom e o sotaque da voz usando instruções do sistema, e a resposta da API Gemini Live vai responder com a voz que você instruiu. Por exemplo, "Inglês com uma voz positiva e alegre com sotaque francês".
Vozes compatíveis
A API Gemini Live oferece suporte às seguintes 30 opções de voz no campo voice_name:
|
Zephyr: brilhante Kore: firme Orus: firme Autonoe: brilhante Umbriel: tranquila Erinome: clara Laomedeia: animada Schedar: equilibrada Achird: amigável Sadachbia: alegre |
Puck: animada Fenrir: entusiasmada Aoede: descontraída Enceladus: suave Algieba: tranquila Algenib: rouca Achernar: calma Gacrux: madura Zubenelgenubi: casual Sadaltager: intelectual |
Charon: informativa Leda: jovem Callirrhoe: descontraída Iapetus: clara Despina: suave Rasalgethi: informativa Alnilam: firme Pulcherrima: direta Vindemiatrix: gentil Sulafat: calorosa |
Linguagens compatíveis
Todos os modelos da API Gemini Live são compatíveis com os seguintes idiomas:
| Idioma | Código BCP-47 |
|---|---|
| Árabe (egípcio) | ar-EG |
| Bengali (Bangladesh) | bn-BD |
| Holandês (Holanda) | nl-NL |
| Inglês (Índia) | Pacote en-IN e hi-IN |
| Inglês (EUA) | en-US |
| Francês (França) | fr-FR |
| Alemão (Alemanha) | de-DE |
| Híndi (Índia) | hi-IN |
| Indonésio (Indonésia) | id-ID |
| Italiano (Itália) | it-IT |
| Japonês (Japão) | ja-JP |
| Coreano (Coreia) | ko-KR |
| Marati (Índia) | mr-IN |
| Polonês (Polônia) | pl-PL |
| Português (Brasil) | pt-BR |
| Romeno (Romênia) | ro-RO |
| Russo (Rússia) | ru-RU |
| Espanhol (EUA) | es-US |
| Tâmil (Índia) | ta-IN |
| Telugu (Índia) | te-IN |
| Tailandês (Tailândia) | th-TH |
| Turco (Turquia) | tr-TR |
| Ucraniano (Ucrânia) | uk-UA |
| Vietnamita (Vietnã) | vi-VN |
Outros idiomas disponíveis no Gemini 3.8 Live
Além dos idiomas anteriores, o Gemini 3.8 Live
(gemini-3.8-live) é compatível com os seguintes idiomas:
| Idioma | Código BCP-47 |
|---|---|
| Africâner | af |
| Albanês | sq |
| Amárico | am |
| Armênio | hy |
| Azerbaijano | az |
| Basco | eu |
| Bielo-russo | be |
| Búlgaro | bg |
| Birmanês | my |
| Catalão | ca |
| Cebuano | ceb |
| Chinês, mandarim | cmn |
| Croata | hr |
| Tcheco | cs |
| Dinamarquês | da |
| Estoniano | et |
| Filipino | fil |
| Finlandês | fi |
| Galego | gl |
| Georgiano | ka |
| Grego | el |
| Guzerate | gu |
| Creole haitiano | ht |
| Hebraico | he |
| Húngaro | hu |
| Islandês | é |
| Javanês | jv |
| Canarês | kn |
| Concani | kok |
| Laosiano | lo |
| Latim | la |
| Letão | lv |
| Lituano | lt |
| Luxemburguês | lb |
| Macedônio | mk |
| Maithili | mai |
| Malgaxe | mg |
| Malaio | ms |
| Malaiala | ml |
| Mongol | mn |
| Nepalês | ne |
| Bokmål norueguês | nb |
| Norueguês (Nynorsk) | nn |
| Oriá | ou |
| Pashto | ps |
| Persa | fa |
| Punjabi | pa |
| Sérvio | sr |
| Sindi | sd |
| Cingalês | si |
| Eslovaco | sk |
| Esloveno | sl |
| Suaíli | sw |
| Sueco | sv |
| Urdu | ur |
Usar uma voz personalizada
Em vez de uma voz predefinida, você pode fornecer uma gravação curta de uma voz que
a API Gemini Live replica em respostas de fala sintetizada. As vozes
personalizadas são configuradas por sessão no campo replicated_voice_config de
voice_config. Não é preciso fazer upload ou treinar nada com antecedência.
Requisitos para amostras de voz
A amostra de voz precisa atender às seguintes especificações:
Formato de áudio: áudio PCM
s16lecom taxa de amostragem variável, por exemplo,audio/pcm;rate=24000Duração: de 10 a 20 segundos.
Gravar uma voz personalizada
Ao gravar a amostra de voz, recomendamos as seguintes dicas para garantir a melhor qualidade de voz:
Fale naturalmente: não use uma "voz de rádio" nem exagere na pronúncia, a menos que você queira que o avatar soe como um locutor. Leia o roteiro como se estivesse conversando com um amigo.
Limite o ruído de fundo: reduza o ruído de fundo o máximo possível: desligue ventiladores, desligue aparelhos de ar-condicionado e feche as janelas abertas.
Sorria levemente: sorrir durante a gravação tende a adicionar calor à gravação, e esse calor é adicionado à voz replicada.
Scripts recomendados para voz personalizada
Recomendamos que você use um dos seguintes scripts para gravar vozes personalizadas:
Padrão fonético, melhor para qualidade geral: "When the sunlight strikes raindrops in the air, they act like a prism and form a rainbow. O arco-íris é uma divisão da luz branca em várias cores bonitas. Eles têm a forma de um arco longo e redondo."
Narrador, ideal para capturar emoções e alcance dinâmico: "Não pude acreditar no que vi quando abri o livro antigo e empoeirado. Uma pequena chave dourada caiu no chão de madeira. 'De onde isso veio?' Sussurrei para mim mesma, sentindo uma emoção repentina. Tudo estava prestes a mudar."
Definir a voz personalizada
Configure a voz personalizada no payload setup inicial que você envia pela
conexão WebSocket:
import base64 import json import websockets # Load custom voice audio (PCM s16le, e.g., 24kHz) with open("/path/to/your/audio_sample.wav", "rb") as f: wav_b64 = base64.b64encode(f.read()).decode("utf-8") # Setup generation config with custom voice GENERATION_CONFIG = { "response_modalities": ["AUDIO"], "speech_config": { "voice_config": { "replicated_voice_config": { "voice_sample_audio": "VOICE_SAMPLE", "mime_type": "VOICE_MIME_TYPEaudio/pcm;rate=24000", } } }, } # Session setup message SETUP_MESSAGE = { "setup": { "model": "gemini-3.8-live", "generation_config": GENERATION_CONFIG, "system_instruction": { "parts": [{"text": "Your system instruction here"}] }, "input_audio_transcription": {}, "output_audio_transcription": {}, } }
Substitua:
VOICE_SAMPLE: uma string de áudio PCM codificada em base64 (amostra de 10 a 20 segundos).
VOICE_MIME_TYPE: tipo MIME para áudio PCM, por exemplo,
"audio/pcm;rate=24000".
É possível combinar uma voz personalizada com um avatar predefinido ou personalizado. Para mais informações, consulte Configurar avatares em tempo real.
Configurar a detecção de atividade de voz
A detecção de atividade de voz (VAD, na sigla em inglês) permite que o modelo reconheça quando uma pessoa está falando. Isso é essencial para criar conversas naturais, porque permite que o usuário interrompa o modelo a qualquer momento.
Quando a VAD detecta uma interrupção, a geração em andamento é cancelada e
descartada. Somente as informações já enviadas ao cliente são retidas no
histórico da sessão. Em seguida, o servidor envia uma mensagem BidiGenerateContentServerContent
para informar a interrupção. Em seguida, o servidor descarta todas as chamadas de função pendentes e envia uma mensagem BidiGenerateContentServerContent com os IDs das chamadas canceladas.
Python
config = { "response_modalities": ["audio"], "realtime_input_config": { "automatic_activity_detection": { "disabled": False, # default "start_of_speech_sensitivity": "low", "end_of_speech_sensitivity": "low", "prefix_padding_ms": 20, "silence_duration_ms": 100, } } }
A seguir
- Iniciar e gerenciar sessões ao vivo
- Enviar streams de áudio e vídeo
- Configurar os recursos do Gemini
- Práticas recomendadas com a API Gemini Live