Configurar idioma e voz

Este documento descreve como configurar respostas de fala sintetizada e detecção de atividade de voz na API Gemini Live. É possível configurar respostas em uma variedade de vozes e idiomas em alta definição, além de definir as configurações de detecção de atividade de voz para permitir que os usuários interrompam o modelo.

Definir o idioma e a voz

Os modelos de áudio Live, como o gemini-3.8-live, podem alternar entre idiomas naturalmente durante a conversa. Também é possível restringir os idiomas que ele fala especificando-os nas instruções do sistema.

A voz é configurada no campo voice_name para todos os modelos.

O exemplo de código a seguir mostra como configurar o idioma e a voz.

from google.genai.types import LiveConnectConfig, SpeechConfig, VoiceConfig, PrebuiltVoiceConfig

config = LiveConnectConfig(
  response_modalities=["AUDIO"],
  speech_config=SpeechConfig(
    voice_config=VoiceConfig(
        prebuilt_voice_config=PrebuiltVoiceConfig(
            voice_name=voice_name,
        )
    ),
    language_code="en-US",
  ),
)

Tom e sotaque da voz do guia

Você pode orientar o tom e o sotaque da voz usando instruções do sistema, e a resposta da API Gemini Live vai responder com a voz que você instruiu. Por exemplo, "Inglês com uma voz positiva e alegre com sotaque francês".

Vozes compatíveis

A API Gemini Live oferece suporte às seguintes 30 opções de voz no campo voice_name:

Zephyr: brilhante
Kore: firme
Orus: firme
Autonoe: brilhante
Umbriel: tranquila
Erinome: clara
Laomedeia: animada
Schedar: equilibrada
Achird: amigável
Sadachbia: alegre
Puck: animada
Fenrir: entusiasmada
Aoede: descontraída
Enceladus: suave
Algieba: tranquila
Algenib: rouca
Achernar: calma
Gacrux: madura
Zubenelgenubi: casual
Sadaltager: intelectual
Charon: informativa
Leda: jovem
Callirrhoe: descontraída
Iapetus: clara
Despina: suave
Rasalgethi: informativa
Alnilam: firme
Pulcherrima: direta
Vindemiatrix: gentil
Sulafat: calorosa

Linguagens compatíveis

Todos os modelos da API Gemini Live são compatíveis com os seguintes idiomas:

Idioma Código BCP-47
Árabe (egípcio) ar-EG
Bengali (Bangladesh) bn-BD
Holandês (Holanda) nl-NL
Inglês (Índia) Pacote en-IN e hi-IN
Inglês (EUA) en-US
Francês (França) fr-FR
Alemão (Alemanha) de-DE
Híndi (Índia) hi-IN
Indonésio (Indonésia) id-ID
Italiano (Itália) it-IT
Japonês (Japão) ja-JP
Coreano (Coreia) ko-KR
Marati (Índia) mr-IN
Polonês (Polônia) pl-PL
Português (Brasil) pt-BR
Romeno (Romênia) ro-RO
Russo (Rússia) ru-RU
Espanhol (EUA) es-US
Tâmil (Índia) ta-IN
Telugu (Índia) te-IN
Tailandês (Tailândia) th-TH
Turco (Turquia) tr-TR
Ucraniano (Ucrânia) uk-UA
Vietnamita (Vietnã) vi-VN

Outros idiomas disponíveis no Gemini 3.8 Live

Além dos idiomas anteriores, o Gemini 3.8 Live (gemini-3.8-live) é compatível com os seguintes idiomas:

Idioma Código BCP-47
Africâner af
Albanês sq
Amárico am
Armênio hy
Azerbaijano az
Basco eu
Bielo-russo be
Búlgaro bg
Birmanês my
Catalão ca
Cebuano ceb
Chinês, mandarim cmn
Croata hr
Tcheco cs
Dinamarquês da
Estoniano et
Filipino fil
Finlandês fi
Galego gl
Georgiano ka
Grego el
Guzerate gu
Creole haitiano ht
Hebraico he
Húngaro hu
Islandês é
Javanês jv
Canarês kn
Concani kok
Laosiano lo
Latim la
Letão lv
Lituano lt
Luxemburguês lb
Macedônio mk
Maithili mai
Malgaxe mg
Malaio ms
Malaiala ml
Mongol mn
Nepalês ne
Bokmål norueguês nb
Norueguês (Nynorsk) nn
Oriá ou
Pashto ps
Persa fa
Punjabi pa
Sérvio sr
Sindi sd
Cingalês si
Eslovaco sk
Esloveno sl
Suaíli sw
Sueco sv
Urdu ur

Usar uma voz personalizada

Em vez de uma voz predefinida, você pode fornecer uma gravação curta de uma voz que a API Gemini Live replica em respostas de fala sintetizada. As vozes personalizadas são configuradas por sessão no campo replicated_voice_config de voice_config. Não é preciso fazer upload ou treinar nada com antecedência.

Requisitos para amostras de voz

A amostra de voz precisa atender às seguintes especificações:

  • Formato de áudio: áudio PCM s16le com taxa de amostragem variável, por exemplo, audio/pcm;rate=24000

  • Duração: de 10 a 20 segundos.

Gravar uma voz personalizada

Ao gravar a amostra de voz, recomendamos as seguintes dicas para garantir a melhor qualidade de voz:

  1. Fale naturalmente: não use uma "voz de rádio" nem exagere na pronúncia, a menos que você queira que o avatar soe como um locutor. Leia o roteiro como se estivesse conversando com um amigo.

  2. Limite o ruído de fundo: reduza o ruído de fundo o máximo possível: desligue ventiladores, desligue aparelhos de ar-condicionado e feche as janelas abertas.

  3. Sorria levemente: sorrir durante a gravação tende a adicionar calor à gravação, e esse calor é adicionado à voz replicada.

Recomendamos que você use um dos seguintes scripts para gravar vozes personalizadas:

  • Padrão fonético, melhor para qualidade geral: "When the sunlight strikes raindrops in the air, they act like a prism and form a rainbow. O arco-íris é uma divisão da luz branca em várias cores bonitas. Eles têm a forma de um arco longo e redondo."

  • Narrador, ideal para capturar emoções e alcance dinâmico: "Não pude acreditar no que vi quando abri o livro antigo e empoeirado. Uma pequena chave dourada caiu no chão de madeira. 'De onde isso veio?' Sussurrei para mim mesma, sentindo uma emoção repentina. Tudo estava prestes a mudar."

Definir a voz personalizada

Configure a voz personalizada no payload setup inicial que você envia pela conexão WebSocket:

import base64
import json
import websockets

# Load custom voice audio (PCM s16le, e.g., 24kHz)
with open("/path/to/your/audio_sample.wav", "rb") as f:
    wav_b64 = base64.b64encode(f.read()).decode("utf-8")

# Setup generation config with custom voice
GENERATION_CONFIG = {
    "response_modalities": ["AUDIO"],
    "speech_config": {
        "voice_config": {
            "replicated_voice_config": {
                "voice_sample_audio": "VOICE_SAMPLE",
                "mime_type": "VOICE_MIME_TYPEaudio/pcm;rate=24000",
            }
        }
    },
}

# Session setup message
SETUP_MESSAGE = {
    "setup": {
        "model": "gemini-3.8-live",
        "generation_config": GENERATION_CONFIG,
        "system_instruction": {
            "parts": [{"text": "Your system instruction here"}]
        },
        "input_audio_transcription": {},
        "output_audio_transcription": {},
    }
}

Substitua:

  • VOICE_SAMPLE: uma string de áudio PCM codificada em base64 (amostra de 10 a 20 segundos).

  • VOICE_MIME_TYPE: tipo MIME para áudio PCM, por exemplo, "audio/pcm;rate=24000".

É possível combinar uma voz personalizada com um avatar predefinido ou personalizado. Para mais informações, consulte Configurar avatares em tempo real.

Configurar a detecção de atividade de voz

A detecção de atividade de voz (VAD, na sigla em inglês) permite que o modelo reconheça quando uma pessoa está falando. Isso é essencial para criar conversas naturais, porque permite que o usuário interrompa o modelo a qualquer momento.

Quando a VAD detecta uma interrupção, a geração em andamento é cancelada e descartada. Somente as informações já enviadas ao cliente são retidas no histórico da sessão. Em seguida, o servidor envia uma mensagem BidiGenerateContentServerContent para informar a interrupção. Em seguida, o servidor descarta todas as chamadas de função pendentes e envia uma mensagem BidiGenerateContentServerContent com os IDs das chamadas canceladas.

Python

config = {
    "response_modalities": ["audio"],
    "realtime_input_config": {
        "automatic_activity_detection": {
            "disabled": False, # default
            "start_of_speech_sensitivity": "low",
            "end_of_speech_sensitivity": "low",
            "prefix_padding_ms": 20,
            "silence_duration_ms": 100,
        }
    }
}
      

A seguir