Gemini 3.5 Live Translate supporta la traduzione vocale in tempo reale a bassa latenza tra oltre 70 lingue utilizzando il modello gemini-3.5-live-translate-preview, disponibile tramite Gemini Enterprise Agent Platform. Configurando l'API Gemini Live con le impostazioni di traduzione, puoi trasmettere l'audio in streaming in una lingua e ricevere l'output audio tradotto in un'altra lingua, consentendo una traduzione vocale in tempo reale senza interruzioni.
Per iniziare, visualizza il notebook introduttivo per Gemini 3.5 Live Translate
Traduzione del live streaming
L'API BidiGenerateContent (Live) mantiene una connessione WebSocket permanente e bidirezionale. Puoi trasmettere in streaming blocchi di audio non elaborato alla sessione e ricevere blocchi di audio tradotto e trascrizioni facoltative in tempo reale.
import asyncio
from google import genai
from google.genai import types
# Initialize the client
client = genai.Client(enterprise=True, project=PROJECT_ID, location=LOCATION)
model = "gemini-3.5-live-translate-preview"
config = types.LiveConnectConfig(
response_modalities=["AUDIO"],
input_audio_transcription=types.AudioTranscriptionConfig(),
output_audio_transcription=types.AudioTranscriptionConfig(),
translation_config=types.TranslationConfig(
target_language_code="pl",
echo_target_language=True,
),
)
async def streaming_translation(audio_stream_generator):
async with client.aio.live.connect(model=model, config=config) as session:
# In a complete implementation, stream audio chunks concurrently:
# async for chunk in audio_stream_generator:
# await session.send_realtime_input(
# audio=types.Blob(data=chunk, mime_type="audio/pcm;rate=16000")
# )
async for response in session.receive():
if response.server_content:
server_content = response.server_content
if server_content.input_transcription:
print(f"Input transcript: {server_content.input_transcription.text}")
if server_content.output_transcription:
print(f"Output transcript: {server_content.output_transcription.text}")
if server_content.model_turn:
for part in server_content.model_turn.parts:
if part.inline_data:
translated_audio_chunk = part.inline_data.data
# Process or stream translated audio (24kHz PCM)
print(f"Received translated audio: {len(translated_audio_chunk)} bytes")
Specifiche per l'audio
Trasmetti l'audio in streaming come PCM lineare a 16 bit, little-endian, non elaborato:
Formato di input: PCM lineare a 16 bit a 16 kHz (mono, little-endian).
Formato di output: PCM lineare a 16 bit a 24 kHz (mono, little-endian).
Dimensioni dei blocchi di streaming: per un equilibrio ottimale tra velocità effettiva e latenza, sono consigliati blocchi di 100 ms di durata.
# Streaming an audio chunk to an active session
await session.send_realtime_input(
audio=types.Blob(
data=pcm_bytes,
mime_type="audio/pcm;rate=16000",
)
)
Configurazione
La funzionalità Traduzione Istantanea viene configurata collegando un TranslationConfig al tuo LiveConnectConfig.
Parametri di configurazione
target_language_code(string): il codice lingua BCP-47 per la lingua di output desiderata (ad esempio"pl","es","ja"). Il valore predefinito è"en".echo_target_language(booleano): controlla il comportamento quando l'input vocale è già nella lingua di destinazione:True: il modello riproduce e ripete il parlato di input nello stream di output.False: il modello rimane in silenzio quando l'input corrisponde alla lingua di destinazione. Il valore predefinito èFalse.
input_audio_transcription(AudioTranscriptionConfig): facoltativo. Abilita la trascrizione del testo sincronizzata per l'audio di origine in entrata.output_audio_transcription(AudioTranscriptionConfig): facoltativo. Abilita la trascrizione del testo sincronizzata per l'audio tradotto in uscita.
Istruzioni di sistema
Puoi utilizzare il campo system_instruction (systemInstruction nei messaggi di configurazione WebSocket non elaborati) durante la configurazione della sessione iniziale per guidare il modo in cui il modello traduce il parlato. Utilizza le istruzioni di sistema per specificare:
- Vocabolario e glossari del dominio: definisci il modo in cui i termini specializzati, gli acronimi o i nomi propri devono essere tradotti o conservati senza traduzione.
- Formalità e registro: specifica il tono, la forma dei pronomi o l'impostazione del pubblico di destinazione (ad esempio, utilizzando un indirizzo formale singolare o plurale in una presentazione).
- Contesto di chi parla e di chi ascolta: fornisci il contesto dell'ambientazione e dei partecipanti in modo che il modello preservi l'indirizzo diretto in modo accurato.
config = types.LiveConnectConfig(
response_modalities=["AUDIO"],
system_instruction=(
"You are translating a live conference presentation into Spanish. "
"Use formal Spanish (usted/ustedes). Always translate 'deployment pipeline' "
"as 'canalización de despliegue' and keep product names like 'Cloud Run' untranslated."
),
translation_config=types.TranslationConfig(
target_language_code="es",
),
)
Limitazioni
- Modalità di input: per la traduzione è supportato solo l'input audio. L'inserimento di testo non è supportato.
- Istruzioni di sistema: le istruzioni di sistema possono essere impostate solo nel
setupmessaggio iniziale. L'aggiornamento delle istruzioni di sistema a metà sessione (anche tramite messaggi di testoclientContentorealtimeInput) non è supportato. Avvia una nuova sessione per modificare le istruzioni. Sono supportate solo le istruzioni che guidano il comportamento della traduzione e corrispondono atarget_language_code. Le istruzioni che sono in conflitto contarget_language_code, alterano la formattazione dell'output o richiedono attività non di traduzione non sono supportate e potrebbero essere ignorate o peggiorare l'output della traduzione. - Replica vocale: la replica vocale può essere incoerente. Le voci potrebbero cambiare dopo lunghe pause, assegnare il genere sbagliato in base all'inizio del discorso o bloccarsi su una voce durante conversazioni rapide con più interlocutori.
- Rilevamento della lingua: il rilevamento della lingua ha difficoltà con accenti marcati, lingue simili (ad esempio spagnolo e portoghese) o cambi di lingua rapidi.
- Nota: questo influisce solo sulla trascrizione dell'input; i codici lingua e la traduzione finale rimangono accurati.
- Audio di sottofondo: il modello è progettato per filtrare il rumore e la musica per produrre un parlato pulito, ma non tutto l'audio di sottofondo potrebbe essere ignorato.
- Ripeti nella lingua di destinazione: quando
echo_target_languageè impostato suTrue(echoTargetLanguage: true), il rumore di fondo o la musica potrebbero introdurre artefatti nell'audio tradotto quando l'audio di input è già nella lingua di destinazione.
Supporto dei linguaggi
Le seguenti lingue e i seguenti codici lingua BCP-47 sono supportati per Gemini 3.5 Live Translate:
| Lingua | Codice BCP-47 | Lingua | Codice BCP-47 |
|---|---|---|---|
| Afrikaans | af |
Kazako | kk |
| Akan | ak |
Khmer | km |
| Albanese | sq |
Kinyarwanda | rw |
| Amarico | am |
Coreano | ko |
| Arabo | ar |
Lao | lo |
| Armeno | hy |
Lettone | lv |
| Azero | az |
Lituano | lt |
| Basco | eu |
Macedone | mk |
| Bielorusso | be |
Malese | ms |
| Bengalese | bn |
Malayalam | ml |
| Bulgaro | bg |
Marathi | mr |
| Birmano (Myanmar) | my |
Mongolo | mn |
| Catalano | ca |
Nepalese | ne |
| Cinese (semplificato) | zh-Hans |
Norvegese | no, nb |
| Cinese (tradizionale) | zh-Hant |
Persiano | fa |
| Croato | hr |
Polacco | pl |
| Ceco | cs |
Portoghese (Brasile) | pt-BR |
| Danese | da |
Portoghese (Portogallo) | pt-PT |
| Olandese | nl |
Punjabi | pa |
| Inglese | en |
Romeno | ro |
| Estone | et |
Russo | ru |
| Filippino | fil |
Serbo | sr |
| Finlandese | fi |
Sindhi | sd |
| Francese | fr |
Singalese | si |
| Galiziano | gl |
Slovacco | sk |
| Georgiano | ka |
Sloveno | sl |
| Tedesco | de |
Spagnolo | es |
| Greco | el |
Sundanese | su |
| Gujarati | gu |
Swahili | sw |
| Hausa | ha |
Svedese | sv |
| Ebraico | he |
Tamil | ta |
| Hindi | hi |
Telugu | te |
| Ungherese | hu |
Tailandese | th |
| Islandese | is |
Turco | tr |
| Indonesiano | id |
Ucraino | uk |
| Italiano | it |
Urdu | ur |
| Giapponese | ja |
Uzbeko | uz |
| Giavanese | jv |
Vietnamita | vi |
| Kannada | kn |
Zulu | zu |
Operatore vs Traduzione Istantanea
Sebbene entrambi utilizzino l'API Gemini Live, il modello mentale per Traduzione Istantanea è diverso dalle interazioni con l'agente conversazionale in tempo reale:
| Operatore | Traduzione Istantanea |
|---|---|
| Agisce come un assistente: ascolta, ragiona e agisce per tuo conto. | Agisce come interprete: si comporta come una pipeline di traduzione in tempo reale. |
| Interazioni basate su turni: si basano su pause, rilevamento degli intent e gestione delle interruzioni. | Elaborazione continua dei flussi: traduce mentre l'oratore parla senza attendere i turni. |
| Supporta strumenti e agenti: supporto nativo per chiamate di funzione, grounding e istruzioni generali. | Supporta solo la traduzione: ottimizzato per la traduzione a bassa latenza; supporta le istruzioni di sistema per guidare la traduzione, senza supporto di strumenti. |
| Input multimodale: supporta input di testo, audio, video e immagini. | Input solo audio: l'input è limitato all'audio per mantenere soglie di latenza in tempo reale rigorose. |
| Configurazione granulare: configura la generazione, il parlato, gli strumenti e le istruzioni di sistema. | Configurazione semplificata: configura target_language_code, echo_target_language e system_instruction facoltativo. |
Best practice
Mantieni un campionamento coerente: assicurati che l'input audio rispetti rigorosamente il formato PCM mono a 16 kHz per evitare variazioni di tono e artefatti audio.
Gestisci gli ambienti acustici: sebbene il modello filtri il rumore ambientale moderato, un forte rumore di fondo o la sovrapposizione di più persone che parlano possono introdurre ambiguità nella traduzione.
Valuta la modalità eco per caso d'uso: imposta
echo_target_language=Falseper le configurazioni di interprete unidirezionali per sopprimere la ritrasmissione non necessaria quando gli speaker utilizzano già la lingua di destinazione.
| ID modello | ['gemini-3.5-live-translate-preview'] |
|
|---|---|---|
| Modalità |
|
|
| Funzionalità |
|
|
| Strumenti |
|
|
| API |
|
|
| Opzioni di consumo |
|
|
| Aree geografiche supportate |
|
|
| Versioni |
|
|