Gemini 3.5 Live Translate

Gemini 3.5 Live Translate supporta la traduzione vocale in tempo reale a bassa latenza tra oltre 70 lingue utilizzando il modello gemini-3.5-live-translate-preview, disponibile tramite Gemini Enterprise Agent Platform. Configurando l'API Gemini Live con le impostazioni di traduzione, puoi trasmettere l'audio in streaming in una lingua e ricevere l'output audio tradotto in un'altra lingua, consentendo una traduzione vocale in tempo reale senza interruzioni.

Per iniziare, visualizza il notebook introduttivo per Gemini 3.5 Live Translate

Traduzione del live streaming

L'API BidiGenerateContent (Live) mantiene una connessione WebSocket permanente e bidirezionale. Puoi trasmettere in streaming blocchi di audio non elaborato alla sessione e ricevere blocchi di audio tradotto e trascrizioni facoltative in tempo reale.

import asyncio
from google import genai
from google.genai import types

# Initialize the client
client = genai.Client(enterprise=True, project=PROJECT_ID, location=LOCATION)

model = "gemini-3.5-live-translate-preview"
config = types.LiveConnectConfig(
    response_modalities=["AUDIO"],
    input_audio_transcription=types.AudioTranscriptionConfig(),
    output_audio_transcription=types.AudioTranscriptionConfig(),
    translation_config=types.TranslationConfig(
        target_language_code="pl",
        echo_target_language=True,
    ),
)

async def streaming_translation(audio_stream_generator):
    async with client.aio.live.connect(model=model, config=config) as session:
        # In a complete implementation, stream audio chunks concurrently:
        # async for chunk in audio_stream_generator:
        #     await session.send_realtime_input(
        #         audio=types.Blob(data=chunk, mime_type="audio/pcm;rate=16000")
        #     )

        async for response in session.receive():
            if response.server_content:
                server_content = response.server_content

                if server_content.input_transcription:
                    print(f"Input transcript: {server_content.input_transcription.text}")

                if server_content.output_transcription:
                    print(f"Output transcript: {server_content.output_transcription.text}")

                if server_content.model_turn:
                    for part in server_content.model_turn.parts:
                        if part.inline_data:
                            translated_audio_chunk = part.inline_data.data
                            # Process or stream translated audio (24kHz PCM)
                            print(f"Received translated audio: {len(translated_audio_chunk)} bytes")

Specifiche per l'audio

Trasmetti l'audio in streaming come PCM lineare a 16 bit, little-endian, non elaborato:

  • Formato di input: PCM lineare a 16 bit a 16 kHz (mono, little-endian).

  • Formato di output: PCM lineare a 16 bit a 24 kHz (mono, little-endian).

  • Dimensioni dei blocchi di streaming: per un equilibrio ottimale tra velocità effettiva e latenza, sono consigliati blocchi di 100 ms di durata.

# Streaming an audio chunk to an active session
await session.send_realtime_input(
    audio=types.Blob(
        data=pcm_bytes,
        mime_type="audio/pcm;rate=16000",
    )
)

Configurazione

La funzionalità Traduzione Istantanea viene configurata collegando un TranslationConfig al tuo LiveConnectConfig.

Parametri di configurazione

  • target_language_code (string): il codice lingua BCP-47 per la lingua di output desiderata (ad esempio "pl", "es", "ja"). Il valore predefinito è "en".
  • echo_target_language (booleano): controlla il comportamento quando l'input vocale è già nella lingua di destinazione:
    • True: il modello riproduce e ripete il parlato di input nello stream di output.
    • False: il modello rimane in silenzio quando l'input corrisponde alla lingua di destinazione. Il valore predefinito è False.
  • input_audio_transcription (AudioTranscriptionConfig): facoltativo. Abilita la trascrizione del testo sincronizzata per l'audio di origine in entrata.
  • output_audio_transcription (AudioTranscriptionConfig): facoltativo. Abilita la trascrizione del testo sincronizzata per l'audio tradotto in uscita.

Istruzioni di sistema

Puoi utilizzare il campo system_instruction (systemInstruction nei messaggi di configurazione WebSocket non elaborati) durante la configurazione della sessione iniziale per guidare il modo in cui il modello traduce il parlato. Utilizza le istruzioni di sistema per specificare:

  • Vocabolario e glossari del dominio: definisci il modo in cui i termini specializzati, gli acronimi o i nomi propri devono essere tradotti o conservati senza traduzione.
  • Formalità e registro: specifica il tono, la forma dei pronomi o l'impostazione del pubblico di destinazione (ad esempio, utilizzando un indirizzo formale singolare o plurale in una presentazione).
  • Contesto di chi parla e di chi ascolta: fornisci il contesto dell'ambientazione e dei partecipanti in modo che il modello preservi l'indirizzo diretto in modo accurato.
config = types.LiveConnectConfig(
    response_modalities=["AUDIO"],
    system_instruction=(
        "You are translating a live conference presentation into Spanish. "
        "Use formal Spanish (usted/ustedes). Always translate 'deployment pipeline' "
        "as 'canalización de despliegue' and keep product names like 'Cloud Run' untranslated."
    ),
    translation_config=types.TranslationConfig(
        target_language_code="es",
    ),
)

Limitazioni

  • Modalità di input: per la traduzione è supportato solo l'input audio. L'inserimento di testo non è supportato.
  • Istruzioni di sistema: le istruzioni di sistema possono essere impostate solo nel setupmessaggio iniziale. L'aggiornamento delle istruzioni di sistema a metà sessione (anche tramite messaggi di testo clientContent o realtimeInput) non è supportato. Avvia una nuova sessione per modificare le istruzioni. Sono supportate solo le istruzioni che guidano il comportamento della traduzione e corrispondono a target_language_code. Le istruzioni che sono in conflitto con target_language_code, alterano la formattazione dell'output o richiedono attività non di traduzione non sono supportate e potrebbero essere ignorate o peggiorare l'output della traduzione.
  • Replica vocale: la replica vocale può essere incoerente. Le voci potrebbero cambiare dopo lunghe pause, assegnare il genere sbagliato in base all'inizio del discorso o bloccarsi su una voce durante conversazioni rapide con più interlocutori.
  • Rilevamento della lingua: il rilevamento della lingua ha difficoltà con accenti marcati, lingue simili (ad esempio spagnolo e portoghese) o cambi di lingua rapidi.
    • Nota: questo influisce solo sulla trascrizione dell'input; i codici lingua e la traduzione finale rimangono accurati.
  • Audio di sottofondo: il modello è progettato per filtrare il rumore e la musica per produrre un parlato pulito, ma non tutto l'audio di sottofondo potrebbe essere ignorato.
  • Ripeti nella lingua di destinazione: quando echo_target_language è impostato su True (echoTargetLanguage: true), il rumore di fondo o la musica potrebbero introdurre artefatti nell'audio tradotto quando l'audio di input è già nella lingua di destinazione.

Supporto dei linguaggi

Le seguenti lingue e i seguenti codici lingua BCP-47 sono supportati per Gemini 3.5 Live Translate:

Lingua Codice BCP-47 Lingua Codice BCP-47
Afrikaans af Kazako kk
Akan ak Khmer km
Albanese sq Kinyarwanda rw
Amarico am Coreano ko
Arabo ar Lao lo
Armeno hy Lettone lv
Azero az Lituano lt
Basco eu Macedone mk
Bielorusso be Malese ms
Bengalese bn Malayalam ml
Bulgaro bg Marathi mr
Birmano (Myanmar) my Mongolo mn
Catalano ca Nepalese ne
Cinese (semplificato) zh-Hans Norvegese no, nb
Cinese (tradizionale) zh-Hant Persiano fa
Croato hr Polacco pl
Ceco cs Portoghese (Brasile) pt-BR
Danese da Portoghese (Portogallo) pt-PT
Olandese nl Punjabi pa
Inglese en Romeno ro
Estone et Russo ru
Filippino fil Serbo sr
Finlandese fi Sindhi sd
Francese fr Singalese si
Galiziano gl Slovacco sk
Georgiano ka Sloveno sl
Tedesco de Spagnolo es
Greco el Sundanese su
Gujarati gu Swahili sw
Hausa ha Svedese sv
Ebraico he Tamil ta
Hindi hi Telugu te
Ungherese hu Tailandese th
Islandese is Turco tr
Indonesiano id Ucraino uk
Italiano it Urdu ur
Giapponese ja Uzbeko uz
Giavanese jv Vietnamita vi
Kannada kn Zulu zu

Operatore vs Traduzione Istantanea

Sebbene entrambi utilizzino l'API Gemini Live, il modello mentale per Traduzione Istantanea è diverso dalle interazioni con l'agente conversazionale in tempo reale:

Operatore Traduzione Istantanea
Agisce come un assistente: ascolta, ragiona e agisce per tuo conto. Agisce come interprete: si comporta come una pipeline di traduzione in tempo reale.
Interazioni basate su turni: si basano su pause, rilevamento degli intent e gestione delle interruzioni. Elaborazione continua dei flussi: traduce mentre l'oratore parla senza attendere i turni.
Supporta strumenti e agenti: supporto nativo per chiamate di funzione, grounding e istruzioni generali. Supporta solo la traduzione: ottimizzato per la traduzione a bassa latenza; supporta le istruzioni di sistema per guidare la traduzione, senza supporto di strumenti.
Input multimodale: supporta input di testo, audio, video e immagini. Input solo audio: l'input è limitato all'audio per mantenere soglie di latenza in tempo reale rigorose.
Configurazione granulare: configura la generazione, il parlato, gli strumenti e le istruzioni di sistema. Configurazione semplificata: configura target_language_code, echo_target_language e system_instruction facoltativo.

Best practice

  • Mantieni un campionamento coerente: assicurati che l'input audio rispetti rigorosamente il formato PCM mono a 16 kHz per evitare variazioni di tono e artefatti audio.

  • Gestisci gli ambienti acustici: sebbene il modello filtri il rumore ambientale moderato, un forte rumore di fondo o la sovrapposizione di più persone che parlano possono introdurre ambiguità nella traduzione.

  • Valuta la modalità eco per caso d'uso: imposta echo_target_language=False per le configurazioni di interprete unidirezionali per sopprimere la ritrasmissione non necessaria quando gli speaker utilizzano già la lingua di destinazione.

Prezzi

ID modello ['gemini-3.5-live-translate-preview']
Modalità
Testo Solo output
Immagine Non supportata
Audio Input e output
Video Non supportato
Funzionalità
Strumenti
API
Opzioni di consumo
Aree geografiche supportate

Disponibilità dei modelli

  • Globale: global
Versioni
  • gemini-3.5-live-translate-preview
    • Fase di lancio: anteprima
    • Data di uscita: agosto 2026