Gemini 3.5 Live-Übersetzung

Gemini 3.5 Live-Übersetzung unterstützt die Echtzeit-Sprach-zu-Sprach-Übersetzung mit geringer Latenz zwischen mehr als 70 Sprachen. Dabei wird das gemini-3.5-live-translate-preview-Modell verwendet, das über die Gemini Enterprise Agent Platform verfügbar ist. Wenn Sie die Gemini Live API mit Übersetzungseinstellungen konfigurieren, können Sie Audio in einer Sprache streamen und übersetzte Audioausgabe in einer anderen Sprache erhalten. So ist nahtloses Dolmetschen in Echtzeit möglich.

Sehen Sie sich zuerst das Einführungs-Notebook für Gemini 3.5 Live-Übersetzung an.

Übersetzung von Livestreams

Die BidiGenerateContent (Live) API unterhält eine persistente, bidirektionale WebSocket-Verbindung. Sie streamen Rohaudioblöcke an die Sitzung und erhalten in Echtzeit übersetzte Audioblöcke und optionale Transkripte.

import asyncio
from google import genai
from google.genai import types

# Initialize the client
client = genai.Client(enterprise=True, project=PROJECT_ID, location=LOCATION)

model = "gemini-3.5-live-translate-preview"
config = types.LiveConnectConfig(
    response_modalities=["AUDIO"],
    input_audio_transcription=types.AudioTranscriptionConfig(),
    output_audio_transcription=types.AudioTranscriptionConfig(),
    translation_config=types.TranslationConfig(
        target_language_code="pl",
        echo_target_language=True,
    ),
)

async def streaming_translation(audio_stream_generator):
    async with client.aio.live.connect(model=model, config=config) as session:
        # In a complete implementation, stream audio chunks concurrently:
        # async for chunk in audio_stream_generator:
        #     await session.send_realtime_input(
        #         audio=types.Blob(data=chunk, mime_type="audio/pcm;rate=16000")
        #     )

        async for response in session.receive():
            if response.server_content:
                server_content = response.server_content

                if server_content.input_transcription:
                    print(f"Input transcript: {server_content.input_transcription.text}")

                if server_content.output_transcription:
                    print(f"Output transcript: {server_content.output_transcription.text}")

                if server_content.model_turn:
                    for part in server_content.model_turn.parts:
                        if part.inline_data:
                            translated_audio_chunk = part.inline_data.data
                            # Process or stream translated audio (24kHz PCM)
                            print(f"Received translated audio: {len(translated_audio_chunk)} bytes")

Audiospezifikationen

Audio als rohe, Little-Endian, 16-Bit-lineare PCM streamen:

  • Eingabeformat: Lineare 16-Bit-PCM mit 16 kHz (Mono, Little Endian).

  • Ausgabeformat: 16-Bit-lineare PCM mit 24 kHz (Mono, Little Endian).

  • Größe der Streaming-Blöcke: Blöcke mit einer Dauer von 100 ms werden für ein optimales Gleichgewicht zwischen Durchsatz und Latenz empfohlen.

# Streaming an audio chunk to an active session
await session.send_realtime_input(
    audio=types.Blob(
        data=pcm_bytes,
        mime_type="audio/pcm;rate=16000",
    )
)

Konfiguration

Die Live-Übersetzung wird konfiguriert, indem Sie einen TranslationConfig an Ihren LiveConnectConfig anhängen.

Konfigurationsparameter

  • target_language_code (String): Der BCP-47-Sprachcode für die gewünschte Ausgabesprache (z. B. "pl", "es", "ja"). Standardmäßig "en".
  • echo_target_language (boolesch): Steuert das Verhalten, wenn die gesprochene Eingabe bereits in der Zielsprache ist:
    • True: Das Modell reproduziert und wiederholt die Eingabesprache im Ausgabestream.
    • False: Das Modell bleibt stumm, wenn die Eingabe mit der Zielsprache übereinstimmt. Die Standardeinstellung ist False.
  • input_audio_transcription (AudioTranscriptionConfig): Optional. Aktiviert die synchronisierte Texttranskription für die eingehenden Quellaudiodaten.
  • output_audio_transcription (AudioTranscriptionConfig): Optional. Aktiviert die synchronisierte Texttranskription für die ausgehenden übersetzten Audiodaten.

Systemanweisungen

Sie können das Feld system_instruction (systemInstruction in WebSocket-Rohdaten-Einrichtungsnachrichten) während der Ersteinrichtung der Sitzung verwenden, um festzulegen, wie das Modell Sprache übersetzt. Mit Systemanweisungen können Sie Folgendes festlegen:

  • Fachspezifisches Vokabular und Glossare: Legen Sie fest, wie Fachbegriffe, Akronyme oder Eigennamen übersetzt oder unübersetzt bleiben sollen.
  • Form und Stil: Geben Sie den gewünschten Ton, die Pronomenform oder die Zielgruppeneinstellung an (z. B. formelle Anrede im Singular oder Plural in einer Präsentation).
  • Kontext zu Sprecher und Adressat: Geben Sie Kontext zum Setting und zu den Teilnehmern an, damit das Modell die direkte Ansprache korrekt beibehält.
config = types.LiveConnectConfig(
    response_modalities=["AUDIO"],
    system_instruction=(
        "You are translating a live conference presentation into Spanish. "
        "Use formal Spanish (usted/ustedes). Always translate 'deployment pipeline' "
        "as 'canalización de despliegue' and keep product names like 'Cloud Run' untranslated."
    ),
    translation_config=types.TranslationConfig(
        target_language_code="es",
    ),
)

Beschränkungen

  • Eingabemodalitäten: Für die Übersetzung wird nur die Audioeingabe unterstützt. Texteingabe wird nicht unterstützt.
  • Systemanweisungen: Systemanweisungen können nur in der ersten setup-Nachricht festgelegt werden. Das Aktualisieren von Systemanweisungen während einer Sitzung (auch über clientContent- oder realtimeInput-Nachrichten) wird nicht unterstützt. Starten Sie eine neue Sitzung, um die Anweisungen zu ändern. Es werden nur Anweisungen unterstützt, die das Übersetzungsverhalten steuern und mit target_language_code übereinstimmen. Anweisungen, die im Widerspruch zu target_language_code stehen, die Ausgabeformatierung ändern oder Aufgaben anfordern, die keine Übersetzungen sind, werden nicht unterstützt und können ignoriert werden oder die Übersetzungsausgabe beeinträchtigen.
  • Stimmen-Replikation: Die Stimmen-Replikation kann inkonsistent sein. Nach langen Pausen kann es zu einem Wechsel der Stimme kommen, es kann ein falsches Geschlecht zugewiesen werden, je nachdem, wie die Sprache beginnt, oder es kann bei schnellen Unterhaltungen mit mehreren Sprechern zu einem Hängenbleiben bei einer Stimme kommen.
  • Spracherkennung: Die Spracherkennung hat Probleme mit starken Akzenten, ähnlichen Sprachen (z. B. Spanisch und Portugiesisch) oder schnellen Sprachwechseln.
    • Hinweis: Dies wirkt sich nur auf das Eingabetranskript aus. Die Sprachcodes und die endgültige Übersetzung bleiben korrekt.
  • Hintergrundaudio: Das Modell ist so konzipiert, dass Geräusche und Musik herausgefiltert werden, um eine klare Sprache zu erzeugen. Es kann jedoch sein, dass nicht alle Hintergrundgeräusche ignoriert werden.
  • Echo-Zielsprache: Wenn echo_target_language auf True (echoTargetLanguage: true) gesetzt ist, können Hintergrundgeräusche oder Musik Artefakte in die übersetzte Audioausgabe einfügen, wenn die Audioeingabe bereits in der Zielsprache vorliegt.

Sprachunterstützung

Die folgenden Sprachen und BCP-47-Sprachcodes werden für Gemini 3.5 Live-Übersetzung unterstützt:

Sprache BCP-47-Code Sprache BCP-47-Code
Afrikaans af Kasachisch kk
Akan ak Khmer km
Albanisch sq Kinyarwanda rw
Amharisch am Koreanisch ko
Arabisch ar Lao lo
Armenisch hy Lettisch lv
Aserbaidschanisch az Litauisch lt
Baskisch eu Mazedonisch mk
Belarussisch be Malaiisch ms
Bengalisch bn Malayalam ml
Bulgarisch bg Marathi mr
Burmesisch (Myanmar) my Mongolisch mn
Katalanisch ca Nepalesisch ne
Chinesisch (vereinfacht) zh-Hans Norwegisch no, nb
Chinesisch (traditionell) zh-Hant Persisch fa
Kroatisch hr Polnisch pl
Tschechisch cs Portugiesisch (Brasilien) pt-BR
Dänisch da Portugiesisch (Portugal) pt-PT
Niederländisch nl Punjabi pa
Englisch en Rumänisch ro
Estnisch et Russisch ru
Filipino fil Serbisch sr
Finnisch fi Sindhi sd
Französisch fr Singhalesisch si
Galizisch gl Slowakisch sk
Georgisch ka Slowenisch sl
Deutsch de Spanisch es
Griechisch el Sundanesisch su
Gujarati gu Suaheli sw
Hausa ha Schwedisch sv
Hebräisch he Tamil ta
Hindi hi Telugu te
Ungarisch hu Thailändisch th
Isländisch is Türkisch tr
Indonesisch id Ukrainisch uk
Italienisch it Urdu ur
Japanisch ja Usbekisch uz
Javanisch jv Vietnamesisch vi
Kannada kn Zulu zu

Live-Kundenservicemitarbeiter im Vergleich zur Live-Übersetzung

Obwohl beide die Gemini Live API verwenden, unterscheidet sich das mentale Modell für die Live-Übersetzung von dem für die Interaktion mit Echtzeit-Konversations-Agents:

Live-Kundenservicemitarbeiter Live-Übersetzung
Als Assistent fungieren: Gemini kann zuhören, logisch denken und in Ihrem Namen handeln. Fungiert als Dolmetscher: Verhält sich wie eine Echtzeit-Übersetzerpipeline.
Rundenbasierte Interaktionen: Beruhen auf Pausen, Intent-Erkennung und Unterbrechungsbehandlung. Kontinuierliche Streamverarbeitung: Übersetzt, während der Sprecher spricht, ohne auf Gesprächswechsel zu warten.
Unterstützt Tools und Agents: Native Unterstützung für Funktionsaufrufe, Fundierung und allgemeine Anweisungen. Unterstützt nur Übersetzungen: Optimiert für Übersetzungen mit niedriger Latenz. Unterstützt Systemanweisungen zur Steuerung der Übersetzung, ohne Tool-Unterstützung.
Multimodale Eingabe: Unterstützt Text-, Audio-, Video- und Bildeingaben. Nur Audioeingabe: Die Eingabe ist auf Audio beschränkt, um strenge Latenzschwellenwerte in Echtzeit einzuhalten.
Detaillierte Konfiguration: Konfiguriert Generierung, Sprache, Tools und Systemanweisungen. Vereinfachte Konfiguration: Konfiguriert target_language_code, echo_target_language und optional system_instruction.

Best Practices

  • Konsistente Abtastung beibehalten: Achten Sie darauf, dass die Audioeingabe strikt dem 16-kHz-Mono-PCM-Format entspricht, um Tonhöhenverschiebungen und Audioartefakte zu vermeiden.

  • Umgang mit akustischen Umgebungen: Das Modell filtert mäßige Umgebungsgeräusche, aber starke Hintergrundgeräusche oder sich überschneidende Sprecher können zu Unklarheiten bei der Übersetzung führen.

  • Echomodus pro Anwendungsfall bewerten: Legen Sie echo_target_language=False für einseitige Dolmetscher-Setups fest, um unnötige Wiederholungen zu unterdrücken, wenn die Sprecher bereits die Zielsprache verwenden.

Preise

Modell-ID ['gemini-3.5-live-translate-preview']
Betriebsarten
Text Nur Ausgabe
Bild Nicht unterstützt
Audio Eingabe und Ausgabe
Video Nicht unterstützt
Leistungsspektrum
Tools
APIs
Nutzungsoptionen
Unterstützte Regionen

Modellverfügbarkeit

  • Global: global
Versionen
  • gemini-3.5-live-translate-preview
    • Einführungsphase: Vorabversion
    • Veröffentlichungsdatum: August 2026