Gemini 3.5 Live-Übersetzung unterstützt die Echtzeit-Sprach-zu-Sprach-Übersetzung mit geringer Latenz zwischen mehr als 70 Sprachen. Dabei wird das gemini-3.5-live-translate-preview-Modell verwendet, das über die Gemini Enterprise Agent Platform verfügbar ist. Wenn Sie die Gemini Live API mit Übersetzungseinstellungen konfigurieren, können Sie Audio in einer Sprache streamen und übersetzte Audioausgabe in einer anderen Sprache erhalten. So ist nahtloses Dolmetschen in Echtzeit möglich.
Sehen Sie sich zuerst das Einführungs-Notebook für Gemini 3.5 Live-Übersetzung an.
Übersetzung von Livestreams
Die BidiGenerateContent (Live) API unterhält eine persistente, bidirektionale WebSocket-Verbindung. Sie streamen Rohaudioblöcke an die Sitzung und erhalten in Echtzeit übersetzte Audioblöcke und optionale Transkripte.
import asyncio
from google import genai
from google.genai import types
# Initialize the client
client = genai.Client(enterprise=True, project=PROJECT_ID, location=LOCATION)
model = "gemini-3.5-live-translate-preview"
config = types.LiveConnectConfig(
response_modalities=["AUDIO"],
input_audio_transcription=types.AudioTranscriptionConfig(),
output_audio_transcription=types.AudioTranscriptionConfig(),
translation_config=types.TranslationConfig(
target_language_code="pl",
echo_target_language=True,
),
)
async def streaming_translation(audio_stream_generator):
async with client.aio.live.connect(model=model, config=config) as session:
# In a complete implementation, stream audio chunks concurrently:
# async for chunk in audio_stream_generator:
# await session.send_realtime_input(
# audio=types.Blob(data=chunk, mime_type="audio/pcm;rate=16000")
# )
async for response in session.receive():
if response.server_content:
server_content = response.server_content
if server_content.input_transcription:
print(f"Input transcript: {server_content.input_transcription.text}")
if server_content.output_transcription:
print(f"Output transcript: {server_content.output_transcription.text}")
if server_content.model_turn:
for part in server_content.model_turn.parts:
if part.inline_data:
translated_audio_chunk = part.inline_data.data
# Process or stream translated audio (24kHz PCM)
print(f"Received translated audio: {len(translated_audio_chunk)} bytes")
Audiospezifikationen
Audio als rohe, Little-Endian, 16-Bit-lineare PCM streamen:
Eingabeformat: Lineare 16-Bit-PCM mit 16 kHz (Mono, Little Endian).
Ausgabeformat: 16-Bit-lineare PCM mit 24 kHz (Mono, Little Endian).
Größe der Streaming-Blöcke: Blöcke mit einer Dauer von 100 ms werden für ein optimales Gleichgewicht zwischen Durchsatz und Latenz empfohlen.
# Streaming an audio chunk to an active session
await session.send_realtime_input(
audio=types.Blob(
data=pcm_bytes,
mime_type="audio/pcm;rate=16000",
)
)
Konfiguration
Die Live-Übersetzung wird konfiguriert, indem Sie einen TranslationConfig an Ihren LiveConnectConfig anhängen.
Konfigurationsparameter
target_language_code(String): Der BCP-47-Sprachcode für die gewünschte Ausgabesprache (z. B."pl","es","ja"). Standardmäßig"en".echo_target_language(boolesch): Steuert das Verhalten, wenn die gesprochene Eingabe bereits in der Zielsprache ist:True: Das Modell reproduziert und wiederholt die Eingabesprache im Ausgabestream.False: Das Modell bleibt stumm, wenn die Eingabe mit der Zielsprache übereinstimmt. Die Standardeinstellung istFalse.
input_audio_transcription(AudioTranscriptionConfig): Optional. Aktiviert die synchronisierte Texttranskription für die eingehenden Quellaudiodaten.output_audio_transcription(AudioTranscriptionConfig): Optional. Aktiviert die synchronisierte Texttranskription für die ausgehenden übersetzten Audiodaten.
Systemanweisungen
Sie können das Feld system_instruction (systemInstruction in WebSocket-Rohdaten-Einrichtungsnachrichten) während der Ersteinrichtung der Sitzung verwenden, um festzulegen, wie das Modell Sprache übersetzt. Mit Systemanweisungen können Sie Folgendes festlegen:
- Fachspezifisches Vokabular und Glossare: Legen Sie fest, wie Fachbegriffe, Akronyme oder Eigennamen übersetzt oder unübersetzt bleiben sollen.
- Form und Stil: Geben Sie den gewünschten Ton, die Pronomenform oder die Zielgruppeneinstellung an (z. B. formelle Anrede im Singular oder Plural in einer Präsentation).
- Kontext zu Sprecher und Adressat: Geben Sie Kontext zum Setting und zu den Teilnehmern an, damit das Modell die direkte Ansprache korrekt beibehält.
config = types.LiveConnectConfig(
response_modalities=["AUDIO"],
system_instruction=(
"You are translating a live conference presentation into Spanish. "
"Use formal Spanish (usted/ustedes). Always translate 'deployment pipeline' "
"as 'canalización de despliegue' and keep product names like 'Cloud Run' untranslated."
),
translation_config=types.TranslationConfig(
target_language_code="es",
),
)
Beschränkungen
- Eingabemodalitäten: Für die Übersetzung wird nur die Audioeingabe unterstützt. Texteingabe wird nicht unterstützt.
- Systemanweisungen: Systemanweisungen können nur in der ersten
setup-Nachricht festgelegt werden. Das Aktualisieren von Systemanweisungen während einer Sitzung (auch überclientContent- oderrealtimeInput-Nachrichten) wird nicht unterstützt. Starten Sie eine neue Sitzung, um die Anweisungen zu ändern. Es werden nur Anweisungen unterstützt, die das Übersetzungsverhalten steuern und mittarget_language_codeübereinstimmen. Anweisungen, die im Widerspruch zutarget_language_codestehen, die Ausgabeformatierung ändern oder Aufgaben anfordern, die keine Übersetzungen sind, werden nicht unterstützt und können ignoriert werden oder die Übersetzungsausgabe beeinträchtigen. - Stimmen-Replikation: Die Stimmen-Replikation kann inkonsistent sein. Nach langen Pausen kann es zu einem Wechsel der Stimme kommen, es kann ein falsches Geschlecht zugewiesen werden, je nachdem, wie die Sprache beginnt, oder es kann bei schnellen Unterhaltungen mit mehreren Sprechern zu einem Hängenbleiben bei einer Stimme kommen.
- Spracherkennung: Die Spracherkennung hat Probleme mit starken Akzenten, ähnlichen Sprachen (z. B. Spanisch und Portugiesisch) oder schnellen Sprachwechseln.
- Hinweis: Dies wirkt sich nur auf das Eingabetranskript aus. Die Sprachcodes und die endgültige Übersetzung bleiben korrekt.
- Hintergrundaudio: Das Modell ist so konzipiert, dass Geräusche und Musik herausgefiltert werden, um eine klare Sprache zu erzeugen. Es kann jedoch sein, dass nicht alle Hintergrundgeräusche ignoriert werden.
- Echo-Zielsprache: Wenn
echo_target_languageaufTrue(echoTargetLanguage: true) gesetzt ist, können Hintergrundgeräusche oder Musik Artefakte in die übersetzte Audioausgabe einfügen, wenn die Audioeingabe bereits in der Zielsprache vorliegt.
Sprachunterstützung
Die folgenden Sprachen und BCP-47-Sprachcodes werden für Gemini 3.5 Live-Übersetzung unterstützt:
| Sprache | BCP-47-Code | Sprache | BCP-47-Code |
|---|---|---|---|
| Afrikaans | af |
Kasachisch | kk |
| Akan | ak |
Khmer | km |
| Albanisch | sq |
Kinyarwanda | rw |
| Amharisch | am |
Koreanisch | ko |
| Arabisch | ar |
Lao | lo |
| Armenisch | hy |
Lettisch | lv |
| Aserbaidschanisch | az |
Litauisch | lt |
| Baskisch | eu |
Mazedonisch | mk |
| Belarussisch | be |
Malaiisch | ms |
| Bengalisch | bn |
Malayalam | ml |
| Bulgarisch | bg |
Marathi | mr |
| Burmesisch (Myanmar) | my |
Mongolisch | mn |
| Katalanisch | ca |
Nepalesisch | ne |
| Chinesisch (vereinfacht) | zh-Hans |
Norwegisch | no, nb |
| Chinesisch (traditionell) | zh-Hant |
Persisch | fa |
| Kroatisch | hr |
Polnisch | pl |
| Tschechisch | cs |
Portugiesisch (Brasilien) | pt-BR |
| Dänisch | da |
Portugiesisch (Portugal) | pt-PT |
| Niederländisch | nl |
Punjabi | pa |
| Englisch | en |
Rumänisch | ro |
| Estnisch | et |
Russisch | ru |
| Filipino | fil |
Serbisch | sr |
| Finnisch | fi |
Sindhi | sd |
| Französisch | fr |
Singhalesisch | si |
| Galizisch | gl |
Slowakisch | sk |
| Georgisch | ka |
Slowenisch | sl |
| Deutsch | de |
Spanisch | es |
| Griechisch | el |
Sundanesisch | su |
| Gujarati | gu |
Suaheli | sw |
| Hausa | ha |
Schwedisch | sv |
| Hebräisch | he |
Tamil | ta |
| Hindi | hi |
Telugu | te |
| Ungarisch | hu |
Thailändisch | th |
| Isländisch | is |
Türkisch | tr |
| Indonesisch | id |
Ukrainisch | uk |
| Italienisch | it |
Urdu | ur |
| Japanisch | ja |
Usbekisch | uz |
| Javanisch | jv |
Vietnamesisch | vi |
| Kannada | kn |
Zulu | zu |
Live-Kundenservicemitarbeiter im Vergleich zur Live-Übersetzung
Obwohl beide die Gemini Live API verwenden, unterscheidet sich das mentale Modell für die Live-Übersetzung von dem für die Interaktion mit Echtzeit-Konversations-Agents:
| Live-Kundenservicemitarbeiter | Live-Übersetzung |
|---|---|
| Als Assistent fungieren: Gemini kann zuhören, logisch denken und in Ihrem Namen handeln. | Fungiert als Dolmetscher: Verhält sich wie eine Echtzeit-Übersetzerpipeline. |
| Rundenbasierte Interaktionen: Beruhen auf Pausen, Intent-Erkennung und Unterbrechungsbehandlung. | Kontinuierliche Streamverarbeitung: Übersetzt, während der Sprecher spricht, ohne auf Gesprächswechsel zu warten. |
| Unterstützt Tools und Agents: Native Unterstützung für Funktionsaufrufe, Fundierung und allgemeine Anweisungen. | Unterstützt nur Übersetzungen: Optimiert für Übersetzungen mit niedriger Latenz. Unterstützt Systemanweisungen zur Steuerung der Übersetzung, ohne Tool-Unterstützung. |
| Multimodale Eingabe: Unterstützt Text-, Audio-, Video- und Bildeingaben. | Nur Audioeingabe: Die Eingabe ist auf Audio beschränkt, um strenge Latenzschwellenwerte in Echtzeit einzuhalten. |
| Detaillierte Konfiguration: Konfiguriert Generierung, Sprache, Tools und Systemanweisungen. | Vereinfachte Konfiguration: Konfiguriert target_language_code, echo_target_language und optional system_instruction. |
Best Practices
Konsistente Abtastung beibehalten: Achten Sie darauf, dass die Audioeingabe strikt dem 16-kHz-Mono-PCM-Format entspricht, um Tonhöhenverschiebungen und Audioartefakte zu vermeiden.
Umgang mit akustischen Umgebungen: Das Modell filtert mäßige Umgebungsgeräusche, aber starke Hintergrundgeräusche oder sich überschneidende Sprecher können zu Unklarheiten bei der Übersetzung führen.
Echomodus pro Anwendungsfall bewerten: Legen Sie
echo_target_language=Falsefür einseitige Dolmetscher-Setups fest, um unnötige Wiederholungen zu unterdrücken, wenn die Sprecher bereits die Zielsprache verwenden.
| Modell-ID | ['gemini-3.5-live-translate-preview'] |
|
|---|---|---|
| Betriebsarten |
|
|
| Leistungsspektrum |
|
|
| Tools |
|
|
| APIs |
|
|
| Nutzungsoptionen |
|
|
| Unterstützte Regionen |
|
|
| Versionen |
|
|