Gemini 3.8 Live adalah model percakapan real-time yang dibuat untuk interaksi suara dan video dua arah dengan latensi rendah serta sintesis Live Avatar tatap muka. Didesain untuk alur kerja percakapan berkelanjutan, 3.8 Live menyediakan dialog afektif yang diaktifkan secara default, pemfilteran audio proaktif, alat pemblokiran pembatalan otomatis, dan peralihan multibahasa yang dinamis.
Dokumen ini membahas topik berikut:
- Posisi 3.8 Live dalam rangkaian model Gemini.
- Kemampuan utama di 3.8 Live.
- Integrasi dengan Google Gen AI SDK.
- Aturan dan konvensi API yang diperlukan.
- Migrasi dari model Gemini Live API sebelumnya.
Peran dalam rangkaian Gemini
3.8 Live dirancang untuk interaksi streaming real-time. API ini beroperasi di seluruh WebSocket dua arah, memproses ucapan, feed kamera live, dan siaran layar dengan latensi di bawah satu detik sambil menghasilkan audio 24 kHz dan avatar video 24 FPS yang disinkronkan.
Spesifikasi dan perbandingan model
Tabel berikut membandingkan spesifikasi antara model Gemini Live API 3.8 Live dan yang lebih lama:
| Atribut | Gemini 3.8 Live | Audio Native Live API Gemini 2.5 Flash (standar GA) |
|---|---|---|
| ID Model | gemini-3.8-live |
gemini-live-2.5-flash-native-audio |
| Tahap peluncuran | Ketersediaan Umum (GA) | Ketersediaan Umum (GA) |
| Modalitas input | Audio (PCM 16 kHz), video (JPEG 1 FPS), teks | Audio (PCM 16 kHz), video (JPEG 1 FPS), teks |
| Modalitas output | Audio (PCM 24 kHz), video (Live Avatar MP4 24 FPS), teks | Audio (PCM 24 kHz), teks |
| Sintesis Avatar Live | Output video yang disinkronkan 24 FPS | Tidak didukung |
| Dialog afektif | Diaktifkan secara default | Memerlukan konfigurasi eksplisit |
| Audio proaktif | Diaktifkan secara default | Memerlukan konfigurasi eksplisit |
| Eksekusi panggilan fungsi | Pemblokiran asinkron yang tidak memblokir dan pembatalan otomatis (behavior="BLOCKING") |
Asinkron dan sinkron |
| Penanganan interupsi | Penurunan kualitas penundaan respons percakapan (menunggu saat pengguna berbicara) | Interupsi langsung (dapat tumpang-tindih dengan audio pengguna) |
| Dukungan bahasa | Peralihan dinamis di tengah streaming di berbagai bahasa yang didukung | Bahasa yang didukung |
| Pembiasan domain | Mendukung custom_vocabulary di AudioTranscriptionConfig |
Transkripsi dasar pengukuran standar |
| Kontrol token visual | media_resolution yang dapat dikonfigurasi (LOW, MEDIUM, HIGH) |
Anggaran token tetap per frame |
Kapan harus menggunakan Gemini 3.8 Live
Gunakan 3.8 Live dalam skenario berikut:
- Anda memerlukan latensi percakapan yang rendah, giliran bicara yang alami, dan pemulihan yang cepat saat pengguna menyela (barge-in).
- Aplikasi Anda memanggil alat eksternal dan memerlukan eksekusi non-pemblokiran agar output audio berlanjut saat sistem backend memproses permintaan.
- Anda ingin merender avatar digital yang berbicara dengan animasi wajah dan lip-sync yang disinkronkan pada 24 FPS tanpa pipeline rendering eksternal.
- Pengguna Anda berkomunikasi dalam berbagai bahasa, sehingga memerlukan deteksi bahasa di tengah percakapan dan peralihan antarbahasa yang didukung.
- Anda memerlukan pembiasan kosakata khusus domain untuk terminologi teknis, SKU, atau nama merek.
Untuk mengetahui spesifikasi lengkap dan batas kuota, lihat halaman model 3.8 Live.
Kemampuan utama di Gemini 3.8 Live
3.8 Live memperkenalkan kemampuan berikut:
Sintesis video Live Avatar 24 FPS: 3.8 Live menghasilkan streaming video MP4 24 FPS yang disinkronkan (
response_modalities=["VIDEO"]) langsung dari output model. Ekspresi wajah dan gerakan bibir yang dihasilkan selaras dengan ucapan yang disintesis secara real time.Anda dapat menggunakan avatar stok bawaan atau menyediakan gambar referensi kustom untuk membangun concierge digital, agen layanan pelanggan, tutor virtual, atau karakter interaktif. Untuk mengetahui detail penyiapan, lihat Mengonfigurasi live avatar.
Dialog afektif dan audio proaktif yang diaktifkan secara default:
- Dialog afektif: Diaktifkan secara default di 3.8 Live. Model ini memproses prosodi akustik, isyarat vokal, jeda, dan infleksi ucapan dalam input audio pengguna untuk menyesuaikan nada vokal dan kecepatan percakapan.
- Audio proaktif: Diaktifkan secara default di 3.8 Live. Model ini memfilter suara bising di sekitar dan ucapan latar belakang, sehingga hanya menghasilkan respons audio saat ditujukan oleh pengguna.
Pemanggilan fungsi pemblokiran asinkron dan pembatalan otomatis: 3.8 Live menyediakan perilaku panggilan alat yang dirancang untuk percakapan real-time:
- Eksekusi asinkron non-pemblokiran: Saat model menghasilkan panggilan alat, sesi audio tetap aktif sehingga agen dapat melakukan streaming konfirmasi percakapan ("Izinkan saya menampilkan detail akun Anda...") dan menangani input lanjutan saat aplikasi klien Anda memanggil API backend.
- Panggilan pemblokiran pembatalan otomatis (
behavior="BLOCKING"): Saat deklarasi fungsi menetapkanbehavior="BLOCKING", pembuatan akan dijeda hingga respons alat tiba. Jika input pengguna baru masuk saat panggilan pemblokiran berjalan, server Gemini Live API akan membatalkan panggilan yang tertunda. - Penanganan penundaan respons percakapan: Pada model sebelumnya, menampilkan respons alat dengan
scheduling="INTERRUPT"saat pengguna berbicara akan tumpang-tindih dengan audio pengguna. Di Live 3.8, server menurunkan jadwal keWHEN_IDLEsaat ucapan pengguna aktif dan memutar respons setelah pengguna selesai berbicara.
Peralihan multibahasa dinamis dan kosakata kustom:
- Dukungan multibahasa: Mendeteksi dan beralih di antara bahasa yang didukung di tengah sesi tanpa memulai ulang atau mengonfigurasi ulang koneksi.
- Pembiasan kosakata kustom: Menerima kata kunci khusus domain, kata benda, istilah medis, dan kode produk dalam
AudioTranscriptionConfig(melaluiinput_audio_transcription) menggunakancustom_vocabularyuntuk meningkatkan akurasi transkripsi.
Grounding visual multimodal dengan kontrol
media_resolution: Menerima streaming video real-time (frame JPEG 1 FPS, resolusi yang direkomendasikan768x768) dan memungkinkan Anda mengonfigurasimedia_resolution(MEDIA_RESOLUTION_LOW,MEDIA_RESOLUTION_MEDIUM,MEDIA_RESOLUTION_HIGH) untuk menyeimbangkan penggunaan token per frame dan detail visual.
Panduan Memulai
Sebelum memulai, lakukan autentikasi ke Google Cloud menggunakan Kredensial Default Aplikasi (ADC).
Dalam contoh kode berikut, ganti PROJECT_ID dengan
project ID Google Cloud Anda.
Menginstal SDK
Instal atau update Google Gen AI SDK dan dependensi audio:
pip install --upgrade google-genai websockets numpy
Memulai sesi dua arah dengan panggilan alat asinkron
Contoh berikut membuat sesi real-time dengan
gemini-3.8-live, memilih suara
bawaan (Aoede),
mengonfigurasi bias kosakata kustom, dan menjalankan panggilan fungsi asinkron
non-pemblokiran:
import asyncio
from google import genai
from google.genai import types
PROJECT_ID = "PROJECT_ID"
LOCATION = "us-central1"
MODEL_ID = "gemini-3.8-live"
# Initialize the Gen AI client for enterprise.
client = genai.Client(enterprise=True, project=PROJECT_ID, location=LOCATION)
# Define a tool for asynchronous execution.
order_lookup_tool = types.FunctionDeclaration(
name="lookup_order_status",
description="Fetches real-time shipping status for a customer order ID.",
parameters=types.Schema(
type="OBJECT",
properties={
"order_id": types.Schema(
type="STRING",
description="The order ID, for example, ORD-8472",
),
},
required=["order_id"],
),
)
# Configure the live connection.
config = types.LiveConnectConfig(
response_modalities=["AUDIO"],
system_instruction=types.Content(
parts=[
types.Part.from_text(
text=(
"You are an enterprise concierge. When you call a tool, "
"briefly acknowledge the request and tell the user what you're doing. "
"If a tool returns no results, inform the user before trying again. "
"Never issue more than two consecutive tool calls without speaking."
)
)
]
),
speech_config=types.SpeechConfig(
voice_config=types.VoiceConfig(
prebuilt_voice_config=types.PrebuiltVoiceConfig(voice_name="Aoede")
),
),
input_audio_transcription=types.AudioTranscriptionConfig(
custom_vocabulary=["ORD-8472", "Gemini Live", "Express Shipping"]
),
output_audio_transcription=types.AudioTranscriptionConfig(),
tools=[types.Tool(function_declarations=[order_lookup_tool])],
)
async def handle_tool_call(session, function_call):
"""Executes backend calls asynchronously without blocking incoming audio."""
order_id = function_call.args.get("order_id", "")
await asyncio.sleep(2.0) # Simulate backend API latency.
if not order_id.startswith("ORD-"):
result = {
"status": "invalid_argument",
"retryable": False,
"message": f"Order ID '{order_id}' is invalid. Ask the user to verify.",
}
else:
result = {
"status": "ok",
"retryable": False,
"order_id": order_id,
"shipping_status": "Out for delivery by 4:00 PM",
}
# Send tool response matching the call ID.
await session.send_tool_response(
function_responses=[
types.FunctionResponse(
id=function_call.id,
name=function_call.name,
response=result,
)
]
)
async def main():
async with client.aio.live.connect(model=MODEL_ID, config=config) as session:
print(f"Connected to {MODEL_ID}")
# Send initial text or stream 16 kHz PCM audio chunks.
await session.send_realtime_input(
text="Hi! Can you check the status of order ORD-8472?"
)
async for message in session.receive():
# Handle asynchronous tool calls.
if message.tool_call:
for call in message.tool_call.function_calls:
asyncio.create_task(handle_tool_call(session, call))
# Process audio output chunks and transcriptions.
if message.server_content:
if (
message.server_content.output_transcription
and message.server_content.output_transcription.text
):
print(
f"Agent: {message.server_content.output_transcription.text}",
end="",
flush=True,
)
if __name__ == "__main__":
asyncio.run(main())
Aturan dan konvensi API yang diperlukan
Saat membangun dengan 3.8 Live, ikuti konvensi API berikut:
- Respons fungsi yang informatif: Jangan tampilkan kamus kosong (
{}) atauNonedari pengendali alat. Saat alat menampilkan error atau payload kosong, 3.8 Live mungkin akan menghasilkan panggilan fungsi berulang dengan argumen yang dimodifikasi, kecuali jika responsnya menyertakan kolom status. Tampilkan kolom terstruktur dalam setiap respons alat:status: String status yang dapat dibaca mesin, seperti"ok","no_results", atau"invalid_argument".retryable: Tetapkan kefalsesaat mengulangi panggilan akan menampilkan hasil yang sama.messageatauguidance: Teks yang menentukan status yang akan dilaporkan kepada pengguna.
- Batas percobaan ulang alat tingkat perintah: Sertakan batas percobaan ulang dalam
system_instructionAnda. Misalnya: "Jika panggilan alat tidak menampilkan hasil, beri tahu pengguna, bukan menelusuri berulang kali dengan variasi parameter. Jangan pernah menjalankan lebih dari dua panggilan alat berturut-turut tanpa berbicara dengan pengguna." - Pencocokan
FunctionResponseketat:- Setiap giliran
FunctionResponseharus memberikanidyang sama persis dariFunctionCallsebelumnya. - Teruskan objek respons langsung di
FunctionResponse.response.
- Setiap giliran
- Format audio streaming:
- Audio input: PCM mono 16 kHz, 16-bit, little-endian (
audio/pcm;rate=16000), di-streaming dalam potongan berdurasi 20 md hingga 100 md. - Audio output: PCM mono 24 kHz.
- Audio input: PCM mono 16 kHz, 16-bit, little-endian (
- Parameter lama dihapus: Jangan teruskan
enable_affective_dialogatauproactivitydalam konfigurasi Anda; fitur ini diaktifkan secara default di 3.8 Live. - Menyisipkan histori percakapan: Jika Anda menyisipkan histori multi-turn menggunakan
send_client_content, tunggu hingga aplikasi klien menerima frame serversetup_completedan konfigurasikanHistoryConfig(initial_history_in_client_content=True).
Bermigrasi ke Gemini 3.8 Live
Untuk informasi selengkapnya tentang bermigrasi dari
gemini-live-2.5-flash-native-audio ke
gemini-3.8-live, lihat Bermigrasi dari
Audio Native Gemini 2.5 Flash Live API ke
Gemini 3.8 Live.
Checklist developer
Verifikasi item berikut sebelum men-deploy aplikasi Anda:
Referensi lainnya
Untuk informasi selengkapnya, lihat referensi berikut:
- Halaman model Gemini 3.8 Live
- Mengonfigurasi bahasa dan suara
- Mengonfigurasi avatar live
- Praktik terbaik dengan Gemini Live API
- Bermigrasi dari Audio Native Gemini 2.5 Flash Live API ke Gemini 3.8 Live
- Tutorial Python Gemini Live API
- Notebook Pengantar Live Avatar
- Kemampuan Layanan Gemini Live API