Ringkasan Gemini Live API

Gemini Live API memungkinkan interaksi suara dan video real-time dengan latensi rendah bersama Gemini. Fitur ini memproses streaming audio, video, atau teks yang berkelanjutan untuk memberikan respons lisan yang langsung dan menyerupai manusia. Hal ini menciptakan pengalaman percakapan yang alami bagi pengguna Anda. Avatar live menambahkan opsi untuk berinteraksi dengan ikon mirip manusia yang disinkronkan dengan respons ucapan, sehingga memberikan pengalaman yang lebih baik dan lebih personal bagi pengguna.

Coba Gemini Live API di Agent Studio

Contoh kasus penggunaan

Gemini Live API dapat digunakan untuk membangun agen suara dan video real-time untuk berbagai industri, termasuk:

  • Duta perusahaan bermerek: Perwakilan merek interaktif yang di-deploy di properti web perusahaan atau aplikasi seluler, yang dibuat dari kemiripan karyawan yang berwenang atau talenta berbayar dengan rilis perusahaan yang telah dilaksanakan.

  • E-commerce dan retail: Asisten belanja yang menawarkan rekomendasi yang dipersonalisasi dan agen dukungan yang menyelesaikan masalah pelanggan.

  • Game: Karakter non-pemain (NPC) interaktif, asisten bantuan dalam game, dan terjemahan real-time konten dalam game.

  • Antarmuka generasi berikutnya: Pengalaman yang mendukung suara dan video dalam robotika, kacamata pintar, dan kendaraan.

  • Layanan kesehatan: Panduan navigasi yang membantu logistik fasilitas dan perawatan.

  • Jasa keuangan: Agen percakapan yang mengelola permintaan perbankan sehari-hari.

  • Pendidikan: Mentor dan pendamping belajar AI yang memberikan instruksi dan masukan yang dipersonalisasi.

Fitur utama

Gemini Live API menawarkan serangkaian fitur komprehensif untuk membangun agen suara dan video yang andal:

  • Kualitas audio tinggi: Gemini Live API menyediakan ucapan yang alami dan terdengar realistis dalam berbagai bahasa.

  • Dukungan multibahasa: Berbicara dalam 24 bahasa yang didukung.

  • Penyelaan: Pengguna dapat menyela model kapan saja untuk interaksi responsif.

  • Dialog afektif: Menyesuaikan gaya dan nada respons agar sesuai dengan ekspresi input pengguna.

  • Penggunaan alat: Mengintegrasikan alat seperti pemanggilan fungsi dan Google Penelusuran untuk interaksi dinamis.

  • Transkripsi audio: Memberikan transkrip teks dari input pengguna dan output model. Untuk transkripsi sebagai tujuan akhir, bukan sebagai saluran sampingan percakapan, lihat Gemini 3.5 Transcribe.

  • Audio proaktif: Memungkinkan Anda mengontrol kapan model merespons dan dalam konteks apa.

Spesifikasi teknis

Tabel berikut menguraikan spesifikasi teknis untuk Gemini Live API:

Kategori Detail
Modalitas input Audio (audio PCM 16-bit mentah, 16 kHz, little-endian), gambar/video (JPEG 1 FPS), teks
Modalitas output Audio (audio PCM 16-bit mentah, 24 kHz, little-endian), teks
Video (avatar live) Video (mp4)
Protokol Koneksi WebSocket stateful (WSS)

Model yang didukung

Model berikut mendukung Gemini Live API. Pilih model yang sesuai berdasarkan persyaratan interaksi Anda.

ID Model Ketersediaan Kasus penggunaan Fitur utama
gemini-3.8-live Tersedia secara umum Direkomendasikan. Agen suara berlatensi rendah. Mendukung peralihan multibahasa yang lancar.
  • Audio native
  • Transkripsi audio
  • Deteksi aktivitas suara
  • Dialog afektif
  • Audio proaktif
  • Penggunaan alat
  • Avatar live
gemini-live-2.5-flash-native-audio Tersedia secara umum Direkomendasikan. Agen suara berlatensi rendah. Mendukung peralihan multibahasa dan nuansa emosional yang lancar.
  • Audio native
  • Transkripsi audio
  • Deteksi aktivitas suara
  • Dialog afektif
  • Audio proaktif
  • Penggunaan alat
gemini-3.5-transcribe-live-preview Pratinjau Hanya speech-to-text. Teks real-time, dikte, dan transkripsi panggilan. Menampilkan teks, bukan audio, sehingga tidak dapat melakukan percakapan.
  • Transkrip sementara dan akhir
  • Deteksi bahasa otomatis dengan peralihan kode
  • Stempel waktu tingkat ucapan
  • Penyesuaian kosakata kustom

Mulai

Pilih panduan yang sesuai dengan lingkungan pengembangan Anda:

Direkomendasikan untuk kemudahan penggunaan

Terhubung ke Gemini Live API menggunakan Gen AI SDK untuk membangun aplikasi multimodal real-time dengan backend Python.

Kontrol protokol mentah

Terhubung ke Gemini Live API menggunakan WebSockets untuk membangun aplikasi multimodal real-time dengan frontend JavaScript dan backend Python.

Agent Development Kit

Buat agen dan gunakan Streaming Agent Development Kit (ADK) untuk mengaktifkan komunikasi suara dan video.

Integrasi partner

Jika Anda ingin berintegrasi dengan beberapa partner kami, platform ini telah mengintegrasikan Gemini Live API melalui protokol WebRTC untuk menyederhanakan pengembangan aplikasi audio dan video real-time.

Arsitektur referensi LiveKit & ADK

Untuk asisten suara tingkat produksi lanjutan yang memerlukan orkestrasi sesi, perutean, dan delegasi multi-agen yang canggih, Anda dapat membuat integrasi dua arah latensi rendah menggunakan LiveKit (WebRTC) dengan Gemini Live API melalui Agent Development Kit (ADK).

Arsitektur ini memungkinkan Anda men-deploy agen Pengelola yang menangani interaksi awal pelanggan dan secara dinamis merutekan permintaan ke sub-agen khusus (misalnya, mendelegasikan konteks ke agen Pemesanan Penerbangan atau Pemesanan Hotel menggunakan orkestrasi transferAgent).

Untuk menjelajahi dan men-deploy desain referensi ini, lihat implementasi codebase referensi resmi di GitHub.