Ringkasan Gemini Live API

Gemini Live API memungkinkan interaksi suara dan video real-time berlatensi rendah dengan Gemini. Fitur ini memproses streaming audio, video, atau teks yang berkelanjutan untuk memberikan respons lisan yang cepat dan mirip manusia. Hal ini menciptakan pengalaman percakapan yang alami bagi pengguna Anda. Live avatar menambahkan opsi untuk berinteraksi dengan ikon mirip manusia yang disinkronkan dengan respons ucapan, sehingga memberikan pengalaman yang lebih baik dan personal kepada pengguna.

Mencoba Gemini Live API di Agent Studio

Contoh kasus penggunaan

Gemini Live API dapat digunakan untuk membangun agen suara dan video real-time untuk berbagai industri, termasuk:

  • Duta perusahaan bermerek: Perwakilan merek interaktif yang di-deploy di properti web atau aplikasi seluler perusahaan, yang dihasilkan dari kemiripan karyawan yang sah atau talent berbayar dengan rilis perusahaan yang telah dieksekusi.

  • E-commerce dan retail: Asisten belanja yang menawarkan rekomendasi yang dipersonalisasi dan agen dukungan yang menyelesaikan masalah pelanggan.

  • Game: Karakter non-pemain (NPC) interaktif, asisten bantuan dalam game, dan terjemahan real-time konten dalam game.

  • Antarmuka generasi berikutnya: Pengalaman yang mendukung suara dan video dalam robotika, kacamata pintar, dan kendaraan.

  • Layanan kesehatan: Panduan navigasi yang membantu logistik fasilitas dan perawatan.

  • Jasa keuangan: Agen percakapan yang melakukan triase permintaan perbankan sehari-hari.

  • Pendidikan: Mentor AI dan pendamping pelajar yang memberikan petunjuk dan masukan yang dipersonalisasi.

Fitur utama

Gemini Live API menawarkan serangkaian fitur lengkap untuk membangun agen suara dan video yang andal:

  • Kualitas audio tinggi: Gemini Live API menyediakan ucapan yang terdengar alami dan realistis dalam berbagai bahasa.

  • Dukungan multibahasa: Lakukan percakapan dalam 24 bahasa yang didukung.

  • Interupsi: Pengguna dapat menginterupsi model kapan saja untuk interaksi yang responsif.

  • Dialog afektif: Menyesuaikan gaya dan nada respons agar sesuai dengan ekspresi input pengguna.

  • Penggunaan alat: Mengintegrasikan alat seperti pemanggilan fungsi dan Google Penelusuran untuk interaksi dinamis.

  • Transkripsi audio: Menyediakan transkrip teks dari input pengguna dan output model. Untuk transkripsi sebagai sasaran akhir, bukan sebagai saluran sampingan percakapan, lihat Gemini 3.5 Transcribe.

  • Audio proaktif: Memungkinkan Anda mengontrol kapan model merespons dan dalam konteks apa.

Spesifikasi teknis

Tabel berikut menguraikan spesifikasi teknis untuk Gemini Live API:

Kategori Detail
Modalitas input Audio (audio PCM 16-bit mentah, 16 kHz, little-endian), gambar/video (JPEG 1 FPS), teks
Modalitas output Audio (audio PCM 16-bit mentah, 24 kHz, little-endian), teks
Video (avatar live) Video (mp4)
Protokol Koneksi WebSocket stateful (WSS)

Model yang didukung

Model berikut mendukung Gemini Live API. Pilih model yang sesuai berdasarkan persyaratan interaksi Anda.

ID Model Ketersediaan Kasus penggunaan Fitur utama
gemini-3.8-live Tersedia secara umum Direkomendasikan. Agen suara berlatensi rendah. Mendukung peralihan multibahasa yang lancar.
  • Audio native
  • Transkripsi audio
  • Deteksi aktivitas suara
  • Dialog afektif
  • Audio proaktif
  • Penggunaan alat
  • Avatar live
gemini-live-2.5-flash-native-audio Tersedia secara umum Direkomendasikan. Agen suara berlatensi rendah. Mendukung peralihan multibahasa dan nada emosional yang lancar.
  • Audio native
  • Transkripsi audio
  • Deteksi aktivitas suara
  • Dialog afektif
  • Audio proaktif
  • Penggunaan alat
gemini-3.5-transcribe-live-preview Pratinjau Hanya speech-to-text. Teks, dikte, dan transkripsi panggilan real-time. Menampilkan teks, bukan audio, sehingga tidak melakukan percakapan.
  • Transkrip sementara dan final
  • Deteksi bahasa otomatis dengan alih kode
  • Stempel waktu tingkat ucapan
  • Pembiasan kosakata kustom

Mulai

Pilih panduan yang sesuai dengan lingkungan pengembangan Anda:

Direkomendasikan untuk kemudahan penggunaan

Hubungkan ke Gemini Live API menggunakan Gen AI SDK untuk membangun aplikasi multimodal real-time dengan backend Python.

Kontrol protokol mentah

Hubungkan ke Gemini Live API menggunakan WebSocket untuk membangun aplikasi multimodal real-time dengan frontend JavaScript dan backend Python.

Agent Development Kit

Membuat agen dan menggunakan Streaming Agent Development Kit (ADK) untuk mengaktifkan komunikasi suara dan video.

Integrasi partner

Jika Anda ingin berintegrasi dengan beberapa partner kami, platform ini telah mengintegrasikan Gemini Live API melalui protokol WebRTC untuk menyederhanakan pengembangan aplikasi audio dan video real-time.

Arsitektur referensi LiveKit & ADK

Untuk asisten suara tingkat produksi lanjutan yang memerlukan orkestrasi sesi, pemilihan rute, dan delegasi multi-agen yang canggih, Anda dapat membangun integrasi dua arah berlatensi rendah menggunakan LiveKit (WebRTC) dengan Gemini Live API melalui Agent Development Kit (ADK).

Arsitektur ini memungkinkan Anda men-deploy agen Orchestrator yang menangani interaksi awal pelanggan dan mengarahkan permintaan secara dinamis ke sub-agen khusus (misalnya, mendelegasikan konteks ke agen Pemesanan Penerbangan atau Pemesanan Hotel menggunakan orkestrasi transferAgent).

Untuk mempelajari dan men-deploy desain referensi ini, lihat implementasi codebase referensi resmi di GitHub.