Gemini Live API 可讓您與 Gemini 進行低延遲、即時的語音和影片互動。這項功能可處理持續輸入的音訊、影片或文字，提供即時、擬真的語音回覆。為使用者提供自然的對話體驗。即時虛擬化身可讓使用者與類似真人的圖示互動，圖示會與語音回覆同步，提供更優質、更親切的使用體驗。
在 Agent Studio 試用 Gemini Live API
應用實例
Gemini Live API 可用於建構即時語音和影片代理，適用於多種產業，包括：
品牌企業大使：在企業網站資源或行動應用程式上部署的互動式品牌代表，由授權員工肖像或已簽署企業授權書的付費藝人生成。
電子商務和零售：購物助理可提供個人化推薦，客服專員則可解決顧客問題。
遊戲：互動式非玩家角色 (NPC)、遊戲內輔助助理，以及即時翻譯遊戲內容。
新一代介面：機器人、智慧眼鏡和車輛中的語音和視訊功能。
醫療照護：提供導航指南，協助處理設施和照護後勤。
金融服務：對話式代理可分類日常銀行業務要求。
教育：AI 導師和學習夥伴，提供個人化指導和意見回饋。
主要功能與特色
Gemini Live API 提供一組全方位功能，可建構強大的語音和影片代理：
高音質：Gemini Live API 提供自然、逼真的多語言語音。
多語言支援：支援 24 種語言。
插話：使用者隨時可以打斷模型，進行即時互動。
情緒感知對話：根據使用者輸入內容的措辭，調整回覆風格和語氣。
使用工具：整合呼叫函式和 Google 搜尋等工具，實現動態互動。
音訊轉錄：提供使用者輸入內容和模型輸出內容的文字轉錄稿。如果最終目標是語音轉錄，而非對話的輔助管道，請參閱 Gemini 3.5 Transcribe。
主動判斷式語音：控制模型回覆的時機和情境。
技術規格
下表列出 Gemini Live API 的技術規格：
| 類別 | 詳細資料 |
|---|---|
| 輸入模態 | 音訊 (原始 16 位元 PCM 音訊、16kHz、小端序)、圖片/影片 (JPEG 1FPS)、文字 |
| 輸出模態 | 音訊 (原始 16 位元 PCM 音訊、24kHz、小端序)、文字 |
| 影片 (即時虛擬化身) | 影片 (mp4) |
| 通訊協定 | 有狀態 WebSocket 連線 (WSS) |
支援的模型
下列模型支援 Gemini Live API。請根據互動需求選取合適的模型。
| 模型 ID | 可用性 | 用途 | 主要功能與特色 |
|---|---|---|---|
gemini-3.8-live |
正式發布版 | 建議做法：低延遲語音代理。支援流暢切換多種語言。 |
|
gemini-live-2.5-flash-native-audio |
正式發布版 | 建議做法：低延遲語音代理。支援流暢切換多種語言和情緒語調。 |
|
gemini-3.5-transcribe-live-preview |
預覽 | 僅限語音轉文字。即時字幕、聽寫和通話轉錄。傳回文字而非音訊，因此不會進行對話。 |
|
開始使用
請根據您的開發環境選取指南：
與合作夥伴整合
如要與我們的合作夥伴整合，這些平台已透過 WebRTC 通訊協定整合 Gemini Live API，可簡化即時音訊和影片應用程式的開發作業。
LiveKit 和 ADK 參考架構
如需進階的正式環境級語音助理，處理複雜的工作階段調度、轉送和多代理委派作業，您可以使用 LiveKit (WebRTC) 搭配 Gemini Live API，透過 Agent Development Kit (ADK) 建構低延遲的雙向整合。
這個架構可讓您部署協調代理，處理初始客戶互動，並將要求動態轉送至專門的子代理 (例如使用 transferAgent 協調功能，將情境委派給航班預訂或飯店預訂代理)。
如要探索及部署這項參考設計，請前往 GitHub 查看官方參考程式碼集實作。