Gemini Live API 可與 Gemini 展開低延遲的即時語音和視訊互動。這項功能可處理持續輸入的音訊、影片或文字，並立即提供擬真的語音回覆。為使用者打造自然的對話體驗。透過即時虛擬化身，使用者可以與類似真人的圖示互動，並同步顯示語音回覆，享受更優質的個人化體驗。
在 Agent Studio 中試用 Gemini Live API
應用實例
Gemini Live API 可用於建構即時語音和視訊代理，適用於各種產業，包括：
品牌企業大使：部署在企業網路資源或行動應用程式的互動式品牌代表，由授權員工肖像或已簽署企業發布協議的付費人才生成。
電子商務和零售：提供個人化建議的購物助理，以及解決顧客問題的支援代理。
遊戲：互動式非玩家角色 (NPC)、遊戲內說明助理，以及遊戲內容的即時翻譯。
新一代介面：支援語音和視訊的機器人、智慧眼鏡和車輛體驗。
醫療照護：導覽指南，可協助處理設施和照護服務的後勤事宜。
金融服務：對日常銀行業務要求進行分類的對話式代理程式。
教育：AI 導師和學習夥伴，提供個人化指導和意見回饋。
主要功能與特色
Gemini Live API 提供全方位功能，可建構強大的語音和視訊代理程式：
音質優異：Gemini Live API 支援多種語言，可提供自然逼真的語音。
支援多種語言：支援 24 種語言。
插話： 使用者隨時可以打斷模型，進行回應式互動。
情感對話： 根據使用者輸入內容的措辭調整回覆風格和語氣。
使用工具： 整合函式呼叫和 Google 搜尋等工具，進行動態互動。
音訊轉錄稿： 提供使用者輸入內容和模型輸出內容的文字轉錄稿。如要將轉錄做為最終目標，而非對話的輔助管道，請參閱 Gemini 3.5 Transcribe。
主動式語音： 可控制模型的回覆時間和情境。
技術規格
下表列出 Gemini Live API 的技術規格：
| 類別 | 詳細資料 |
|---|---|
| 輸入模態 | 音訊 (原始 16 位元 PCM 音訊，16 kHz，小端序)、圖片/影片 (JPEG 1 FPS)、文字 |
| 輸出模態 | 音訊 (原始 16 位元 PCM 音訊，24 kHz，小端序)、文字 |
| 影片 (即時虛擬化身) | 影片 (mp4) |
| 通訊協定 | 具狀態的 WebSocket 連線 (WSS) |
支援的模型
下列模型支援 Gemini Live API。根據互動需求選取適當模型。
| 模型 ID | 可用性 | 用途 | 主要功能與特色 |
|---|---|---|---|
gemini-3.8-live |
正式發布版 | 建議做法：低延遲語音代理。支援流暢切換多種語言。 |
|
gemini-live-2.5-flash-native-audio |
正式發布版 | 建議做法：低延遲語音代理。支援流暢切換語言和情緒基調。 |
|
gemini-3.5-transcribe-live-preview |
預覽 | 僅限語音轉文字。即時字幕、語音輸入和通話轉錄。傳回的是文字而非音訊，因此不會進行對話。 |
|
開始使用
選取與開發環境相符的指南：
WebSocket 教學課程
使用 WebSockets 連線至 Gemini Live API，建構即時多模態應用程式，前端採用 JavaScript，後端則使用 Python。
與合作夥伴整合
如要與部分合作夥伴整合，這些平台已透過 WebRTC 通訊協定整合 Gemini Live API，簡化即時音訊和視訊應用程式的開發作業。
LiveKit 和 ADK 參考架構
如要建構進階的正式版語音助理，並進行複雜的會話調度、路徑設定和多代理委派作業，可以使用 LiveKit (WebRTC) 和 Gemini Live API，透過 Agent Development Kit (ADK) 建立低延遲的雙向整合。
這種架構可讓您部署 Orchestrator 代理，處理初始客戶互動，並將要求動態轉送至專用子代理 (例如使用 transferAgent 協調機制，將情境委派給航班預訂或飯店預訂代理)。
如要探索及部署這項參考設計，請參閱 GitHub 上的官方參考程式碼集實作內容。