本頁面提供 Vertex AI 中 Gemini Live API 的參考實作項目。這些範例涵蓋各種情況,從不含依附元件的 JavaScript 入門範例,到以 React 為基礎的完整架構都有,可示範如何使用 Gemini Live API 和 ADK 建構強大的即時語音代理程式。
試用版應用程式
- React 示範應用程式: 功能齊全的 React 用戶端,支援即時串流、工具使用和媒體處理。
- 純 JS 示範應用程式: 不含依附元件的 JavaScript 實作項目,可協助您瞭解核心 API 機制。
- 即時顧問: 可切換靜音和直言模式的專業顧問角色。
- 客戶服務專員: 進階專員,具備情緒偵測、多模態輸入和工具執行功能。
- 遊戲助理: 可切換角色和分享螢幕畫面,是遊戲的好幫手。
- Gemini Live 電話應用程式: 這項應用程式可即時將語音轉換為 AI 內容,並使用 Twilio 進行電話通訊、FastAPI 後端,以及 Gemini Live API 進行對話式 AI。
ADK 雙向串流開發指南
Agent Development Kit (ADK) 提供可用於正式環境的架構,可透過 Live API 建構雙向串流應用程式。以下指南和範例將介紹 ADK 的串流架構,讓使用者和 AI 服務專員透過多模態管道 (文字、音訊、影片) 即時雙向通訊。
其他工具
- PCM 音訊偵錯工具: 獨立工具,用於測試及偵錯原始 PCM 音訊串流和 WebSocket 連線。