使用 Gemini Live API 的示範應用程式和資源

本頁面提供 Vertex AI 中 Gemini Live API 的參考實作項目。這些範例涵蓋各種情況,從不含依附元件的 JavaScript 入門範例,到以 React 為基礎的完整架構都有,可示範如何使用 Gemini Live API 和 ADK 建構強大的即時語音代理程式。

試用版應用程式

  • React 示範應用程式: 功能齊全的 React 用戶端,支援即時串流、工具使用和媒體處理。
  • 純 JS 示範應用程式: 不含依附元件的 JavaScript 實作項目,可協助您瞭解核心 API 機制。
  • 即時顧問: 可切換靜音和直言模式的專業顧問角色。
  • 客戶服務專員: 進階專員,具備情緒偵測、多模態輸入和工具執行功能。
  • 遊戲助理: 可切換角色和分享螢幕畫面,是遊戲的好幫手。
  • Gemini Live 電話應用程式: 這項應用程式可即時將語音轉換為 AI 內容,並使用 Twilio 進行電話通訊、FastAPI 後端,以及 Gemini Live API 進行對話式 AI。

ADK 雙向串流開發指南

Agent Development Kit (ADK) 提供可用於正式環境的架構,可透過 Live API 建構雙向串流應用程式。以下指南和範例將介紹 ADK 的串流架構,讓使用者和 AI 服務專員透過多模態管道 (文字、音訊、影片) 即時雙向通訊。

其他工具

  • PCM 音訊偵錯工具: 獨立工具,用於測試及偵錯原始 PCM 音訊串流和 WebSocket 連線。