このページでは、Vertex AI の Gemini Live API のリファレンス実装のコレクションを提供します。依存関係のない JavaScript スターターから包括的な React ベースのアーキテクチャまで、これらのデモでは、Gemini Live API と ADK を使用して堅牢なリアルタイム音声エージェントを構築する方法を示します。
デモアプリ
- React デモアプリ: リアルタイム ストリーミング、ツール使用、メディア処理を特徴とする包括的な React クライアント。
- プレーン JS デモアプリ: コア API の仕組みを理解するための、依存関係のない JavaScript 実装。
- リアルタイム アドバイザー: 無言モードと発言モードを切り替えることができる、専門的なアドバイザー ペルソナ。
- カスタマー サポート エージェント: 感情検出、マルチモーダル入力、ツール実行を備えた高度なエージェント。
- ゲーム アシスタント: ペルソナの切り替えや画面共有の機能を備えたゲーム コンパニオン。
- Gemini Live Telephony アプリ: Twilio を電話、FastAPI バックエンド、Gemini Live API を会話型 AI に使用する、リアルタイムの音声から AI へのアプリケーション。
ADK の双方向ストリーミング開発ガイド
Agent Development Kit（ADK）は、Live API を使用して双方向ストリーミング アプリケーションを構築するための本番環境対応のフレームワークを提供します。次のガイドとデモでは、ADK のストリーミング アーキテクチャを紹介します。このアーキテクチャにより、マルチモーダル チャネル（テキスト、音声、動画）を介してユーザーと AI エージェント間のリアルタイムの双方向通信が可能になります。
その他のツール
- PCM 音声デバッガ: 生の PCM 音声ストリームと WebSocket 接続をテストおよびデバッグするためのスタンドアロン ツール。