Cette page fournit une collection d'implémentations de référence pour l'API Gemini Live sur Vertex AI. Ces démonstrations, qui vont des starters JavaScript sans dépendance aux architectures complètes basées sur React, montrent comment créer des agents vocaux robustes en temps réel à l'aide de l'API Gemini Live et de l'ADK.
Applications de démonstration
- Application de démonstration React : client React complet avec streaming en temps réel, utilisation d'outils et gestion des contenus multimédias.
- Application de démonstration en JavaScript brut : implémentation JavaScript sans dépendances pour comprendre les mécanismes de base de l'API.
- Conseiller en temps réel : un persona de conseiller spécialisé qui peut passer du mode silencieux au mode bavard.
- Agent du service client : agent avancé avec détection des émotions, entrée multimodale et exécution d'outils.
- Assistant de jeu : un compagnon de jeu avec des fonctionnalités de changement de personnalité et de partage d'écran.
- Application de téléphonie Gemini Live : application vocale en temps réel utilisant Twilio pour la téléphonie, un backend FastAPI et l'API Gemini Live pour l'IA conversationnelle.
Guide de développement du streaming bidirectionnel ADK
L'Agent Development Kit (ADK) fournit un framework prêt pour la production permettant de créer des applications de streaming bidirectionnel avec l'API Live. Le guide et les démonstrations suivants présentent l'architecture de streaming de l'ADK, qui permet une communication bidirectionnelle en temps réel entre les utilisateurs et les agents d'IA via des canaux multimodaux (texte, audio, vidéo).
- Série de guides de développement ADK pour le streaming bidirectionnel
- Démonstration du streaming bidirectionnel
Autres outils
- Débogueur audio PCM : outil autonome permettant de tester et de déboguer les flux audio PCM bruts et les connexions WebSocket.