En esta página se proporciona una colección de implementaciones de referencia de la API Gemini Live en Vertex AI. Desde iniciadores de JavaScript sin dependencias hasta arquitecturas completas basadas en React, estas demos muestran cómo crear agentes de voz robustos y en tiempo real con la API Gemini Live y ADK.
Aplicaciones demo
- Aplicación de demostración de React: Un cliente de React completo con streaming en tiempo real, uso de herramientas y gestión de contenido multimedia.
- Aplicación de demostración de JS sin formato: una implementación de JavaScript sin dependencias para entender los mecanismos principales de la API.
- Asesor en tiempo real:un perfil de asesor especializado que puede cambiar entre los modos silencioso y expresivo.
- Agente del servicio de asistencia: un agente avanzado con detección de emociones, entrada multimodal y ejecución de herramientas.
- Asistente de juegos: un compañero de juegos con funciones para cambiar de perfil y compartir la pantalla.
- Aplicación de telefonía de Gemini Live: una aplicación de voz a IA en tiempo real que usa Twilio para la telefonía, un backend de FastAPI y la API de Gemini Live para la IA conversacional.
Guía de desarrollo de ADK para streaming bidireccional
El Agent Development Kit (ADK) proporciona un framework listo para producción para crear aplicaciones de streaming bidireccional con la API Live. En esta guía y en las demos se presenta la arquitectura de streaming del ADK, que permite la comunicación bidireccional en tiempo real entre los usuarios y los agentes de IA a través de canales multimodales (texto, audio y vídeo).
Otras herramientas
- Depurador de audio PCM: una herramienta independiente para probar y depurar flujos de audio PCM sin procesar y conexiones WebSocket.