En esta página, se proporciona una colección de implementaciones de referencia para la API de Gemini Live en Vertex AI. Estas demostraciones, que abarcan desde iniciadores de JavaScript sin dependencias hasta arquitecturas integrales basadas en React, muestran cómo compilar agentes de voz sólidos y en tiempo real con la API y el ADK de Gemini Live.
Apps de demostración
- App de demostración de React: Un cliente integral de React con transmisión en tiempo real, uso de herramientas y procesamiento de medios.
- App de demostración en JS simple: Una implementación de JavaScript sin dependencias para comprender los mecanismos principales de la API.
- Asesor en tiempo real: Es un arquetipo de asesor especializado que puede cambiar entre los modos silencioso y expresivo.
- Agente de asistencia al cliente: Agente avanzado con detección de emociones, entrada multimodal y ejecución de herramientas.
- Asistente de juegos: Un compañero de juegos con funciones para cambiar de personaje y compartir pantalla.
- App de telefonía de Gemini Live: Una aplicación de voz a IA en tiempo real que usa Twilio para la telefonía, un backend de FastAPI y la API de Gemini Live para la IA conversacional.
Guía de desarrollo de transmisión bidireccional del ADK
El Kit de desarrollo de agentes (ADK) proporciona un framework listo para producción para crear aplicaciones de transmisión bidireccional con la API de Live. En la siguiente guía y demostraciones, se presenta la arquitectura de transmisión del ADK, que permite la comunicación bidireccional en tiempo real entre los usuarios y los agentes de IA a través de canales multimodales (texto, audio y video).
- Serie de guías para desarrolladores de transmisión bidireccional del ADK
- Demostración de transmisión bidireccional
Otras herramientas
- Depurador de audio PCM: Herramienta independiente para probar y depurar transmisiones de audio PCM sin procesar y conexiones de WebSocket.