Questa pagina fornisce una raccolta di implementazioni di riferimento per l'API Gemini Live su Vertex AI. Queste demo, che vanno da starter JavaScript senza dipendenze ad architetture complete basate su React, mostrano come creare agenti vocali robusti e in tempo reale utilizzando l'API Gemini Live e ADK.
App demo
- App demo React: un client React completo con streaming in tempo reale, utilizzo di strumenti e gestione dei contenuti multimediali.
- Demo dell'app JS semplice: Un'implementazione JavaScript senza dipendenze per comprendere i meccanismi di base dell'API.
- Consulente in tempo reale: una persona consulente specializzata che può passare dalla modalità silenziosa a quella esplicita.
- Agente di assistenza clienti: un agente avanzato con rilevamento delle emozioni, input multimodale ed esecuzione di strumenti.
- Assistente per il gaming: un compagno di gioco con funzionalità di cambio di persona e condivisione dello schermo.
- App di telefonia Gemini Live: Un'applicazione vocale in tempo reale che utilizza Twilio per la telefonia, un backend FastAPI e l'API Gemini Live per l'AI conversazionale.
Guida allo sviluppo di ADK per lo streaming bidirezionale
L'Agent Development Kit (ADK) fornisce un framework pronto per la produzione per la creazione di applicazioni di streaming bidirezionale con l'API Live. La seguente guida e le demo introducono l'architettura di streaming di ADK, che consente la comunicazione bidirezionale in tempo reale tra utenti e agenti AI tramite canali multimodali (testo, audio, video).
Altri strumenti
- Debugger audio PCM: uno strumento autonomo per testare ed eseguire il debug di flussi audio PCM non elaborati e connessioni WebSocket.