Visão geral da API Gemini Live

A API Gemini Live permite interações de voz e vídeo em tempo real e de baixa latência com o Gemini. Ele processa fluxos contínuos de áudio, vídeo ou texto para fornecer respostas faladas imediatas e semelhantes às humanas. Isso cria uma experiência de conversa natural para os usuários. Os avatares em tempo real adicionam a opção de interagir com um ícone semelhante ao humano que se sincroniza com as respostas de fala, proporcionando uma experiência melhor e mais pessoal com os usuários.

Teste a API Gemini Live no Agent Studio

Exemplos de casos de uso

A API Gemini Live pode ser usada para criar agentes de voz e vídeo em tempo real para uma variedade de setores, incluindo:

  • Embaixadores corporativos de marca: representantes de marca interativos implantados em propriedades da Web corporativas ou aplicativos para dispositivos móveis, gerados com base em semelhanças de funcionários autorizados ou talentos pagos com autorizações corporativas assinadas.

  • E-commerce e varejo: assistentes de compras que oferecem recomendações personalizadas e agentes de suporte que resolvem problemas dos clientes.

  • Jogos: personagens não jogáveis (NPCs) interativos, assistentes de ajuda no jogo e tradução em tempo real do conteúdo do jogo.

  • Interfaces de última geração: experiências com voz e vídeo em robótica, óculos inteligentes e veículos.

  • Saúde: guias de navegação que ajudam na logística de instalações e cuidados.

  • Serviços financeiros: agentes de conversação que fazem a triagem de solicitações bancárias diárias.

  • Educação: mentores de IA e companheiros de aprendizado que oferecem instruções e feedback personalizados.

Principais recursos

A API Gemini Live oferece um conjunto abrangente de recursos para criar agentes de voz e vídeo robustos:

  • Alta qualidade do áudio: a API Gemini Live oferece uma fala natural e realista em vários idiomas.

  • Suporte multilíngue: converse em 24 idiomas.

  • Interrupção: os usuários podem interromper o modelo a qualquer momento para interações responsivas.

  • Computação afetiva: adapta o estilo e o tom da resposta para corresponder à expressão de entrada do usuário.

  • Uso de ferramentas: integra ferramentas como chamada de função e a Pesquisa Google para interações dinâmicas.

  • Transcrições de áudio: fornece transcrições de texto da entrada do usuário e da saída do modelo. Para transcrição como meta final, em vez de um canal secundário de uma conversa, consulte Gemini 3.5 Transcribe.

  • Áudio proativo: permite controlar quando o modelo responde e em quais contextos.

Especificações técnicas

A tabela a seguir descreve as especificações técnicas da API Gemini Live:

Categoria Detalhes
Modalidades de entrada Áudio (áudio PCM bruto de 16 bits, 16 kHz, little-endian), imagens/vídeo (JPEG 1 FPS), texto
Modalidades de saída Áudio (áudio PCM bruto de 16 bits, 24 kHz, little-endian), texto
Vídeo (avatares em tempo real) Vídeo (mp4)
Protocolo Conexão WebSocket com estado (WSS)

Modelos compatíveis

Os modelos a seguir são compatíveis com a API Gemini Live. Selecione o modelo adequado com base nos requisitos de interação.

ID do modelo Disponibilidade Caso de uso Principais recursos
gemini-3.8-live Disponibilidade geral Recomendado. Agentes de voz de baixa latência. Suporta alternância multilíngue sem interrupções.
  • Áudio nativo
  • Transcrições de áudio
  • Detecção de atividade de voz
  • Computação afetiva
  • Áudio proativo
  • Uso de ferramentas
  • Avatar em tempo real
gemini-live-2.5-flash-native-audio Disponibilidade geral Recomendado. Agentes de voz de baixa latência. Oferece suporte à alternância multilíngue e ao tom emocional.
  • Áudio nativo
  • Transcrições de áudio
  • Detecção de atividade de voz
  • Computação afetiva
  • Áudio proativo
  • Uso de ferramentas
gemini-3.5-transcribe-live-preview Visualizar Somente conversão de voz em texto. Legendas, ditado e transcrição de chamadas em tempo real. Retorna texto, não áudio, portanto, não mantém uma conversa.
  • Transcrições provisórias e finais
  • Detecção automática de idioma com troca de código
  • Carimbos de data/hora no nível do enunciado
  • Tendência de vocabulário personalizado

Primeiros passos

Selecione o guia que corresponde ao seu ambiente de desenvolvimento:

Recomendado para facilitar o uso

Conectar-se à API Gemini Live usando o SDK de IA generativa para criar um aplicativo multimodal em tempo real com um back-end em Python.

Controle de protocolo bruto

Conecte-se à API Gemini Live usando WebSockets para criar um aplicativo multimodal em tempo real com um front-end em JavaScript e um back-end em Python.

Kit de Desenvolvimento de Agente

Criar um agente e usar o streaming do Kit de Desenvolvimento de Agente (ADK) para permitir a comunicação por voz e vídeo.

Integrações com parceiros

Se você quiser se integrar a alguns dos nossos parceiros, essas plataformas já integraram a API Gemini Live pelo protocolo WebRTC para simplificar o desenvolvimento de aplicativos de áudio e vídeo em tempo real.

Arquitetura de referência do LiveKit e do ADK

Para assistentes por voz avançados de nível de produção que exigem orquestração de sessão, roteamento e delegação multiagente sofisticados, é possível criar uma integração bidirecional de baixa latência usando o LiveKit (WebRTC) com a API Gemini Live pelo Kit de Desenvolvimento de Agente (ADK).

Essa arquitetura permite implantar um agente orquestrador que lida com a interação inicial do cliente e encaminha dinamicamente as solicitações para subagentes especializados (por exemplo, delegando contexto a um agente de reserva de voos ou de hotéis usando a orquestração transferAgent).

Para conhecer e implantar esse design de referência, consulte a implementação oficial da base de código de referência no GitHub.