Caso de uso de IA agêntica: ativar a transmissão multimodal bidirecional ao vivo

Last reviewed 2026-10-14 UTC

Este documento apresenta uma arquitetura de alto nível para um sistema de IA agêntica multiagente bidirecional e em tempo real no Google Cloud. O sistema ajuda os usuários a concluir tarefas técnicas, como montar componentes complexos, diagnosticar falhas de funcionamento de equipamentos ou navegar por procedimentos de reparo complexos. O sistema de IA agêntica fornece orientação técnica fundamentada e monitoramento de segurança automatizado por um fluxo contínuo e bidirecional de dados multimodais.

O público-alvo deste documento inclui arquitetos, desenvolvedores e administradores que criam e gerenciam infraestrutura e aplicativos de IA na nuvem. Este documento pressupõe que você tenha um entendimento básico sobre agentes e modelos de IA. O documento não fornece orientações específicas para projetar e programar agentes de IA.

A seção de implantação deste documento lista exemplos de código que você pode usar para aprender a criar e implantar sistemas de IA multiagente.

Arquitetura

O diagrama a seguir mostra uma visão geral de uma arquitetura que usa um sistema de IA multiagente para permitir o streaming de dados multimodais bidirecional em tempo real:

A arquitetura no diagrama anterior tem dois fluxos de trabalho: orientação técnica e monitoramento de segurança.

• O fluxo de trabalho de orientação técnica permite que os usuários recebam soluções narradas em tempo real para consultas técnicas complexas. Esse fluxo de trabalho usa a API Gemini Live para processar streams multimodais e coordenar com um subagente para recuperar informações do produto do banco de dados de conhecimento.
• O fluxo de trabalho de monitoramento de segurança oferece detecção automatizada de perigos para garantir a segurança do usuário durante procedimentos técnicos. Esse fluxo de trabalho usa o Gemini para analisar segmentos de vídeo ao vivo, identificar possíveis riscos e acionar avisos imediatos pelo painel do cliente.

As guias a seguir mostram diagramas de arquitetura que mostram os fluxos de trabalho de orientação técnica e monitoramento de segurança:

Fluxo de trabalho de orientação técnica

O diagrama a seguir mostra uma arquitetura detalhada para um fluxo de trabalho de orientação técnica.

O diagrama anterior mostra o seguinte fluxo de dados:

1. Um usuário inicia uma sessão fazendo uma consulta técnica por voz no painel do cliente. Por exemplo, um técnico pode apontar a câmera para um painel de controle e perguntar: "O que significa essa luz de erro vermelha piscando?"

2. O painel do cliente estabelece uma conexão WebSocket permanente entre o front-end e o servidor de back-end.

3. As mensagens do WebSocket empacotam os dados multimídia brutos em objetos Blob. O componente do Kit de Desenvolvimento de Agente (ADK) LiveRequestQueue transmite continuamente os dados de entrada para o agente despachante.

4. O agente de despacho detecta comandos de áudio ou visuais que exigem orientação técnica e envia o stream de entrada para a API Gemini Live.

5. O modelo do Gemini Live pesquisa os dados brutos para identificar eventos. Os eventos são palavras-chave de áudio, como "montar" ou "ajuda", ou dicas visuais, como gestos com as mãos.

   O Gemini avalia cada evento para determinar se ele é relevante para a consulta do usuário. Por exemplo, um gesto com a mão ou palavras desnecessárias podem não ser relevantes, então o Gemini não processa esses eventos.

6. Para cada evento relevante, o Gemini ativa a chamada de função para avaliar se precisa de mais contexto. Dependendo da necessidade de mais contexto, o Gemini ou um agente arquiteto envia uma resposta de volta ao agente despachante.

   1. Se precisar de mais contexto, o Gemini consulta o card do agente arquiteto para entender como estruturar a solicitação.

   2. O Gemini envia uma solicitação estruturada ao agente de despacho. A solicitação contém detalhes do evento, como o tipo de produto, o número do modelo, o tipo de evento e os atributos.

   3. O agente de despacho usa o protocolo Agent2Agent (A2A) para enviar a solicitação estruturada ao agente de arquitetura.

   4. O agente arquiteto envia a consulta por um conector de acesso VPC sem servidor . O conector permite que o agente acesse com segurança os recursos na rede de nuvem privada virtual (VPC) usada para os recursos de armazenamento nessa arquitetura.

   5. O conector de acesso VPC sem servidor interage com os dados armazenados em cache no Memorystore for Redis Cluster. Se os dados não estiverem disponíveis na camada em cache, o agente arquiteto vai interagir com as instâncias do Compute Engine que hospedam o banco de dados de conhecimento.

   6. O agente arquiteto recebe as informações do produto do cache de dados ou do banco de dados de conhecimento. O agente arquiteto envia as informações do produto ao Gemini para gerar uma resposta. Por exemplo, "Código do erro 3B: mau funcionamento do ventilador. Ação recomendada: verifique se há obstruções."

   7. O agente arquiteto envia as informações do produto de volta ao agente despachante.

   Se não precisar de mais contexto, o Gemini vai gerar uma resposta direta à solicitação do usuário.

7. O agente de despacho recebe a resposta do Gemini ou do agente arquiteto e gera uma resposta multimodal:

   1. Usa o modelo Gemini Live e o loop run_live do ADK para gerar uma resposta multimodal que contém a solução técnica.

   2. Armazena a resposta como um objeto Blob.

   3. Envia a solução técnica pelo buffer de streaming e pela conexão WebSocket persistente para entregar a solução técnica ao painel do cliente.

8. O painel do cliente extrai os dados de Blob da solução técnica para fornecer orientação narrada imediata e atualiza a UI com transcrições relevantes. O loop de solicitação é concluído enquanto o stream bidirecional ativo é mantido.

Fluxo de trabalho de monitoramento de segurança

O diagrama a seguir mostra uma arquitetura detalhada para um fluxo de trabalho de monitoramento de segurança.

O diagrama anterior mostra o seguinte fluxo de dados:

1. O painel do cliente estabelece uma conexão WebSocket persistente entre o front-end e o servidor de back-end para observar o stream de vídeo ao vivo. A mensagem do WebSocket empacota esses dados multimídia brutos em objetos Blob e os envia continuamente para o buffer de streaming, usando o componente LiveRequestQueue do ADK.
2. O buffer de streaming direciona o stream de entrada para uma ferramenta de streaming que é executada em um loop contínuo em segundo plano para detectar perigos no frame do vídeo.
3. A ferramenta de streaming envia o frame de vídeo mais recente do buffer de streaming para o Gemini.
4. O Gemini observa os frames do vídeo em busca de perigos, como uma luz forte ou vapor.
   • Se nenhum perigo for detectado, nada vai acontecer.
   • Se um perigo for detectado, o Gemini vai gerar uma resposta multimodal contendo o tipo de perigo, os atributos e a localização dele e vai armazená-la como um objeto Blob. O Gemini envia a resposta de aviso de perigo de volta para a ferramenta de streaming.
5. A ferramenta de streaming encaminha a resposta de aviso de perigo para o buffer de streaming.
6. O buffer de streaming usa a conexão WebSocket persistente para enviar a resposta de aviso de perigo ao painel do cliente.
7. O painel do cliente extrai os dados de Blob da resposta de aviso de perigo para fornecer orientações narradas imediatas e atualiza a UI com transcrições relevantes. Isso conclui o loop de solicitação e mantém o stream bidirecional ativo.

Produtos usados

Esta arquitetura de referência usa os seguintes produtos e ferramentas do Google Cloud :

• Cloud Run: uma plataforma de computação sem servidor que permite executar contêineres diretamente na infraestrutura escalonável do Google.
• Gemini: uma família de modelos de IA multimodal desenvolvida pelo Google.
• Gemini Enterprise Agent Platform: uma plataforma abrangente que permite criar, escalonar, governar e otimizar agentes de IA de nível empresarial.
• Kit de Desenvolvimento de Agente (ADK): um conjunto de ferramentas e bibliotecas para desenvolver, testar e implantar agentes de IA.
• Protocolo Agent2Agent (A2A): um protocolo aberto que permite a comunicação e a interoperabilidade entre agentes, independentemente da linguagem de programação e do ambiente de execução.
• Acesso VPC sem servidor: um serviço que permite que seus ambientes sem servidor se conectem a recursos em uma rede de nuvem privada virtual.
• Nuvem privada virtual (VPC): um sistema virtual que oferece funcionalidade de rede global e escalonável para suas cargas de trabalho do Google Cloud . A VPC inclui peering de rede VPC, Private Service Connect, acesso a serviços particulares e VPC compartilhada.
• Memorystore for Redis Cluster: um serviço de repositório de dados na memória totalmente gerenciado para o Redis.
• Compute Engine: um serviço de computação seguro e personalizável que permite criar e executar VMs na infraestrutura do Google.

Para informações sobre como selecionar componentes alternativos para seu sistema de IA agêntica, incluindo framework, ambiente de execução do agente, ferramentas, memória e padrões de design, consulte Escolher os componentes da arquitetura de IA agêntica.

Caso de uso

Esta arquitetura de referência foi projetada para casos de uso que exigem a síntese em tempo real de fluxos de dados multimodais contínuos e bidirecionais. Veja a seguir exemplos de casos de uso para a arquitetura descrita neste documento:

• Fabricação industrial e manutenção de campo: permita o reparo viva-voz de máquinas complexas, fornecendo aos técnicos um assistente de IA que processa áudio e vídeo ao vivo de óculos inteligentes. O técnico conversa com o assistente de IA para buscar esquemas de máquinas. O assistente de IA usa um agente de banco de dados interno que acessa a documentação do produto para garantir instruções de reparo e montagem embasadas. Uma ferramenta de visão em segundo plano simultânea monitora o stream bidirecional para avisar proativamente o técnico sobre riscos mecânicos ou etapas de montagem incorretas.
• Suporte técnico remoto: melhore os resultados da solução de problemas do cliente permitindo que os usuários compartilhem uma transmissão da câmera do smartphone ao vivo com um sistema de IA agêntica multimodal. A arquitetura de streaming bidirecional permite uma conversa dinâmica em que o sistema observa o hardware em tempo real. Se um processo de visão em segundo plano identificar uma conexão com defeito, como um cabo na porta errada, o sistema vai usar o stream de baixa latência para interromper imediatamente o usuário com orientações corretivas.

Considerações sobre o design

Nesta seção, descrevemos fatores de design, práticas recomendadas e recomendações a serem consideradas ao usar essa arquitetura de referência para desenvolver uma topologia que atenda aos seus requisitos específicos de segurança, operações, custo e desempenho.

As orientações desta seção não são completas. Para mais informações sobre fatores de design e práticas recomendadas, além de recomendações sobre como criar e implantar um sistema de IA multiagente, consulte Sistema de IA multiagente no Google Cloud.

segurança, privacidade e conformidade

Para ajudar a lidar com os riscos de segurança exclusivos dos agentes de IA, o Google recomenda uma abordagem que combina controles de segurança determinísticos com defesas dinâmicas baseadas em raciocínio:

• Supervisão humana: incorpore um fluxo human-in-the-loop em sistemas essenciais para os negócios, de modo que os supervisores humanos possam analisar as saídas e aprovar, substituir ou pausar as ações do agente.
• Identidade do agente: atribua a cada agente uma identidade vinculada à carga de trabalho para aplicar o controle de acesso com privilégio mínimo e gerenciar centralmente as credenciais de ferramentas externas.
• Gateway de Agente: aplique a governança de tráfego de entrada e saída, políticas de acesso de negação padrão e inspeção de comandos e ferramentas inline com o Model Armor.

• Registro de agentes: verifique se os agentes se conectam apenas a subagentes e ferramentas de MCP aprovados.

• Segurança de entrada do aplicativo: para controlar o acesso ao aplicativo, desative o URL padrão run.app do serviço de front-end do Cloud Run e configure um balanceador de carga de aplicativo externo regional. Além de balancear a carga do tráfego de entrada para o aplicativo, o balanceador de carga lida com o gerenciamento de certificados SSL. Para maior proteção, use as políticas de segurança do Google Cloud Armor para fornecer filtragem de solicitações, proteção contra DDoS e limitação de taxa para o serviço.

• Segurança do WebSocket: proteja dados multimodais sensíveis, como impressões de voz e vídeo, aplicando a criptografia TLS em todas as conexões WebSocket bidirecionais.

• Comunicação segura de app para app:

  • Use cartões de agente estendidos autenticados para proteger a comunicação A2A.
  • Anexe tokens de identidade do OpenID Connect (OIDC) às solicitações. Os tokens de identidade do OIDC permitem que você use o Identity and Access Management (IAM) para validar que apenas agentes autorizados acessem os dados.

Eficiência operacional

Para garantir que as configurações do agente atendam aos requisitos de eficiência operacional, considere as seguintes recomendações:

• Scripts de loop de controle: escreva comandos do sistema para agentes bidirecionais ao vivo como loops de comportamento de máquina de estado estritos, em vez de apenas diretrizes de personalidade. O comando do sistema precisa instruir explicitamente o agente a permanecer em silêncio até ser acionado. Ele precisa aplicar respostas breves e focadas em ações para que a interação por voz seja concisa e natural.
• Separação de responsabilidades: use uma ferramenta dedicada de streaming em segundo plano para monitorar os feeds de vídeo de forma independente do agente principal. O agente raiz na arquitetura é bidirecional e pode interromper instantaneamente a própria fala para transmitir esses avisos de segurança críticos ao usuário. Além disso, pedir a um único agente para monitorar constantemente um feed de vídeo pode levar a sobrecarga cognitiva e alucinações.

Otimização de custos

Para garantir que as configurações do agente atendam aos requisitos de custo, considere as seguintes recomendações:

• Custos de ingestão de dados: para reduzir os custos de token e evitar o esgotamento da janela de contexto, use uma amostragem de quadros de baixa frequência, como 2 quadros por segundo, e compacte todos os dados em arquivos JPEG Base64.
• Comandos econômicos: o tamanho dos comandos (entrada) e das respostas geradas (saída) afetam diretamente o desempenho e o custo. Escreva comandos curtos, diretos e com contexto suficiente. Crie comandos para receber respostas concisas do modelo. Por exemplo, inclua frases como "resuma em duas frases" ou "liste três pontos principais". Para mais informações, consulte as práticas recomendadas para design de comandos.

Otimização de desempenho

Para garantir que as configurações do agente atendam aos requisitos de desempenho, considere as seguintes recomendações:

• Buffer assíncrono: para separar os pacotes de áudio e vídeo recebidos do mecanismo de inferência do modelo, use um buffer FIFO (First-In-First-Out) assíncrono e thread-safe. Esse buffer atua como um multiplexador que garante que o sistema permaneça responsivo a interrupções do usuário sem congelar a interface durante computações pesadas.
• Cache em memória: para alcançar velocidades de leitura de menos de um milissegundo, use um banco de dados Memorystore for Redis Cluster na memória para o cofre esquemático do agente arquiteto. Essa implementação minimiza a latência, evita silêncios durante interações de voz em tempo real e fornece uma única fonte de verdade escalonável.
• Alocação de recursos: dependendo dos requisitos de desempenho, configure os limites de memória e os limites de CPU a serem alocados ao serviço do Cloud Run.

Implantação

Para implantar um exemplo de implementação dessa arquitetura, teste os seguintes codelabs:

• Codelab: Como criar um agente de streaming bidirecional do ADK: Crie um sistema de IA agêntica de agente único que processe um stream de vídeo ao vivo para reconhecer interações específicas do usuário.
• Codelab de sistema multiagente bidirecional em tempo real: crie um sistema de IA multiagente que usa streaming bidirecional para interação de voz e vídeo em tempo real. O sistema inclui uma ferramenta de streaming proativa para monitoramento contínuo de segurança.

A seguir

• Saiba como iniciar e gerenciar sessões ao vivo.
• Explore a introdução ao kit de ferramentas da API Gemini Live do ADK.
• (Vídeo) Assista Criar um agente de IA de voz em tempo real com o ADK e a API Gemini Live
• Saiba como hospedar agentes de IA no Cloud Run.
• Saiba como escolher os componentes da arquitetura de IA agêntica.
• Confira recursos de aprendizado para criar e implantar agentes de nível empresarial com o Gemini Enterprise Agent Ready (GEAR).
• Descoberta avançada guias de arquitetura de IA agêntica.
• Para uma visão geral dos princípios e recomendações de arquitetura específicos para cargas de trabalho de IA e ML no Google Cloud, consulte a perspectiva de IA e ML no Well-Architected Framework.
• Para mais arquiteturas de referência, diagramas e práticas recomendadas, confira a Central de arquitetura do Cloud.

Colaboradores

Autores:

• Christina Lin | Gerente de engenharia de relações com desenvolvedores
• Samantha He | Redatora técnica

Outros colaboradores:

• Kumar Dhanagopal | Desenvolvedor de soluções para vários produtos
• Olivier Bourgeois | Engenheiro de relações com desenvolvedores