Caso de uso de la IA de agentes: Habilita la transmisión multimodal bidireccional en vivo

Last reviewed 2026-04-06 UTC

En este documento, se proporciona una arquitectura de alto nivel para un sistema de IA multiagente bidireccional en vivo, en Google Cloud. El sistema ayuda a los usuarios a completar tareas técnicas, como ensamblar componentes complejos, diagnosticar fallas en los equipos o navegar por procedimientos de reparación complejos. El sistema de IA de agentes proporciona orientación técnica fundamentada y supervisión de seguridad automatizada a través de una transmisión continua y bidireccional de datos multimodales.

El público previsto para este documento incluye arquitectos, desarrolladores y administradores que compilan y administran infraestructura y aplicaciones de IA en la nube. En este documento, se supone que tienes conocimientos básicos de los agentes y modelos de IA. El documento no proporciona orientación específica para diseñar y codificar agentes de IA.

En la sección de implementación de este documento, se enumeran ejemplos de código que puedes usar para aprender a compilar e implementar sistemas de IA multiagente.

Arquitectura

En el siguiente diagrama, se muestra una vista de alto nivel de una arquitectura que usa un sistema de IA multiagente para habilitar la transmisión de datos multimodales bidireccional en vivo:

Arquitectura de alto nivel de un sistema de IA multiagente que permite la transmisión bidireccional de datos multimodales.

La arquitectura del diagrama anterior tiene dos flujos de trabajo: orientación técnica y supervisión de seguridad.

  • El flujo de trabajo de orientación técnica permite a los usuarios recibir soluciones narradas en tiempo real para consultas técnicas complejas. Este flujo de trabajo usa el modelo de Gemini Live para procesar transmisiones multimodales y coordinar con un subagente para recuperar información fundamentada del producto de la base de datos de conocimiento.
  • El flujo de trabajo de supervisión de seguridad proporciona detección de peligros automatizada para garantizar la seguridad del usuario durante los procedimientos técnicos. Este flujo de trabajo usa Gemini para analizar segmentos de video en vivo , identificar riesgos potenciales y activar advertencias inmediatas a través del panel del cliente.

En las siguientes pestañas, se proporcionan diagramas de arquitectura que muestran los flujos de trabajo de orientación técnica y supervisión de seguridad:

Flujo de trabajo de orientación técnica

En el siguiente diagrama, se muestra una arquitectura detallada para un flujo de trabajo de orientación técnica.

Arquitectura que muestra el flujo de trabajo de orientación técnica.

En el diagrama anterior, se muestra el siguiente flujo de datos:

  1. Un usuario inicia una sesión haciendo una consulta técnica hablada a través del panel del cliente. Por ejemplo, un técnico podría apuntar con la cámara a un panel de control y preguntar: "Ayuda, ¿qué significa esta luz roja de error parpadeante?".

  2. El panel del cliente establece una WebSocket persistente entre el frontend y el servidor de backend.

  3. Los mensajes de WebSocket empaquetan los datos multimedia sin procesar en objetos Blob. El componente del Kit de desarrollo de agentes (ADK) LiveRequestQueue transmite continuamente los datos de entrada al agente de distribuidor.

  4. El agente de distribuidor detecta comandos de audio o visuales que requieren orientación técnica y envía el flujo de entrada al modelo de Gemini Live.

  5. El modelo de Gemini Live busca en los datos sin procesar para identificar eventos. Los eventos son palabras clave de audio, como "ensamblar" o "ayuda", o indicaciones visuales, como gestos con las manos.

    Gemini evalúa cada evento para determinar si es relevante para la consulta del usuario. Por ejemplo, un gesto con la mano o palabras de relleno podrían no ser relevantes, por lo que Gemini no procesa esos eventos.

  6. Para cada evento relevante, Gemini habilita la llamada a función para evaluar si necesita contexto adicional. Según si se necesita contexto adicional, Gemini o un agente de arquitecto envían una respuesta al agente de distribuidor.

    1. Si necesita más contexto, Gemini busca la tarjeta del agente de arquitecto agent card para comprender cómo estructurar su solicitud.

    2. Gemini envía una solicitud estructurada al agente de distribuidor. La solicitud contiene detalles del evento, como el tipo de producto, el número de modelo, el tipo de evento y los atributos.

    3. El agente de distribuidor usa el protocolo Agent2Agent (A2A) para enviar la solicitud estructurada al agente de arquitecto.

    4. El agente de arquitecto envía la consulta a través de un conector de Acceso a VPC sin servidores . El conector permite que el agente acceda de forma segura a los recursos de la red de nube privada virtual (VPC) que se usa para los recursos de almacenamiento en esta arquitectura.

    5. El conector de Acceso a VPC sin servidores interactúa con los datos almacenados en caché que se almacenan en Memorystore para clúster de Redis. Si los datos no están disponibles en la capa almacenada en caché, el agente de arquitecto interactúa con las instancias de Compute Engine que alojan la base de datos de conocimiento.

    6. El agente de arquitecto recibe la información del producto de la caché de datos o la base de datos de conocimiento. El agente de arquitecto envía la información del producto a Gemini para generar una respuesta. Por ejemplo, "Código de error 3B: Mal funcionamiento del ventilador. Acción recomendada: Verifica si hay obstrucciones".

    7. El agente de arquitecto envía la información del producto al agente de distribuidor.

    Si no necesita más contexto, Gemini genera una respuesta directamente a la solicitud del usuario.

  7. El agente de distribuidor recibe la respuesta de Gemini o del agente de arquitectura y genera una respuesta multimodal:

    1. Usa el modelo de Gemini Live y el ADK run_live función para generar una respuesta multimodal que contenga la solución técnica.

    2. Almacena la respuesta como un objeto Blob.

    3. Envía la solución técnica a través del búfer de transmisión y la conexión WebSocket persistente para entregar la solución técnica al panel del cliente.

  8. El panel del cliente extrae los datos Blob de la solución técnica para proporcionar orientación narrada inmediata y actualiza la IU con transcripciones relevantes. El bucle de solicitud se completa mientras se mantiene la transmisión bidireccional activa.

Flujo de trabajo de supervisión de seguridad

En el siguiente diagrama, se muestra una arquitectura detallada para un flujo de trabajo de supervisión de seguridad.

Arquitectura que muestra el flujo de trabajo de la supervisión de seguridad.

En el diagrama anterior, se muestra el siguiente flujo de datos:

  1. El panel del cliente establece una conexión WebSocket persistente entre el frontend y el servidor de backend para observar la transmisión de video en vivo. El mensaje de WebSocket empaqueta estos datos multimedia sin procesar en Blob objetos y los envía continuamente al búfer de transmisión con el componente LiveRequestQueue del ADK.
  2. El búfer de transmisión dirige el flujo de entrada a una herramienta de transmisión que se ejecuta en un bucle continuo en segundo plano para detectar peligros en el fotograma de video.
  3. La herramienta de transmisión envía el fotograma de video más reciente del búfer de transmisión a Gemini.
  4. Gemini observa los fotogramas de video en busca de peligros, como una luz brillante o vapor.
    • Si no se detecta ningún peligro, no sucede nada.
    • Si se detecta un peligro, Gemini genera una respuesta multimodal que contiene el tipo de peligro, los atributos y su ubicación, y la almacena como un objeto Blob. Gemini envía la respuesta de advertencia de peligro a la herramienta de transmisión.
  5. La herramienta de transmisión reenvía la respuesta de advertencia de peligro al búfer de transmisión.
  6. El búfer de transmisión usa la conexión WebSocket persistente para entregar la solución técnica al panel del cliente.
  7. El panel del cliente extrae los datos Blob de la solución técnica para proporcionar orientación narrada inmediata y actualiza la IU con transcripciones relevantes. Esto completa el bucle de solicitud mientras se mantiene la transmisión bidireccional activa.

Productos usados

En esta arquitectura de referencia, se usan los siguientes Google Cloud productos y herramientas:

Si deseas obtener información para seleccionar componentes alternativos para tu sistema de IA de agentes incluidos el framework, el tiempo de ejecución del agente, las herramientas, la memoria y los patrones de diseño, consulta Elige los componentes de la arquitectura de IA de agentes.

Caso de uso

Esta arquitectura de referencia está diseñada para casos de uso que requieren la síntesis en tiempo real de transmisiones de datos multimodales bidireccionales continuas. A continuación, se muestran ejemplos de casos de uso para la arquitectura que se describe en este documento:

  • Fabricación industrial y mantenimiento de campo: Permite la reparación con manos libres de maquinaria compleja proporcionando a los técnicos un asistente de IA que procesa audio y video en vivo de anteojos inteligentes. El técnico conversa con el asistente de IA para recuperar esquemas de máquinas. El asistente de IA usa un agente de base de datos interno que accede a la documentación del producto para garantizar instrucciones fundamentadas de reparación y ensamblaje. Una herramienta de visión en segundo plano simultánea supervisa la transmisión bidireccional para advertir de forma proactiva al técnico sobre peligros mecánicos o pasos de ensamblaje incorrectos.
  • Asistencia técnica remota: Mejora los resultados de la solución de problemas del cliente permitiendo que los usuarios compartan una transmisión de cámara de teléfono en vivo con un sistema de IA de agentes multimodales. La arquitectura de transmisión bidireccional admite una conversación dinámica en la que el sistema observa el hardware en tiempo real. Si un proceso de visión en segundo plano identifica una conexión defectuosa, como un cable en el puerto incorrecto, el sistema usa la transmisión de baja latencia para interrumpir de inmediato al usuario con orientación correctiva.

Consideraciones del diseño

En las siguientes secciones, se proporcionan recomendaciones generales para diseñar los agentes de IA y, luego, implementar esta arquitectura para la producción.

Diseño de agentes de IA

Para mejorar el costo y el rendimiento de tus agentes, ten en cuenta las siguientes recomendaciones:

  • Secuencias de comandos de bucle de control: Escribe instrucciones del sistema para agentes bidireccionales en vivo como bucles estrictos de comportamiento de máquina de estado en lugar de solo lineamientos de personalidad. La instrucción del sistema debe ordenar explícitamente al agente que permanezca en silencio hasta que se active. Debe aplicar respuestas breves y orientadas a la acción para que la interacción de voz sea concisa y natural.
  • Separación de intereses: Usa una herramienta de transmisión en segundo plano dedicada para supervisar los feeds de video de forma independiente del agente principal. El agente raíz de la arquitectura es bidireccional y puede interrumpir instantáneamente su propio discurso para transmitir estas advertencias de seguridad críticas al usuario. Además, si le pides a un solo agente que supervise constantemente un feed de video, puede provocar una sobrecarga cognitiva y alucinaciones.
  • Instrucciones rentables: La longitud de tus instrucciones (entrada) y las respuestas generadas (salida) afectan directamente el rendimiento y el costo. Escribe instrucciones que sean breves, directas y proporcionen suficiente contexto. Diseña tus instrucciones para obtener respuestas concisas del modelo. Por ejemplo, incluye frases como "resume en 2 oraciones" o "enumera 3 puntos clave". Para obtener más información, consulta las prácticas recomendadas para el diseño de instrucciones.

Diseño de producción

Para implementar esta arquitectura para la producción, ten en cuenta las siguientes recomendaciones:

  • Seguridad de entrada: Para controlar el acceso a la aplicación, inhabilita la URL run.app predeterminada del servicio de Cloud Run de frontend y configura un balanceador de cargas de aplicaciones externo regional. Además de balancear el tráfico entrante a la aplicación, el balanceador de cargas controla la administración de certificados SSL. Para obtener mayor protección, puedes usar las políticas de seguridad de Google Cloud Armor para proporcionar filtrado de solicitudes, protección DSD y límite de frecuencia para el servicio.
  • Control de acceso: Cuando configures los permisos para los recursos de tu topología, sigue el principio de privilegio mínimo.
  • Almacenamiento en búfer asíncrono: Para desacoplar los paquetes de audio y video entrantes del motor de inferencia del modelo, usa un búfer asíncrono de primero en entrar, primero en salir (FIFO) seguro para subprocesos . Este búfer actúa como un multiplexor que garantiza que el sistema siga respondiendo a las interrupciones del usuario sin congelar la interfaz de usuario durante el procesamiento pesado.
  • Costos de transferencia de datos: Para reducir los costos de tokens y evitar el agotamiento de la ventana de contexto, usa un muestreo de fotogramas de baja frecuencia, como 2 fotogramas por segundo, y comprime todos los datos en archivos JPEG Base64.
  • Almacenamiento en caché en la memoria: Para lograr velocidades de lectura de menos de un milisegundo, usa una base de datos de Memorystore para clúster de Redis en la memoria para la bóveda esquemática del agente de arquitecto. Esta implementación minimiza la latencia, evita silencios durante las interacciones de voz en tiempo real y proporciona una única fuente de información escalable.
  • Seguridad de WebSocket: Protege los datos multimodales sensibles, como las huellas de voz y el video, aplicando el encriptado TLS para todas las conexiones WebSocket bidireccionales.
  • Comunicación A2A segura:
  • Asignación de recursos: Según tus requisitos de rendimiento, configura los límites de memoria y los límites de CPU que se asignarán al servicio de Cloud Run.

Para obtener más información sobre los factores de diseño, las prácticas recomendadas y las recomendaciones para compilar e implementar un sistema de IA multiagente, consulta Sistema de IA multiagente en Google Cloud.

Deployment

Para implementar una implementación de muestra de esta arquitectura, prueba los siguientes codelabs:

¿Qué sigue?

Colaboradores

Autores:

Otros colaboradores: