En este documento, se proporciona una arquitectura de alto nivel para un sistema de IA de múltiples agentes bidireccional y en vivo en Google Cloud. El sistema ayuda a los usuarios a completar tareas técnicas, como ensamblar componentes complejos, diagnosticar fallas en los equipos o navegar por procedimientos de reparación complejos. El sistema de IA agéntica proporciona orientación técnica fundamentada y supervisión de seguridad automatizada a través de un flujo continuo y bidireccional de datos multimodales.
El público objetivo de este documento incluye arquitectos, desarrolladores y administradores que compilan y administran infraestructura y aplicaciones de IA en la nube. En este documento, se supone que tienes conocimientos básicos de los agentes y modelos de IA. En el documento, no se proporciona orientación específica para diseñar y programar agentes de IA.
En la sección de implementación de este documento, se enumeran muestras de código que puedes usar para aprender a compilar e implementar sistemas de IA multiagente.
Arquitectura
En el siguiente diagrama, se muestra una vista de alto nivel de una arquitectura que usa un sistema de IA de agentes múltiples para habilitar la transmisión de datos multimodal bidireccional en vivo:
La arquitectura del diagrama anterior tiene dos flujos de trabajo: orientación técnica y supervisión de seguridad.
- El flujo de trabajo de orientación técnica permite que los usuarios reciban soluciones narradas en tiempo real para consultas técnicas complejas. Este flujo de trabajo usa la API de Gemini Live para procesar transmisiones multimodales y coordinar con un agente secundario para recuperar información fundamentada del producto de la base de datos de conocimiento.
- El flujo de trabajo de supervisión de seguridad proporciona detección automática de peligros para garantizar la seguridad del usuario durante los procedimientos técnicos. Este flujo de trabajo usa Gemini para analizar segmentos de video en vivo, identificar posibles riesgos y activar advertencias inmediatas a través del panel del cliente.
En las siguientes pestañas, se proporcionan diagramas de arquitectura que muestran los flujos de trabajo de orientación técnica y supervisión de la seguridad:
Flujo de trabajo de orientación técnica
En el siguiente diagrama, se muestra una arquitectura detallada para un flujo de trabajo de orientación técnica.
En el diagrama anterior, se muestra el siguiente flujo de datos:
-
Un usuario inicia una sesión realizando una consulta técnica hablada a través del panel del cliente. Por ejemplo, un técnico podría apuntar su cámara a un panel de control y preguntar: "Ayuda, ¿qué significa esta luz de error roja intermitente?".
-
El panel del cliente establece una conexión de WebSocket persistente entre el frontend y el servidor de backend.
-
Los mensajes de WebSocket empaquetan los datos multimedia sin procesar en objetos
Blob. El componente del Kit de desarrollo de agentes (ADK)LiveRequestQueuetransmite de forma continua los datos de entrada al agente despachador. -
El agente despachador detecta comandos de audio o visuales que requieren orientación técnica y envía el flujo de entrada a la API de Gemini Live.
-
El modelo de Gemini Live busca en los datos sin procesar para identificar eventos. Los eventos son palabras clave de audio, como "ensamblar" o "ayuda", o indicadores visuales, como gestos con la mano.
Gemini evalúa cada evento para determinar si es pertinente para la consulta del usuario. Por ejemplo, un gesto con la mano o las muletillas podrían no ser relevantes, por lo que Gemini no procesa esos eventos.
-
Para cada evento relevante, Gemini habilita la llamada a funciones para evaluar si necesita contexto adicional. Según si se necesita contexto adicional, Gemini o un agente arquitecto envían una respuesta al agente despachador.
-
Si necesita más contexto, Gemini busca la tarjeta de agente del arquitecto para comprender cómo estructurar su solicitud.
-
Gemini envía una solicitud estructurada al agente despachador. La solicitud contiene detalles del evento, como el tipo de producto, el número de modelo, el tipo de evento y los atributos.
-
El agente despachador usa el protocolo Agent2Agent (A2A) para enviar la solicitud estructurada al agente arquitecto.
-
El agente de arquitectura envía la consulta a través de un conector de Acceso a VPC sin servidores . El conector permite que el agente acceda de forma segura a los recursos de la red de nube privada virtual (VPC) que se usa para los recursos de almacenamiento en esta arquitectura.
-
El conector de Acceso a VPC sin servidores interactúa con los datos almacenados en caché que se guardan en Memorystore para Redis Cluster. Si los datos no están disponibles en la capa almacenada en caché, el agente de arquitecto interactúa con las instancias de Compute Engine que alojan la base de datos de conocimiento.
-
El agente de arquitectura recibe la información del producto de la caché de datos o la base de datos de conocimiento. El agente de arquitectura envía la información del producto a Gemini para generar una respuesta. Por ejemplo, "Código de error 3B: Falla del ventilador. Acción recomendada: Verifica si hay obstrucciones".
El agente de arquitectura devuelve la información del producto al agente de despacho.
Si no necesita más contexto, Gemini genera una respuesta a la solicitud del usuario directamente.
-
-
El agente despachador recibe la respuesta de Gemini o del agente arquitecto, y genera una respuesta multimodal:
-
Usa el modelo de Gemini Live y el bucle
run_livedel ADK para generar una respuesta multimodal que contenga la solución técnica. -
Almacena la respuesta como un objeto
Blob. -
Envía la solución técnica a través del búfer de transmisión y la conexión WebSocket persistente para entregar la solución técnica al panel del cliente.
-
-
El panel del cliente extrae los datos de
Blobde la solución técnica para proporcionar orientación narrada inmediata y actualiza la IU con transcripciones pertinentes. El bucle de solicitud se completa mientras se mantiene la transmisión bidireccional activa.
Flujo de trabajo de supervisión de seguridad
En el siguiente diagrama, se muestra una arquitectura detallada para un flujo de trabajo de supervisión de la seguridad.
En el diagrama anterior, se muestra el siguiente flujo de datos:
- El panel del cliente establece una conexión
WebSocket persistente
entre el frontend y el servidor de backend para observar la transmisión de video
en vivo. El mensaje de WebSocket empaqueta estos datos multimedia sin procesar en objetos
Bloby los envía de forma continua al búfer de transmisión con el componenteLiveRequestQueuedel ADK. - El búfer de transmisión dirige el flujo de entrada a una herramienta de transmisión que se ejecuta en un bucle continuo en segundo plano para detectar peligros en el fotograma.
- La herramienta de transmisión envía el fotograma más reciente del búfer de transmisión a Gemini.
- Gemini observa los fotogramas
en busca de peligros, como una luz brillante o vapor.
- Si no se detecta ningún peligro, no sucede nada.
- Si se detecta un peligro,
Gemini genera una
respuesta multimodal que contiene el tipo de peligro, los atributos y su
ubicación, y la almacena como un objeto
Blob. Gemini envía la respuesta de advertencia de peligro a la herramienta de transmisión.
- La herramienta de transmisión reenvía la respuesta de advertencia de peligro al búfer de transmisión.
- El búfer de transmisión usa la conexión de WebSocket persistente para entregar la respuesta de advertencia de peligro al panel del cliente.
- El panel del cliente extrae los datos de
Blobde la respuesta de advertencia de peligro para proporcionar orientación narrada inmediata y actualiza la IU con transcripciones pertinentes. Esto completa el bucle de solicitud y, al mismo tiempo, mantiene la transmisión bidireccional activa.
Productos usados
En esta arquitectura de referencia, se usan los siguientes productos y herramientas de Google Cloud :
- Cloud Run: Es una plataforma de computación sin servidores que te permite ejecutar contenedores directamente sobre la infraestructura escalable de Google.
- Gemini: Es una familia de modelos de IA multimodales desarrollados por Google.
- Gemini Enterprise Agent Platform: Es una plataforma integral que te permite crear, escalar, administrar y optimizar agentes de IA de nivel empresarial.
- Kit de desarrollo de agentes (ADK): Es un conjunto de herramientas y bibliotecas para desarrollar, probar e implementar agentes de IA.
- Protocolo Agent2Agent (A2A): Es un protocolo abierto que permite la comunicación y la interoperabilidad entre agentes, independientemente de su lenguaje de programación y entorno de ejecución.
- Acceso a VPC sin servidores: Es un servicio que permite que tus entornos sin servidores se conecten a recursos en una red de nube privada virtual.
- Nube privada virtual (VPC): Es un sistema virtual que proporciona funcionalidad de red global y escalable para tus cargas de trabajo de Google Cloud . La VPC incluye el intercambio de tráfico entre redes de VPC, Private Service Connect, el acceso privado a servicios y la VPC compartida.
- Memorystore for Redis Cluster: Es un servicio de almacén de datos en memoria completamente administrado para Redis.
- Compute Engine: Un servicio de procesamiento seguro y personalizable que te permite crear y ejecutar VMs en la infraestructura de Google.
Para obtener información sobre cómo seleccionar componentes alternativos para tu sistema de IA agéntica, incluidos el framework, el entorno de ejecución del agente, las herramientas, la memoria y los patrones de diseño, consulta Elige los componentes de tu arquitectura de IA agéntica.
Caso de uso
Esta arquitectura de referencia está diseñada para casos de uso que requieren la síntesis en tiempo real de flujos de datos multimodales continuos y bidireccionales. Los siguientes son ejemplos de casos de uso para la arquitectura que se describe en este documento:
- Fabricación industrial y mantenimiento de campo: Permite la reparación manos libres de maquinaria compleja proporcionando a los técnicos un asistente de IA que procesa audio y video en vivo desde lentes inteligentes. El técnico conversa con el asistente de IA para obtener esquemas de la máquina. El asistente de IA usa un agente de base de datos interno que accede a la documentación del producto para garantizar instrucciones de reparación y ensamblaje fundamentadas. Una herramienta de visión en segundo plano simultánea supervisa el flujo bidireccional para advertir de forma proactiva al técnico sobre peligros mecánicos o pasos de ensamblaje incorrectos.
- Asistencia técnica remota: Mejora los resultados de la solución de problemas de los clientes permitiendo que los usuarios compartan un feed de la cámara del teléfono en vivo con un sistema de IA agéntica multimodal. La arquitectura de transmisión bidireccional admite una conversación dinámica en la que el sistema observa el hardware en tiempo real. Si un proceso de visión en segundo plano identifica una conexión defectuosa, como un cable en el puerto incorrecto, el sistema usa la transmisión de baja latencia para interrumpir de inmediato al usuario con orientación correctiva.
Consideraciones del diseño
En esta sección, se describen los factores de diseño, las prácticas recomendadas y las recomendaciones que debes tener en cuenta cuando usas esta arquitectura de referencia para desarrollar una topología que cumpla con tus requisitos específicos de seguridad, operaciones, costo y rendimiento.
La guía de esta sección no está completa. Para obtener más información sobre los factores de diseño y las prácticas recomendadas, y para obtener recomendaciones sobre cómo compilar e implementar un sistema de IA multiagente, consulta Sistema de IA multiagente en Google Cloud.
Security, privacy, and compliance
Para ayudar a abordar los riesgos de seguridad únicos de los agentes de IA, Google recomienda un enfoque que combina controles de seguridad determinísticos con defensas dinámicas basadas en el razonamiento:
- Supervisión humana: Incorpora un flujo con intervención humana en los sistemas críticos para la empresa, de modo que los supervisores humanos puedan revisar los resultados y aprobar, anular o pausar las acciones de los agentes.
- Identidad del agente: Asigna a cada agente una identidad vinculada a la carga de trabajo para aplicar el control de acceso con privilegios mínimos y administrar de forma centralizada las credenciales de las herramientas externas.
- Agent Gateway: Aplica la administración del tráfico de entrada y salida, las políticas de acceso de denegación predeterminada y la inspección de instrucciones y herramientas intercaladas con Model Armor.
Agent Registry: Verifica que los agentes solo se conecten a subagentes y herramientas de MCP aprobados.
Seguridad de entrada de la aplicación: Para controlar el acceso a la aplicación, inhabilita la URL predeterminada de
run.appdel servicio de Cloud Run de frontend y configura un balanceador de cargas de aplicaciones externo regional. Además de balancear las cargas del tráfico entrante a la aplicación, el balanceador de cargas controla la administración de certificados SSL. Para obtener protección adicional, puedes usar las políticas de seguridad de Google Cloud Armor con el objetivo de proporcionar filtrado de solicitudes, protección DSD y límite de frecuencia para el servicio.Seguridad de WebSocket: Protege los datos multimodales sensibles, como las huellas de voz y los videos, aplicando la encriptación de TLS para todas las conexiones de WebSocket bidireccionales.
Comunicación segura de A2A:
- Usa tarjetas de agentes extendidas autenticadas para proteger la comunicación A2A.
- Adjuntar tokens de identidad de OpenID Connect (OIDC) a las solicitudes Los tokens de identidad de OIDC te permiten usar Identity and Access Management (IAM) para validar que solo los agentes autorizados accedan a los datos.
Eficiencia operativa
Para asegurarte de que la configuración de tu agente cumpla con tus requisitos de eficiencia operativa, ten en cuenta las siguientes recomendaciones:
- Secuencias de comandos de bucle de control: Escribe instrucciones del sistema para agentes en vivo bidireccionales como bucles de comportamiento estrictos de máquina de estado, en lugar de solo lineamientos de personalidad. La instrucción del sistema debe indicarle explícitamente al agente que permanezca en silencio hasta que se active. Debe aplicar respuestas breves que prioricen la acción para que la interacción por voz sea concisa y natural.
- Separación de preocupaciones: Usa una herramienta de transmisión en segundo plano dedicada para supervisar los feeds de video de forma independiente del agente principal. El agente raíz de la arquitectura es bidireccional y puede interrumpir su propio discurso de forma instantánea para transmitir estas advertencias de seguridad fundamentales al usuario. Además, pedirle a un solo agente que supervise constantemente un feed de video puede provocar sobrecarga cognitiva y alucinaciones.
Optimización de costos
Para asegurarte de que las configuraciones de tu agente cumplan con tus requisitos de costos, ten en cuenta las siguientes recomendaciones:
- Costos de transferencia de datos: Para reducir los costos de tokens y evitar el agotamiento de la ventana de contexto, usa un muestreo de fotogramas de baja frecuencia, como 2 fotogramas por segundo, y comprime todos los datos en archivos JPEG Base64.
- Instrucciones rentables: La longitud de las instrucciones (entrada) y las respuestas generadas (salida) afectan directamente el rendimiento y el costo. Escribe instrucciones que sean breves, directas y que proporcionen suficiente contexto. Diseña tus instrucciones para obtener respuestas concisas del modelo. Por ejemplo, incluye frases como "resume en 2 oraciones" o "enumera 3 puntos clave". Para obtener más información, consulta las prácticas recomendadas para el diseño de instrucciones.
Optimización del rendimiento
Para garantizar que la configuración de tu agente cumpla con tus requisitos de rendimiento, ten en cuenta las siguientes recomendaciones:
- Almacenamiento en búfer asíncrono: Para desvincular los paquetes de audio y video entrantes del motor de inferencia del modelo, usa un búfer primero en entrar, primero en salir (FIFO) asíncrono y con protección de subprocesos. Este búfer actúa como un multiplexor que garantiza que el sistema siga respondiendo a las interrupciones del usuario sin congelar la interfaz de usuario durante un procesamiento pesado.
- Almacenamiento en caché en la memoria: Para lograr velocidades de lectura de menos de un milisegundo, usa una base de datos de Memorystore for Redis Cluster en la memoria para la bóveda de esquemas del agente de arquitectura. Esta implementación minimiza la latencia, evita los silencios durante las interacciones de voz en tiempo real y proporciona una fuente única de información escalable.
- Asignación de recursos: Según tus requisitos de rendimiento, configura los límites de memoria y los límites de CPU que se asignarán al servicio de Cloud Run.
Implementación
Para implementar una muestra de esta arquitectura, prueba los siguientes Codelabs:
- Codelab: Crea un agente de transmisión bidireccional con el ADK: Crea un sistema de IA de agente único que procese una transmisión de video por Internet en vivo para reconocer gestos específicos del usuario.
- Codelab de sistema multiagente bidireccional en vivo: Crea un sistema de IA multiagente que use la transmisión bidireccional para la interacción de voz y video en tiempo real. El sistema incluye una herramienta de transmisión proactiva para la supervisión continua de la seguridad.
¿Qué sigue?
- Obtén más información para iniciar y administrar sesiones en vivo.
- Explora la introducción al kit de herramientas de la API de Gemini Live del ADK.
- (Video) Mira Cómo crear un agente de IA de voz en tiempo real con el ADK y la API de Gemini Live
- Aprende a alojar agentes de IA en Cloud Run.
- Obtén más información para elegir los componentes de tu arquitectura de IA agéntica.
- Explora recursos de aprendizaje para crear e implementar agentes de nivel empresarial con Gemini Enterprise Agent Ready (GEAR).
- Explora más guías de arquitectura de IA agéntica.
- Para obtener una descripción general de los principios y las recomendaciones de arquitectura específicos de las cargas de trabajo de IA y AA en Google Cloud, consulta la perspectiva de IA y AA en el framework de buena arquitectura.
- Para obtener más información sobre las arquitecturas de referencia, los diagramas y las prácticas recomendadas, explora Cloud Architecture Center.
Colaboradores
Autores:
- Christina Lin | Gerente de ingeniería de relaciones con desarrolladores
- Samantha He | Escritora técnica
Otros colaboradores:
- Autor: Kumar Dhanagopal | Desarrollador de soluciones entre productos
- Olivier Bourgeois | Ingeniero de relaciones con desarrolladores