En el panorama de la IA, que evoluciona rápidamente, la creación y la implementación de agentes presentan desafíos únicos. Los agentes de IA pueden desviarse, alucinar y retroceder en silencio. Pueden tomar decisiones y realizar acciones que no esperas. También pueden fallar de formas diferentes al software no agentivo. La observabilidad de agentes se refiere a los métodos para obtener estadísticas sobre el estado interno y el comportamiento de los agentes de software, en particular los agentes potenciados por IA, como los creados con modelos de lenguaje grandes (LLM).
Beneficios de la observabilidad de agentes
Debido a que los agentes de IA son no deterministas y complejos, la observabilidad es fundamental para comprender, depurar, evaluar y mejorar su rendimiento, seguridad y confiabilidad.
Los aspectos clave de la observabilidad de agentes incluyen la supervisión y el análisis de lo siguiente:
- Interacciones con LLM: Realiza un seguimiento de las instrucciones, las respuestas, el uso de tokens, la latencia y las tasas de errores.
- Uso de herramientas: Supervisa las herramientas y las APIs externas con las que interactúa el agente, incluidas las cantidades de llamadas, los éxitos o las fallas, la latencia y los datos intercambiados.
- Comportamiento y razonamiento del agente: Comprende el proceso de toma de decisiones del agente, la secuencia de pasos tomados y los cambios de estado internos.
- Rendimiento: Mide la latencia de extremo a extremo de las invocaciones de agentes, la latencia de los pasos individuales y el consumo de recursos, lo que suele implicar un seguimiento detallado.
- Seguridad: Realiza un seguimiento de la aplicación de políticas, identifica operaciones riesgosas, analiza la seguridad del contenido y supervisa los patrones de acceso.
- Calidad y evaluación: Evalúa la precisión, la veracidad, la utilidad y la calidad general de los resultados del agente, y, a menudo, se integra con los frameworks de evaluación.
¿Qué es la observabilidad de agentes en Google Cloud?
La Supervisión de aplicaciones en Google Cloud proporciona observabilidad de agentes y observabilidad de aplicaciones. Este servicio proporciona paneles y mapas de topología que te permiten comprender el estado y el rendimiento de tus aplicaciones, servicios y cargas de trabajo de App Hub. También genera y muestra métricas, como las tasas de errores y el uso de tokens para los recursos de IA. Para generar estas métricas, la Supervisión de aplicaciones filtra y agrega tus datos de seguimiento con etiquetas y eventos específicos de la aplicación que siguen las convenciones semánticas de OpenTelemetry GenAI.
Para la observabilidad de agentes, te recomendamos que crees tus agentes con el framework del Kit de desarrollo de agentes (ADK). Debido a que ADK se basa en OpenTelemetry, la telemetría que genera ADK es coherente con las convenciones semánticas de OpenTelemetry GenAI.
Para depurar fallas, supervisar costos o analizar el comportamiento de los agentes, incluidos los agentes de Agent Platform de Gemini Enterprise, Agent Gateway y Model Armor, necesitas datos de registros, métricas y seguimiento:
- Los registros proporcionan información sobre eventos y errores.
- Las métricas te permiten supervisar la latencia y el uso de tokens.
- Los seguimientos proporcionan información sobre las rutas de ejecución y se analizan para obtener métricas, como la cantidad de llamadas al modelo o el uso total de tokens. Estas métricas derivadas proporcionan visibilidad del rendimiento y el comportamiento del agente. Para obtener más información, consulta Visualiza recursos de IA.
- Los datos de instrucciones y respuestas te permiten evaluar la calidad y la toma de decisiones del agente con el servicio de evaluación de IA generativa.
El panel de Supervisión de aplicaciones de una aplicación muestra una lista de los servicios y las cargas de trabajo de la aplicación, como las apps de Gemini Enterprise, los agentes de Agent Platform de Gemini Enterprise y los servidores de MCP:
Puedes identificar los servicios y las cargas de trabajo agentivos con el tipo de infraestructura o el tipo funcional de App Hub. La columna de tipo funcional está oculta de forma predeterminada.
Comienza a usar la observabilidad de agentes
Para obtener información sobre cómo crear, implementar y administrar agentes de IA que usan razonamiento y herramientas para realizar tareas empresariales complejas, consulta Descripción general de los agentes.
Para obtener información sobre las herramientas de observabilidad que proporciona Agent Platform de Gemini Enterprise, consulta Descripción general de la observabilidad.
Para obtener información sobre cómo realizar evaluaciones, que proporcionan información sobre la calidad del agente, consulta Evaluación de agentes.
Para obtener ejemplos de código, consulta lo siguiente:
¿Qué sigue?
- Para obtener información sobre cómo proteger y administrar tus agentes, consulta Administra tus agentes.