Observabilidad de agentes

En el panorama de la IA, que evoluciona rápidamente, la creación y la implementación de agentes presentan desafíos únicos. Los agentes de IA pueden desviarse, alucinar y retroceder en silencio. Pueden tomar decisiones y realizar acciones que no esperas. También pueden fallar de formas diferentes a las del software no basado en agentes. La observabilidad del agente se refiere a los métodos para obtener estadísticas sobre el estado interno y el comportamiento de los agentes de software, en particular los agentes potenciados por IA, como los que se compilan con modelos de lenguaje grandes (LLM).

Beneficios de la observabilidad de agentes

Debido a que los agentes de IA son no determinísticos y complejos, la observabilidad es fundamental para comprender, depurar, evaluar y mejorar su rendimiento, seguridad y confiabilidad.

Los aspectos clave de la observabilidad del agente incluyen la supervisión y el análisis de lo siguiente:

  • Interacciones con el LLM: Haz un seguimiento de las instrucciones, las respuestas, el uso de tokens, la latencia y las tasas de error.
  • Uso de herramientas: Supervisa las herramientas externas y las APIs con las que interactúa el agente, incluidos los recuentos de llamadas, los éxitos o los errores, la latencia y los datos intercambiados.
  • Comportamiento y razonamiento del agente: Comprende el proceso de toma de decisiones del agente, la secuencia de pasos que realiza y los cambios de estado internos.
  • Rendimiento: Mide la latencia de extremo a extremo de las invocaciones del agente, la latencia de los pasos individuales y el consumo de recursos, lo que a menudo implica un seguimiento detallado.
  • Seguridad: Realiza un seguimiento de la aplicación de políticas, identifica operaciones riesgosas, analiza la seguridad del contenido y supervisa los patrones de acceso.
  • Calidad y evaluación: Evalúa la precisión, la facticidad, la utilidad y la calidad general de los resultados del agente, a menudo integrándose con marcos de evaluación.

¿Qué es la observabilidad de agentes en Google Cloud?

La Supervisión de la aplicación en Google Cloud proporciona observabilidad del agente y de la aplicación. Este servicio proporciona paneles y mapas de topología que te permiten comprender el estado y el rendimiento de tus aplicaciones, servicios y cargas de trabajo de App Hub. También genera y muestra métricas, como las tasas de error y el uso de tokens para los recursos de IA. Para generar estas métricas, Application Monitoring filtra y agrega tus datos de seguimiento con etiquetas y eventos específicos de la aplicación que siguen las convenciones semánticas de OpenTelemetry GenAI.

Para la observabilidad de los agentes, te recomendamos que los compiles con el framework del Kit de desarrollo de agentes (ADK). Dado que el ADK se basa en OpenTelemetry, la telemetría que genera el ADK es coherente con las convenciones semánticas de OpenTelemetry GenAI.

Para depurar errores, supervisar costos o analizar el comportamiento de los agentes (incluidos los de la plataforma de agentes de Gemini Enterprise, la puerta de enlace del agente y Model Armor), necesitas datos de registros, métricas y registros de seguimiento:

  • Los registros proporcionan información sobre eventos y errores.
  • Las métricas te permiten supervisar la latencia y el uso de tokens.
  • Los registros proporcionan información sobre las rutas de ejecución y se analizan para derivar métricas, como la cantidad de llamadas al modelo o el uso total de tokens. Estas métricas derivadas proporcionan visibilidad sobre el rendimiento y el comportamiento de los agentes. Para obtener más información, consulta Cómo ver recursos de IA.
  • Los datos de instrucciones y respuestas te permiten evaluar la calidad y la toma de decisiones del agente con el servicio de evaluación de IA generativa.

En el panel de Application Monitoring de una aplicación, se muestra una lista de los servicios y las cargas de trabajo de la aplicación, como las apps de Gemini Enterprise, los agentes de la plataforma de agentes de Gemini Enterprise y los servidores de MCP:

Es un resumen que enumera los servicios y las cargas de trabajo de una aplicación.

Puedes identificar los servicios y las cargas de trabajo de agentes con el tipo de infraestructura o el tipo funcional de App Hub. La columna de tipo funcional está oculta de forma predeterminada.

Comienza a usar la observabilidad del agente

Para obtener información sobre cómo compilar, implementar y administrar agentes de IA que usan razonamiento y herramientas para realizar tareas empresariales complejas, consulta la Descripción general de los agentes.

Para obtener información sobre cómo realizar evaluaciones, que proporcionan información sobre la calidad del agente, consulta Evaluación del agente.

Para ver ejemplos de código, consulta lo siguiente:

¿Qué sigue?