No cenário de IA em rápida evolução, a criação e a implantação de agentes apresentam desafios únicos. Os agentes de IA podem desviar, alucinar e regredir silenciosamente. Eles podem tomar decisões e realizar ações inesperadas. Eles também podem falhar de maneiras diferentes de softwares não agênticos. A observabilidade do agente se refere aos métodos para receber insights sobre o estado interno e o comportamento de agentes de software, principalmente agentes com tecnologia de IA, como os criados usando modelos de linguagem grandes (LLMs).
Benefícios da observabilidade do agente
Como os agentes de IA são não determinísticos e complexos, a observabilidade é essencial para entender, depurar, avaliar e melhorar a performance, a segurança e a confiabilidade deles.
Os principais aspectos da observabilidade do agente incluem o monitoramento e a análise do seguinte:
- Interações de LLM: rastreie comandos, respostas, uso de tokens, latência e taxas de erros.
- Uso de ferramentas: monitore ferramentas e APIs externas com que o agente interage, incluindo contagens de chamadas, sucessos ou falhas, latência e os dados trocados.
- Comportamento e raciocínio do agente: entenda o processo de tomada de decisão do agente, a sequência de etapas realizadas e as mudanças de estado internas.
- Performance: meça a latência de ponta a ponta das invocações de agentes, a latência de etapas individuais e o consumo de recursos, que geralmente envolve rastreamento detalhado.
- Segurança: rastreie a aplicação de políticas, identifique operações arriscadas, analise a segurança do conteúdo e monitore padrões de acesso.
- Qualidade e avaliação: avalie a correção, a veracidade, a utilidade e a qualidade geral das saídas do agente, geralmente integrando-se a frameworks de avaliação.
O que é a observabilidade do agente Google Cloud?
O Monitoramento de aplicativos em Google Cloud fornece observabilidade de agentes e de aplicativos. Esse serviço oferece painéis e mapas de topologia que permitem entender a integridade e a performance dos aplicativos, serviços e cargas de trabalho do App Hub. Ele também gera e mostra métricas, como taxas de erros e uso de tokens para recursos de IA. Para gerar essas métricas, o Monitoramento de aplicativos filtra e agrega os dados de rastreamento usando rótulos e eventos específicos do aplicativo que seguem as convenções semânticas do OpenTelemetry GenAI.
Para a observabilidade do agente, recomendamos criar seus agentes com o framework do Kit de Desenvolvimento de Agente (ADK). Como o ADK depende do OpenTelemetry, a telemetria gerada pelo ADK é consistente com as convenções semânticas do OpenTelemetry GenAI.
Para depurar falhas, monitorar custos ou analisar o comportamento do agente, incluindo agentes da plataforma de agentes do Gemini Enterprise, do Agent Gateway e do Model Armor, você precisa de dados de registro, métricas e rastreamento:
- Os registros fornecem informações sobre eventos e erros.
- As métricas permitem monitorar a latência e o uso de tokens.
- Os rastreamentos fornecem informações sobre caminhos de execução e são analisados para derivar métricas, como o número de chamadas de modelo ou o uso total de tokens. Essas métricas derivadas fornecem visibilidade sobre a performance e o comportamento do agente. Para mais informações, consulte Conferir recursos de IA.
- Os dados de comando e resposta permitem avaliar a qualidade e a tomada de decisão do agente usando o serviço de avaliação de IA generativa.
O painel do Monitoramento de aplicativos de um aplicativo mostra uma lista dos serviços e cargas de trabalho do aplicativo, como apps do Gemini Enterprise, agentes da plataforma de agentes do Gemini Enterprise e servidores MCP:
É possível identificar serviços e cargas de trabalho agênticos usando o tipo de infraestrutura ou o tipo funcional do App Hub. A coluna de tipo funcional fica oculta por padrão.
Começar a usar a observabilidade do agente
Para informações sobre como criar, implantar e gerenciar agentes de IA que usam raciocínio e ferramentas para realizar tarefas empresariais complexas, consulte Visão geral dos agentes.
Para saber mais sobre as ferramentas de observabilidade fornecidas pela plataforma de agentes do Gemini Enterprise, consulte Visão geral da observabilidade.
Para saber como realizar avaliações, que fornecem informações sobre a qualidade do agente, consulte Avaliação de agentes.
Para exemplos de código, consulte o seguinte:
A seguir
- Para informações sobre como proteger e governar seus agentes, consulte Governar seus agentes.