No cenário de IA em rápida evolução, a criação e a implantação de agentes apresentam desafios únicos. Os agentes de IA podem desviar, alucinar e regredir silenciosamente. Eles podem tomar decisões e realizar ações que você não espera. Eles também podem falhar de maneiras diferentes do software não autônomo. A observabilidade do agente se refere aos métodos para extrair insights sobre o estado interno e o comportamento de agentes de software, principalmente agentes com tecnologia de IA, como os criados usando modelos de linguagem grandes (LLMs).
Benefícios da observabilidade do agente
Como os agentes de IA são não deterministas e complexos, a observabilidade é crucial para entender, depurar, avaliar e melhorar o desempenho, a segurança e a confiabilidade deles.
Os principais aspectos da observabilidade do agente incluem o monitoramento e a análise do seguinte:
- Interações com LLMs: acompanhe comandos, respostas, uso de tokens, latência e taxas de erro.
- Uso de ferramentas: monitore ferramentas e APIs externas com que o agente interage, incluindo contagens de chamadas, sucessos ou falhas, latência e os dados trocados.
- Comportamento e raciocínio do agente: entenda o processo de tomada de decisões do agente, a sequência de etapas realizadas e as mudanças de estado internas.
- Performance: mede a latência de ponta a ponta das invocações do agente, a latência de etapas individuais e o consumo de recursos, o que geralmente envolve rastreamento detalhado.
- Segurança: acompanhe a aplicação de políticas, identifique operações de risco, analise a segurança do conteúdo e monitore padrões de acesso.
- Qualidade e avaliação: avalie a correção, a veracidade, a utilidade e a qualidade geral das respostas do agente, geralmente integrando-se a frameworks de avaliação.
O que é a observabilidade do agente no Google Cloud?
O Monitoramento de aplicativos no Google Cloud fornece observabilidade do agente e do aplicativo. Esse serviço oferece painéis e mapas de topologia que permitem entender a integridade e o desempenho dos aplicativos, serviços e cargas de trabalho do App Hub. Ele também gera e mostra métricas, como taxas de erro e uso de tokens para recursos de IA. Para gerar essas métricas, o Application Monitoring filtra e agrega seus dados de rastreamento usando rótulos e eventos específicos do aplicativo que seguem as convenções semânticas de IA generativa do OpenTelemetry.
Para a capacidade de observação do agente, recomendamos criar agentes com o framework do Kit de Desenvolvimento de Agente (ADK). Como o ADK depende do OpenTelemetry, a telemetria gerada pelo ADK é consistente com as convenções semânticas de IA generativa do OpenTelemetry.
Para depurar falhas, monitorar custos ou analisar o comportamento do agente, incluindo os agentes da plataforma do Gemini Enterprise, do Agent Gateway e do Model Armor, você precisa de dados de registros, métricas e rastreamentos:
- Os registros fornecem informações sobre eventos e erros.
- Com as métricas, é possível monitorar a latência e o uso de tokens.
- Os rastreamentos fornecem informações sobre caminhos de execução e são analisados para derivar métricas como o número de chamadas de modelo ou o uso total de tokens. Essas métricas derivadas oferecem visibilidade da performance e do comportamento do agente. Para mais informações, consulte Ver recursos de IA.
- Com os dados de comandos e respostas, você pode avaliar a qualidade e a tomada de decisões do agente usando o serviço de avaliação de IA generativa.
O painel "Monitoramento de aplicativos" de um aplicativo mostra uma lista dos serviços e das cargas de trabalho dele, como apps do Gemini Enterprise, agentes da plataforma de agentes do Gemini Enterprise e servidores MCP:
É possível identificar serviços e cargas de trabalho de agentes usando o tipo de infraestrutura ou o tipo funcional do App Hub. A coluna de tipo funcional fica oculta por padrão.
Começar a usar a capacidade de observação de agentes
Para informações sobre como criar, implantar e gerenciar agentes de IA que usam raciocínio e ferramentas para realizar tarefas empresariais complexas, consulte Visão geral dos agentes.
Para saber como realizar avaliações, que fornecem informações sobre a qualidade do agente, consulte Avaliação do agente.
Para exemplos de código, consulte o seguinte:
A seguir
- Para informações sobre como proteger e governar seus agentes, consulte Governar seus agentes.