Observabilité des agents

Dans le paysage de l'IA en évolution rapide, la création et le déploiement d'agents présentent des défis uniques. Les agents d'IA peuvent dériver, halluciner et régresser silencieusement. Elles peuvent prendre des décisions et effectuer des actions auxquelles vous ne vous attendez pas. Ils peuvent également échouer de manière différente des logiciels non agentiques. L'observabilité des agents fait référence aux méthodes permettant d'obtenir des insights sur l'état interne et le comportement des agents logiciels, en particulier les agents optimisés par l'IA tels que ceux conçus à l'aide de grands modèles de langage (LLM).

Avantages de l'observabilité des agents

Étant donné que les agents d'IA sont non déterministes et complexes, l'observabilité est essentielle pour comprendre, déboguer, évaluer et améliorer leurs performances, leur sécurité et leur fiabilité.

Voici quelques aspects clés de l'observabilité des agents :

  • Interactions LLM : suivez les requêtes, les réponses, l'utilisation de jetons, la latence et les taux d'erreur.
  • Utilisation des outils : surveillez les outils et les API externes avec lesquels l'agent interagit, y compris le nombre d'appels, les réussites ou les échecs, la latence et les données échangées.
  • Comportement et raisonnement de l'agent : comprenez le processus de prise de décision de l'agent, la séquence d'étapes suivies et les changements d'état internes.
  • Performances : mesurez la latence de bout en bout des appels d'agent, la latence des étapes individuelles et la consommation de ressources, qui impliquent souvent un traçage détaillé.
  • Sécurité : suivez l'application des règles, identifiez les opérations à risque, analysez la sécurité du contenu et surveillez les schémas d'accès.
  • Qualité et évaluation : évaluez l'exactitude, la factualité, l'utilité et la qualité globale des sorties de l'agent, en les intégrant souvent à des frameworks d'évaluation.

Qu'est-ce que l'observabilité des agents dans Google Cloud ?

La surveillance des applications dans Google Cloud fournit l'observabilité des agents et des applications. Ce service fournit des tableaux de bord et des cartes de topologie qui vous permettent de comprendre l'état et les performances de vos applications, services et charges de travail App Hub. Il génère et affiche également des métriques telles que les taux d'erreur et l'utilisation de jetons pour les ressources d'IA. Pour générer ces métriques, Application Monitoring filtre et agrège vos données de trace à l'aide d'étiquettes et d'événements spécifiques à l'application qui suivent les conventions sémantiques OpenTelemetry pour l'IA générative.

Pour l'observabilité des agents, nous vous recommandons de les créer avec le framework Agent Development Kit (ADK). Étant donné que l'ADK s'appuie sur OpenTelemetry, la télémétrie générée par l'ADK est conforme aux conventions sémantiques OpenTelemetry pour l'IA générative.

Pour déboguer les échecs, surveiller les coûts ou analyser le comportement des agents (y compris ceux de la plate-forme d'agents Gemini Enterprise, de la passerelle d'agent et de Model Armor), vous avez besoin de données de journaux, de métriques et de traces :

  • Les journaux fournissent des informations sur les événements et les erreurs.
  • Les métriques vous permettent de surveiller votre latence et votre utilisation de jetons.
  • Les traces fournissent des informations sur les chemins d'exécution et sont analysées pour obtenir des métriques telles que le nombre d'appels de modèle ou l'utilisation totale de jetons. Ces métriques dérivées offrent une visibilité sur les performances et le comportement des agents. Pour en savoir plus, consultez Afficher les ressources d'IA.
  • Les données sur les requêtes et les réponses vous permettent d'évaluer la qualité et la prise de décision des agents à l'aide du service d'évaluation de l'IA générative.

Le tableau de bord "Surveillance des applications" d'une application affiche la liste des services et des charges de travail de l'application, tels que les applications Gemini Enterprise, les agents Gemini Enterprise Agent Platform et les serveurs MCP :

Vue d'ensemble qui liste les services et les charges de travail d'une application.

Vous pouvez identifier les services et les charges de travail agentiques à l'aide du type d'infrastructure ou du type fonctionnel App Hub. La colonne "Type fonctionnel" est masquée par défaut.

Premiers pas avec l'observabilité des agents

Pour savoir comment créer, déployer et gérer des agents d'IA qui utilisent le raisonnement et des outils pour effectuer des tâches d'entreprise complexes, consultez Présentation des agents.

Pour savoir comment effectuer des évaluations qui fournissent des informations sur la qualité de l'agent, consultez Évaluation de l'agent.

Pour obtenir des exemples de code, consultez les ressources suivantes :

Étapes suivantes