Dans le paysage hautement évolutif de l'IA, la création et le déploiement d'agents posent des défis uniques. Les agents IA peuvent dériver, halluciner et régresser en silence. Ils peuvent prendre des décisions et effectuer des actions auxquelles vous ne vous attendez pas. Ils peuvent également échouer de manière différente des logiciels non agentifs. L'observabilité des agents fait référence aux méthodes permettant d'obtenir des insights sur l'état interne et le comportement des agents logiciels, en particulier les agents optimisés par l'IA, tels que ceux créés à l'aide de grands modèles de langage (LLM).
Avantages de l'observabilité des agents
Comme les agents IA sont non déterministes et complexes, l'observabilité est essentielle pour comprendre, déboguer, évaluer et améliorer leurs performances, leur sécurité et leur fiabilité.
Les aspects clés de l'observabilité des agents incluent la surveillance et l'analyse des éléments suivants :
- Interactions avec les LLM : suivez les prompts, les réponses, l'utilisation des jetons, la latence et les taux d'erreur.
- Utilisation des outils : surveillez les outils et les API externes avec lesquels l'agent interagit, y compris le nombre d'appels, les réussites ou les échecs, la latence et les données échangées.
- Comportement et raisonnement de l'agent : comprendre le processus de prise de décision de l'agent, la séquence d'étapes effectuées et les changements d'état interne.
- Performances : mesurez la latence de bout en bout des appels d'agent, la latence des étapes individuelles et la consommation de ressources, ce qui implique souvent un traçage détaillé.
- Sécurité et sûreté : suivez l'application des règles, identifiez les opérations risquées, analysez la sécurité du contenu et surveillez les modèles d'accès.
- Qualité et évaluation : évaluez l'exactitude, la factualité, l'utilité et la qualité globale des résultats de l'agent, souvent en les intégrant à des frameworks d'évaluation.
Qu'est-ce que l'observabilité des agents dans Google Cloud ?
La surveillance des applications dans Google Cloud fournit à la fois l'observabilité des agents et l'observabilité des applications. Ce service fournit des tableaux de bord et des cartes de topologie qui vous permettent de comprendre l'état et les performances de vos applications, services et charges de travail App Hub. Il génère et affiche également des métriques telles que les taux d'erreur et l'utilisation des jetons pour les ressources d'IA. Pour générer ces métriques, la surveillance des applications filtre et agrège vos données de trace à l'aide d'étiquettes et d'événements spécifiques à l'application qui respectent les conventions sémantiques OpenTelemetry pour l'IA générative.
Pour l'observabilité des agents, nous vous recommandons de créer vos agents avec le framework Agent Development Kit (ADK). Comme l'ADK repose sur OpenTelemetry, la télémétrie qu'il génère est conforme aux conventions sémantiques d'IA générative d'OpenTelemetry.
Pour déboguer les défaillances, surveiller les coûts ou analyser le comportement des agents (y compris ceux de Gemini Enterprise Agent Platform, d'Agent Gateway et de Model Armor), vous avez besoin de données de journaux, de métriques et de traces :
- Les journaux fournissent des informations sur les événements et les erreurs.
- Les métriques vous permettent de surveiller la latence et l'utilisation des jetons.
- Les traces fournissent des informations sur les chemins d'exécution et sont analysées pour dériver des métriques telles que le nombre d'appels de modèle ou l'utilisation totale de jetons. Ces métriques dérivées offrent une visibilité sur les performances et le comportement des agents. Pour en savoir plus, consultez Afficher les ressources d'IA.
- Les données de prompt et de réponse vous permettent d'évaluer la qualité et la prise de décision de l'agent à l'aide de Gen AI Evaluation Service.
Le tableau de bord "Surveillance des applications" d'une application affiche la liste des services et des charges de travail de l'application, tels que les applications Gemini Enterprise, les agents Gemini Enterprise Agent Platform et les serveurs MCP :
Vous pouvez identifier les services et les charges de travail agentiques à l'aide du type d'infrastructure ou du type fonctionnel App Hub. La colonne "Type fonctionnel" est masquée par défaut.
Premiers pas avec l'observabilité des agents
Pour savoir comment créer, déployer et gérer des agents IA qui utilisent le raisonnement et des outils pour effectuer des tâches d'entreprise complexes, consultez la présentation des agents.
Pour en savoir plus sur les outils d'observabilité fournis par Gemini Enterprise Agent Platform, consultez Présentation de l'observabilité.
Pour savoir comment effectuer des évaluations, qui fournissent des informations sur la qualité de l'agent, consultez Évaluation de l'agent.
Pour obtenir des exemples de code, consultez les pages suivantes :
Étapes suivantes
- Pour savoir comment sécuriser et gouverner vos agents, consultez Gouverner vos agents.