Nel panorama in rapida evoluzione dell'AI, la creazione e il deployment di agenti presentano sfide uniche. Gli agenti AI possono presentare deviazioni, avere allucinazioni e regredire silenziosamente. Possono prendere decisioni e compiere azioni che non ti aspetti. Possono anche fallire in modi diversi rispetto al software non agentico. L'osservabilità degli agenti si riferisce ai metodi per ottenere informazioni sullo stato interno e sul comportamento degli agenti software, in particolare degli agenti basati sull'AI, come quelli creati utilizzando i modelli linguistici di grandi dimensioni (LLM).
Vantaggi dell'osservabilità degli agenti
Poiché gli agenti AI sono non deterministici e complessi, l'osservabilità è fondamentale per comprendere, eseguire il debug, valutare e migliorare le loro prestazioni, sicurezza e affidabilità.
Gli aspetti chiave dell'osservabilità degli agenti includono il monitoraggio e l'analisi di quanto segue:
- Interazioni con LLM: monitora prompt, risposte, utilizzo dei token, latenza e tassi di errore.
- Utilizzo degli strumenti: monitora gli strumenti e le API esterni con cui interagisce l'agente, inclusi i conteggi delle chiamate, i successi o gli errori, la latenza e i dati scambiati.
- Comportamento e ragionamento dell'agente: comprendi il processo decisionale dell'agente, la sequenza di passaggi eseguiti e le modifiche dello stato interno.
- Prestazioni: misura la latenza end-to-end delle chiamate dell'agente, la latenza dei singoli passaggi e il consumo di risorse, che spesso comporta un tracciamento dettagliato.
- Sicurezza e protezione: monitora l'applicazione delle policy, identifica le operazioni rischiose, analizza la sicurezza dei contenuti e monitora i pattern di accesso.
- Qualità e valutazione: valuta la correttezza, l'oggettività, l'utilità e la qualità complessiva degli output dell'agente, spesso integrandosi con i framework di valutazione.
Che cos'è l'osservabilità degli agenti in Google Cloud?
Application Monitoring in Google Cloud fornisce l'osservabilità sia degli agenti sia delle applicazioni. Questo servizio fornisce dashboard e mappe della topologia che ti consentono di comprendere l'integrità e le prestazioni delle applicazioni, dei servizi e dei workload di App Hub. Inoltre, genera e visualizza metriche come le percentuali di errore e l'utilizzo dei token per le risorse AI. Per generare queste metriche, Application Monitoring filtra e aggrega i dati di traccia utilizzando etichette ed eventi specifici dell'applicazione che seguono le convenzioni semantiche di OpenTelemetry GenAI.
Per l'osservabilità degli agenti, ti consigliamo di creare i tuoi agenti con il framework Agent Development Kit (ADK). Poiché l'ADK si basa su OpenTelemetry, la telemetria generata dall'ADK è coerente con le convenzioni semantiche di OpenTelemetry GenAI.
Per eseguire il debug degli errori, monitorare i costi o analizzare il comportamento degli agenti, inclusi quelli di Gemini Enterprise Agent Platform, Agent Gateway e Model Armor, hai bisogno di dati di log, metriche e tracce:
- I log forniscono informazioni su eventi ed errori.
- Le metriche ti consentono di monitorare la latenza e l'utilizzo dei token.
- Le tracce forniscono informazioni sui percorsi di esecuzione e vengono analizzate per ricavare metriche come il numero di chiamate al modello o l'utilizzo totale dei token. Queste metriche derivate forniscono visibilità sulle prestazioni e sul comportamento dell'agente. Per saperne di più, consulta Visualizza le risorse AI.
- I dati dei prompt e delle risposte ti consentono di valutare la qualità e il processo decisionale degli agenti utilizzando il servizio di valutazione dell'AI generativa.
La dashboard di monitoraggio delle applicazioni per un'applicazione mostra un elenco dei servizi e dei workload dell'applicazione, ad esempio app Gemini Enterprise, agenti Gemini Enterprise Agent Platform e server MCP:
Puoi identificare i servizi e i workload agentici utilizzando il tipo di infrastruttura o il tipo funzionale di App Hub. La colonna Tipo funzionale è nascosta per impostazione predefinita.
Inizia a utilizzare l'osservabilità degli agenti
Per informazioni su come creare, eseguire il deployment e gestire agenti AI che utilizzano il ragionamento e gli strumenti per eseguire attività aziendali complesse, consulta la panoramica degli agenti.
Per scoprire di più sugli strumenti di osservabilità forniti da Gemini Enterprise Agent Platform, consulta la panoramica dell'osservabilità.
Per scoprire come eseguire le valutazioni, che forniscono informazioni sulla qualità dell'agente, consulta Valutazione dell'agente.
Per esempi di codice, consulta quanto segue:
Passaggi successivi
- Per informazioni su come proteggere e gestire gli agenti, consulta Gestisci gli agenti.