Nel panorama in rapida evoluzione dell'AI, la creazione e il deployment di agenti presentano sfide uniche. Gli agenti AI possono subire drift, avere allucinazioni e regredire in modo silenzioso. Possono prendere decisioni ed eseguire azioni che non ti aspetti. Possono anche fallire in modi diversi rispetto al software non agentico. L'osservabilità degli agenti si riferisce ai metodi per ottenere insight sullo stato interno e sul comportamento degli agenti software, in particolare degli agenti basati sull'AI come quelli creati utilizzando modelli linguistici di grandi dimensioni (LLM).
Vantaggi dell'osservabilità degli agenti
Poiché gli agenti AI sono non deterministici e complessi, l'osservabilità è fondamentale per comprendere, eseguire il debug, valutare e migliorare le loro prestazioni, la sicurezza e l'affidabilità.
Gli aspetti chiave dell'osservabilità degli agenti includono il monitoraggio e l'analisi di quanto segue:
- Interazioni LLM: monitora prompt, risposte, utilizzo dei token, latenza e tassi di errore.
- Utilizzo degli strumenti: monitora gli strumenti e le API esterni con cui l'agente interagisce, inclusi i conteggi delle chiamate, i successi o gli errori, la latenza e i dati scambiati.
- Comportamento e ragionamento dell'agente: comprendi il processo decisionale dell'agente, la sequenza di passaggi eseguiti e le modifiche dello stato interno.
- Prestazioni: misura la latenza end-to-end delle chiamate degli agenti, la latenza dei singoli passaggi e il consumo di risorse, che spesso comporta una traccia dettagliata.
- Sicurezza: monitora l'applicazione dei criteri, identifica le operazioni rischiose, analizza la sicurezza dei contenuti e monitora i pattern di accesso.
- Qualità e valutazione: valuta la correttezza, la veridicità, l'utilità e la qualità complessiva degli output dell'agente, spesso integrando i framework di valutazione.
Che cos'è l'osservabilità degli agenti in Google Cloud?
Application Monitoring in Google Cloud fornisce sia l'osservabilità degli agenti sia l'osservabilità delle applicazioni. Questo servizio fornisce dashboard e mappe di topologia che ti consentono di comprendere l'integrità e il rendimento delle applicazioni, dei servizi e dei workload di App Hub. Genera e visualizza anche metriche come tassi di errore e utilizzo dei token per le risorse AI. Per generare queste metriche, Application Monitoring filtra e aggrega i dati di traccia utilizzando etichette ed eventi specifici dell'applicazione che seguono le convenzioni semantiche OpenTelemetry GenAI.
Per l'osservabilità degli agenti, ti consigliamo di crearli con il framework Agent Development Kit (ADK). Poiché ADK si basa su OpenTelemetry, la telemetria generata da ADK è coerente con le convenzioni semantiche OpenTelemetry GenAI.
Per eseguire il debug degli errori, monitorare i costi o analizzare il comportamento degli agenti, inclusi quelli di Gemini Enterprise Agent Platform, Agent Gateway e Model Armor, sono necessari dati di log, metriche e tracce:
- I log forniscono informazioni su eventi ed errori.
- Le metriche consentono di monitorare la latenza e l'utilizzo dei token.
- Le tracce forniscono informazioni sui percorsi di esecuzione e vengono analizzate per derivare metriche come il numero di chiamate di modelli o l'utilizzo totale dei token. Queste metriche derivate forniscono visibilità sul rendimento e sul comportamento degli agenti. Per saperne di più, consulta Visualizzare le risorse AI.
- I dati di prompt e risposta consentono di valutare la qualità e il processo decisionale degli agenti utilizzando il Gen AI evaluation service.
La dashboard di Application Monitoring per un'applicazione mostra un elenco dei servizi e dei workload dell'applicazione, come le app Gemini Enterprise, gli agenti Gemini Enterprise Agent Platform e i server MCP:
Puoi identificare i servizi e i workload agentici utilizzando il tipo di infrastruttura o il tipo funzionale di App Hub. La colonna del tipo funzionale è nascosta per impostazione predefinita.
Inizia a utilizzare l'osservabilità degli agenti
Per informazioni su come creare, eseguire il deployment e gestire gli agenti AI che utilizzano il ragionamento e gli strumenti per eseguire attività aziendali complesse, consulta Panoramica degli agenti.
Per scoprire di più sugli strumenti di osservabilità forniti da Gemini Enterprise Agent Platform, consulta Panoramica dell'osservabilità.
Per scoprire come eseguire le valutazioni, che forniscono informazioni sulla qualità degli agenti, consulta Valutazione degli agenti.
Per esempi di codice, vedi quanto segue:
Passaggi successivi
- Per informazioni su come proteggere e gestire gli agenti, consulta Gestire gli agenti.