Nel panorama in rapida evoluzione dell'AI, la creazione e il deployment di agenti presentano sfide uniche. Gli agenti AI possono subire drift, generare allucinazioni e regredire in modo silenzioso. Possono prendere decisioni ed eseguire azioni che non ti aspetti. Possono anche fallire in modi diversi rispetto al software non agentico. L'osservabilità degli agenti si riferisce ai metodi per ottenere insight sullo stato interno e sul comportamento degli agenti software, in particolare degli agenti basati sull'AI come quelli creati utilizzando modelli linguistici di grandi dimensioni (LLM).
Vantaggi dell'osservabilità degli agenti
Poiché gli agenti AI sono non deterministici e complessi, l'osservabilità è fondamentale per comprendere, eseguire il debug, valutare e migliorare le loro prestazioni, la sicurezza e l'affidabilità.
Gli aspetti chiave dell'osservabilità degli agenti includono il monitoraggio e l'analisi di quanto segue:
- Interazioni LLM: monitora prompt, risposte, utilizzo dei token, latenza e percentuali di errori.
- Utilizzo degli strumenti: monitora gli strumenti e le API esterni con cui l'agente interagisce, inclusi i conteggi delle chiamate, i successi o gli errori, la latenza e i dati scambiati.
- Comportamento e ragionamento dell'agente: comprendi il processo decisionale dell'agente, la sequenza di passaggi eseguiti e le modifiche dello stato interno.
- Prestazioni: misura la latenza end-to-end delle chiamate degli agenti, la latenza dei singoli passaggi e il consumo di risorse, che spesso comporta una traccia dettagliata.
- Sicurezza: monitora l'applicazione dei criteri, identifica le operazioni rischiose, analizza la sicurezza dei contenuti e monitora i pattern di accesso.
- Qualità e valutazione: valuta la correttezza, la veridicità, l'utilità e la qualità complessiva degli output dell'agente, spesso integrando i framework di valutazione.
Dove si trova l'osservabilità degli agenti Google Cloud?
Application Monitoring in Google Cloud fornisce sia l'osservabilità degli agenti sia l'osservabilità delle applicazioni. Questo servizio fornisce dashboard e mappe di topologia che ti consentono di comprendere l'integrità e il rendimento delle applicazioni, dei servizi e dei workload di App Hub. Genera e visualizza anche metriche come le percentuali di errori e l'utilizzo dei token per le risorse AI. Per generare queste metriche, Application Monitoring filtra e aggrega i dati di traccia utilizzando etichette ed eventi specifici dell'applicazione che seguono le convenzioni semantiche OpenTelemetry GenAI.
Per l'osservabilità degli agenti, ti consigliamo di crearli con il framework Agent Development Kit (ADK). Poiché ADK si basa su OpenTelemetry, la telemetria generata da ADK è coerente con le convenzioni semantiche OpenTelemetry GenAI.
Per eseguire il debug degli errori, monitorare i costi o analizzare il comportamento degli agenti, inclusi gli agenti di Gemini Enterprise Agent Platform, Agent Gateway e Model Armor, devi disporre di dati di log, metriche e tracce:
- I log forniscono informazioni su eventi ed errori.
- Le metriche consentono di monitorare la latenza e l'utilizzo dei token.
- Le tracce forniscono informazioni sui percorsi di esecuzione e vengono analizzate per derivare metriche come il numero di chiamate di modelli o l'utilizzo totale dei token. Queste metriche derivate forniscono visibilità sul rendimento e sul comportamento degli agenti. Per ulteriori informazioni, vedi Visualizzare le risorse AI.
- I dati di prompt e risposta consentono di valutare la qualità e il processo decisionale degli agenti utilizzando il Gen AI evaluation service.
La dashboard Application Monitoring di un'applicazione mostra un elenco dei servizi e dei workload dell'applicazione, come le app Gemini Enterprise, gli agenti di Gemini Enterprise Agent Platform e i server MCP:
Puoi identificare i servizi e i workload agentici utilizzando il tipo di infrastruttura o il tipo funzionale di App Hub. La colonna del tipo funzionale è nascosta per impostazione predefinita.
Inizia a utilizzare l'osservabilità degli agenti
Per informazioni su come creare, eseguire il deployment e gestire gli agenti AI che utilizzano il ragionamento e gli strumenti per eseguire attività aziendali complesse, vedi Panoramica degli agenti.
Per scoprire come eseguire le valutazioni, che forniscono informazioni sulla qualità degli agenti, vedi Valutazione degli agenti.
Per esempi di codice, vedi:
- Strumentare le applicazioni di AI generativa.
- Raccogliere e visualizzare prompt e risposte multimodali.
Passaggi successivi
- Per informazioni su come proteggere e gestire gli agenti, vedi Gestire gli agenti.