Ospitare agenti AI su Cloud Run

Questa pagina evidenzia i casi d'uso per l'hosting di agenti AI su Cloud Run.

Gli agenti AI sono entità software autonome che utilizzano sistemi basati su LLM per percepire, decidere e agire per raggiungere gli obiettivi. Man mano che vengono creati più agenti autonomi, la loro capacità di comunicare e collaborare diventa fondamentale.

Per un'introduzione agli agenti AI, consulta Che cos'è un agente AI.

Casi d'uso degli agenti AI su Cloud Run

Puoi implementare gli agenti AI come servizi Cloud Run per orchestrare un insieme di attività asincrone e fornire informazioni tramite più interazioni di richiesta-risposta.

Un servizio Cloud Run è un endpoint API scalabile per la logica principale della tua applicazione. Gestisce in modo efficiente più utenti simultanei tramite lo scaling automatico, on demand e rapido delle istanze.

Architettura dell'agente AI su Cloud Run

Una tipica architettura di agenti AI di cui è stato eseguito il deployment su Cloud Run può coinvolgere diversi componenti da Google Cloud e al di fuori di Google Cloud:

I quattro componenti dell'agente AI ospitato su Cloud Run.
Figura 1. Architettura di un agente AI su Cloud Run.

Il diagramma mostra quanto segue:

  • Piattaforma di hosting: Cloud Run è una piattaforma di hosting per l' esecuzione di agenti e offre i seguenti vantaggi:

    • Supporta l'esecuzione di qualsiasi framework di agenti per creare diversi tipi di agenti e architetture di agenti. Esempi di framework di agenti includono Agent Development Kit (ADK), Dify, e LangGraph, e n8n.
    • Fornisce funzionalità integrate per la gestione dell'agente. Ad esempio, Cloud Run fornisce un' identità di servizio integrata che puoi utilizzare come identità dell'agente per chiamare le Google Cloud API con credenziali sicure e automatiche.
    • Supporta la connessione del framework di agenti ad altri servizi. Puoi connettere l'agente a strumenti di prima o terza parte di cui è stato eseguito il deployment su Cloud Run. Ad esempio, per ottenere visibilità sulle attività e sulle esecuzioni dell'agente, puoi eseguire il deployment e utilizzare strumenti come Langfuse e Arize.

  • Interazioni con gli agenti: Cloud Run supporta lo streaming delle risposte HTTP all'utente e i WebSockets per le interazioni in tempo reale.

  • Modelli di AI generativa: il livello di orchestrazione chiama i modelli per le funzionalità di ragionamento capabilities. Questi modelli possono essere ospitati su servizi come i seguenti:

  • Memoria: gli agenti spesso hanno bisogno di memoria per conservare il contesto e imparare dalle interazioni passate. Puoi utilizzare i seguenti servizi:

    • Memorystore for Redis per la memoria a breve termine.
    • Firestore per la memoria a lungo termine, ad esempio per archiviare la cronologia delle conversazioni o ricordare le preferenze dell'utente in base ai dati non elaborati.
    • Memory Bank di Agent Runtime per la memoria personalizzata a lungo termine. Questa funzionalità estrae automaticamente dalla cronologia delle conversazioni dell'utente le informazioni per ricordare e aggiornare le preferenze dell'utente nel tempo. Tieni presente che devi creare almeno un'istanza di Agent Engine per utilizzare questa funzionalità con Cloud Run.

  • Database vettoriale: per Retrieval-Augmented Generation (RAG) o per il recupero di dati strutturati, utilizza un database vettoriale per eseguire query su informazioni specifiche sulle entità o eseguire una ricerca vettoriale sugli embedding. Utilizza l'estensione pgvector con i seguenti servizi:

  • Strumenti:l'orchestratore utilizza strumenti per eseguire attività specifiche per interagire con servizi, API o siti web esterni. Può includere:

    • Model Context Protocol (MCP): utilizza questo protocollo standardizzato per comunicare con strumenti esterni eseguiti tramite un server MCP.
    • Utilità di base: calcoli matematici precisi, conversioni di tempo o altre utilità simili.
    • Chiamata API: effettua chiamate ad altre API interne o di terze parti (accesso in lettura o scrittura).
    • Generazione di immagini o grafici: crea contenuti visivi in modo rapido ed efficace.
    • Automazione di browser e sistemi operativi: esegui un sistema operativo headless o grafico completo all'interno delle istanze di container per consentire all'agente di navigare sul web, estrarre informazioni dai siti web o eseguire azioni utilizzando clic e input da tastiera.
    • Esecuzione del codice: Esegui il codice in un ambiente sicuro con sandbox multilivello, con autorizzazioni IAM minime o nulle.
    • Esecuzione del codice di Agent Runtime: esegui il codice in ambienti sandbox sicuri, isolati e gestiti che supportano l'input e l'output di file, l'esecuzione del codice in meno di un secondo e la memoria a lunga durata. Tieni presente che devi creare almeno un'istanza di Agent Runtime per utilizzare questa funzionalità in Cloud Run.

Passaggi successivi