Aloja agentes de IA en Cloud Run

En esta página, se destacan los casos de uso para alojar agentes de IA en Cloud Run.

Los agentes de IA son entidades de software autónomas que usan sistemas potenciados por LLM para percibir, decidir y actuar para lograr objetivos. A medida que se crean más agentes autónomos, su capacidad de comunicarse y colaborar se vuelve crucial.

Para obtener una introducción a los agentes de IA, consulta ¿Qué es un agente de IA?.

Casos de uso de agentes de IA en Cloud Run

Puedes implementar agentes de IA como servicios de Cloud Run para organizar un conjunto de tareas asíncronas y proporcionar información a través de múltiples interacciones de solicitud-respuesta.

Un servicio de Cloud Run es un extremo de API escalable para la lógica central de tu aplicación. Administra de manera eficiente a varios usuarios simultáneos a través del ajuste de escala automático, a pedido y rápido de las instancias.

Arquitectura del agente de IA en Cloud Run

Una arquitectura típica de agente de IA implementada en Cloud Run puede incluir varios componentes de Google Cloud así como fuera de Google Cloud:

Los cuatro componentes del agente de IA alojado en Cloud Run.
Figura 1. Arquitectura de un agente de IA en Cloud Run

En el diagrama se muestra lo siguiente:

  • Plataforma de hosting: Cloud Run es una plataforma de hosting para ejecutar agentes y ofrece los siguientes beneficios:

    • Admite la ejecución de cualquier framework de agente para compilar diferentes tipos de agentes y arquitecturas de agentes. Entre los ejemplos de frameworks de agentes, se incluyen el Kit de desarrollo de agentes (ADK), Dify, y LangGraph, y n8n.
    • Proporciona funciones integradas para administrar tu agente. Por ejemplo, Cloud Run proporciona una identidad de servicio integrada que puedes usar como la identidad del agente para llamar a las Google Cloud APIs con credenciales seguras y automáticas.
    • Admite la conexión de tu framework de agente a otros servicios. Puedes conectar tu agente a herramientas propias o de terceros implementadas en Cloud Run. Por ejemplo, para obtener visibilidad de las tareas y ejecuciones de tu agente, puedes implementar y usar herramientas como Langfuse y Arize.

  • Interacciones del agente: Cloud Run admite la transmisión de respuestas HTTP al usuario y WebSockets para interacciones en tiempo real.

  • Modelos de IA generativa: La capa de organización llama a los modelos para obtener capacidades de razonamiento.Estos modelos se pueden alojar en servicios, como los siguientes:

  • Memoria: Los agentes suelen necesitar memoria para conservar el contexto y aprender de las interacciones anteriores. Puedes usar los siguientes servicios:

    • Memorystore para Redis para la memoria a corto plazo.
    • Firestore para la memoria a largo plazo, como almacenar el historial de conversaciones o recordar las preferencias del usuario en función de los datos sin procesar
    • Memory Bank de Agent Runtime para la memoria personalizada a largo plazo. Esta función extrae automáticamente del historial de conversaciones del usuario para recordar y actualizar sus preferencias con el tiempo. Ten en cuenta que debes crear al menos una instancia de Agent Engine para usar esta función con Cloud Run.

  • Base de datos de vectores: Para la Generación aumentada por recuperación (RAG) o la recuperación de datos estructurados, usa una base de datos de vectores para consultar información específica de la entidad o realizar una búsqueda de vectores en los embeddings. Usa la extensión pgvector con los siguientes servicios:

  • Herramientas: El organizador usa herramientas para realizar tareas específicas para interactuar con servicios, APIs o sitios web externos. Esto puede incluir lo siguiente:

¿Qué sigue?