RAG de IA generativa con Cloud SQL

Esta guía te ayuda a comprender la plantilla RAG de IA generativa con Cloud SQL, que es una plantilla proporcionada por Google para una app de chat. Esta plantilla muestra cómo puedes crear una aplicación de chat que use la generación de aumento de recuperación (RAG). Cuando los usuarios hacen preguntas en la app, esta proporciona respuestas basadas en la información almacenada como vectores en una base de datos.

Productos usados

La aplicación contiene los siguientes productos Google Cloud :

  • Cloud Load Balancing (opcional): Es un servicio que proporciona balanceo de cargas escalable y de alto rendimiento en Google Cloud.
  • Vertex AI: Es una plataforma de aprendizaje automático (AA) que te permite entrenar y, también, implementar modelos de AA y aplicaciones de IA, y personalizar LLM para usarlos en aplicaciones.
  • Cloud SQL: Un servicio basado en la nube para bases de datos de MySQL, PostgreSQL y SQL Server que está completamente administrado en la infraestructura deGoogle Cloud .
  • Cloud Run: Un servicio completamente administrado que te permite compilar y, además, implementar apps alojadas en contenedores sin servidores.Google Cloud se encarga del escalamiento y otras tareas de infraestructura.
  • Secret Manager: Sistema de almacenamiento seguro y conveniente para guardar claves de API, contraseñas, certificados y otros datos sensibles.

Arquitectura

En la siguiente imagen, se muestran los componentes y las conexiones de la aplicación:

Una aplicación de IA generativa basada en RAG en el lienzo de diseño. La aplicación incluye componentes de frontend, recuperación, IA, administración de secretos y bases de datos.

A continuación, se muestra el flujo de procesamiento de solicitudes de la aplicación:

  1. Cargas datos en una base de datos de PostgreSQL en Cloud SQL.
  2. Vertex AI crea incorporaciones de campos de texto y las almacena como vectores.
  3. Un frontend de Cloud Load Balancing recibe solicitudes externas y distribuye el tráfico al backend de Cloud Load Balancing.
  4. El backend de Cloud Load Balancing distribuye el tráfico al servicio de frontend de Cloud Run.
  5. El servicio de frontend se comunica con el servicio de recuperación para una llamada de IA generativa.
  6. El servicio de backend convierte la solicitud en una incorporación y busca las incorporaciones existentes.
  7. El servicio de recuperación envía los resultados de lenguaje natural de la búsqueda de embeddings, junto con la instrucción original, a Vertex AI para crear una respuesta.

¿Qué sigue?