Generative AI RAG with Cloud SQL

本指南可帮助您了解 Generative AI RAG with Cloud SQL 模板,这是 Google 提供的聊天应用模板。此模板演示了如何创建使用检索增强生成 (RAG) 的聊天应用。当用户在应用中提问时,应用会根据以向量形式存储在数据库中的信息来提供回答。

使用的产品

该应用包含以下 Google Cloud 商品:

  • Cloud Load Balancing(可选):在 Google Cloud上提供高性能、可伸缩负载均衡的服务。
  • Vertex AI:一个机器学习 (ML) 平台,可让您训练和部署机器学习模型和 AI 应用,以及自定义 LLM 以在应用中使用。
  • Cloud SQL:一种基于云的服务,适用于 MySQL、PostgreSQL 和 SQL Server 数据库,是Google Cloud 基础设施上的全代管式服务。
  • Cloud Run:一项全代管式服务,可让您构建和部署无服务器容器化应用。Google Cloud 负责处理伸缩和其他基础设施任务。
  • Secret Manager:安全便捷的存储系统,用于存储 API 密钥、密码、证书和其他敏感数据。

架构

下图显示了应用中的组件和连接:

设计画布中的生成式 AI RAG 应用。该应用包含前端、检索、AI、Secret 管理和数据库组件。

以下是应用的请求处理流程:

  1. 您将数据加载到 Cloud SQL 中的 PostgreSQL 数据库。
  2. Vertex AI 会创建文本字段的嵌入,并以向量形式存储。
  3. Cloud Load Balancing 前端接收外部请求,并将流量分发到 Cloud Load Balancing 后端。
  4. Cloud Load Balancing 后端将流量分配给 Cloud Run 前端服务。
  5. 前端服务与检索服务通信,以进行生成式 AI 调用。
  6. 后端服务将请求转换为嵌入并搜索现有嵌入。
  7. 检索服务会将嵌入搜索的自然语言结果与初始提示一并发送至 Vertex AI,以创建回答。

后续步骤