Vertex AI RAG Engine 中的矢量数据库选项

本页介绍了 Vertex AI RAG Engine 支持的向量数据库。您还可以了解如何将向量数据库(向量存储区)连接到 RAG 语料库。

向量数据库在实现 RAG 应用的检索方面发挥着至关重要的作用。向量数据库提供了一种专门的方式来存储和查询向量嵌入,向量嵌入是文本或其他数据的数学表示法,用于捕获语义含义和关系。借助向量嵌入,RAG 系统能够在庞大的知识库中快速准确地找到相关性最高的信息,即使处理复杂或细致的查询也是如此。与嵌入模型结合使用时,矢量数据库可以帮助克服 LLM 的局限性,并提供更准确、更相关且更全面的回答。

支持的矢量数据库

创建 RAG 语料库时,Vertex AI RAG Engine 会提供适用于企业的 RagManagedDb 作为默认向量数据库,无需额外预配或管理。RagManagedDb 同时提供 KNN 和 ANN 搜索选项,并允许切换到基本层级,以便快速制作原型和进行实验。如需详细了解如何在 RagManagedDb 上选择检索策略或更新层级,请参阅RagManagedDb 与 RAG 搭配使用。如需让 Vertex AI RAG 引擎自动为您创建和管理向量数据库,请参阅创建 RAG 语料库

除了默认的 RagManagedDb 之外,Vertex AI RAG Engine 还允许您在 RAG 语料库中预配和使用向量数据库。在这种情况下,您负责矢量数据库的生命周期和可伸缩性。

比较向量数据库选项

下表列出了 Vertex AI RAG 引擎支持的向量数据库选项,并提供了指向说明如何在 RAG 语料库中使用向量数据库的页面的链接。

向量数据库 优势 最适合 缺点 支持的距离指标 搜索类型 发布阶段
RagManagedDb(默认)是一种区域分布式可伸缩数据库服务,可提供极高的一致性和高可用性,并且可用于矢量搜索。 简单易行
  • 无需任何设置。
  • 适用于企业级和小规模用例。
  • 一致性非常高。
  • 高可用性。
  • 低延迟。
  • 非常适合事务性工作负载。
  • 生成大量文档。
  • 构建企业级 RAG。
  • 快速开发概念验证。
  • 提供较低的预配和维护开销。
  • 与聊天机器人搭配使用。
  • 构建 RAG 应用。
  • 为了获得最佳召回率,ANN 功能要求在数据发生重大更改后重新构建索引。
cosine KNN(默认)和 ANN 预览
Vector Search 是 Vertex AI 中针对机器学习任务进行了优化的向量数据库服务。
  • 与其他 Google Cloud 服务集成。
  • 可伸缩性和可靠性由 Google Cloud 基础架构提供支持。
  • 采用随用随付定价模式。
  • 生成大量文档。
  • 构建企业级 RAG。
  • 管理矢量数据库基础架构。
  • 现有 Google Cloud 客户或希望使用多项 Google Cloud 服务的任何人。
  • 更新不会立即反映。
  • 使用 Google Cloud时会受制于供应商。
  • 费用可能较高,具体取决于您的使用场景。
cosine

dot-product
ANN 已全面推出
Vertex AI Feature Store 是一项代管式服务,用于整理、存储和提供机器学习特征。
  • 与 Vertex AI 和其他 Google Cloud 服务集成。
  • 可伸缩性和可靠性由 Google Cloud 基础架构提供支持。
  • 利用现有的 BigQuery 基础架构。
  • 生成大量文档。
  • 构建企业级 RAG。
  • 管理矢量数据库基础架构。
  • 现有客户或希望使用多项服务的客户。 Google Cloud Google Cloud
  • 只有在执行手动同步后,更改才会在网店中显示。
  • 使用 Google Cloud时会受制于供应商。
cosine

dot-product

L2 squared
ANN 预览
Weaviate 是一个灵活且模块化的开源矢量数据库。
  • 支持各种数据类型,并提供内置图表功能。
  • 提供开源软件和活跃的社区。
  • 高度灵活且可定制。
  • 支持针对不同模态(例如文本和图片)的多种数据类型和模块。
  • 可以从云服务商(例如 Google Cloud、AWS 和 Azure)中进行选择。
  • 生成大量文档。
  • 构建企业级 RAG。
  • 管理矢量数据库基础架构。
  • 现有 Weaviate 客户。
  • 更新不会立即反映。
  • 设置和管理可能更复杂。
  • 性能可能会因配置而异。
cosine

dot-product

L2 squared

hamming

manhattan
ANN + 混合搜索支持 预览
Pinecone 是一种全代管式云原生向量数据库,专为高性能相似度搜索而设计。
  • 快速上手。
  • 出色的可伸缩性和性能。
  • 专注于矢量搜索,并使用过滤和元数据搜索等高级功能。
  • 可以从云服务商(例如 Google Cloud、AWS 和 Azure)中进行选择。
  • 生成大量文档。
  • 构建企业级 RAG。
  • 管理矢量数据库基础架构。
  • 现有 Pinecone 客户。
  • 更新不会立即反映。
  • 可能比其他选项更昂贵。
  • 配额和限制会限制规模和性能。
  • 对底层基础设施的有限控制。
cosine

euclidean

dot-product
ANN 已全面推出

后续步骤