通过此互动演示,您可以探索 Agent Retrieval(以前称为 Vector Search 2.0),这是适用于 Google Cloud的全代管式向量数据库。使用该演示,通过语义搜索(由 Gemini 自动嵌入提供支持)、关键字文本搜索或混合搜索(使用倒数排序融合 (RRF) 结合语义搜索和关键字文本搜索)在数百万个商品详情中进行搜索。可以使用 Gemini Enterprise Agent Platform Ranking API 对结果进行重新排序。
智能体检索的优势
Vector Search 需要单独的嵌入生成、索引部署和用于元数据的 Vertex AI Feature Store。Agent Retrieval 为数据和嵌入提供统一存储,支持自动生成嵌入,并内置文本搜索功能,无需您管理基础设施。
试试看!
如需运行,请执行以下操作:
在查询字段中,描述您要查询的商品(例如,
vintage 1970s pinball machine)。或者,点击生成查询以自动生成说明。点击提交或按 Enter 键。
不妨试用演示版中的不同选项,抢先了解 Agent Retrieval 和 Vector Search 技术的基础知识。如需了解详情,请参阅界面。
界面
本部分介绍了界面中的设置,您可以使用这些设置来控制智能体检索(以前称为 Vector Search 2.0)返回的结果及其排名。
数据集
使用数据集下拉菜单选择智能体检索将针对哪个数据集运行查询。如需了解每个数据集,请参阅数据集。
查询
如需运行查询,请执行以下操作:
点击数据集,然后选择要针对哪个数据集运行查询。
在查询字段中,添加说明、提出问题或输入一个或多个关键字,以指定您希望智能体检索返回哪些商品的结果。或者,点击生成查询以自动生成查询。
执行下列其中一项操作:
- 如需返回语义相似的结果,请选择语义。
- 如需根据查询的文本语法返回结果,请选择文本。
- 如需执行混合搜索,请同时选择语义和文本。
如果您要对 Mercari 3M items (128-dim Gemini 文本嵌入) 或 Mercari 3M items (768-dim Gemini 文本嵌入) 数据集进行语义查询,请点击查询任务类型,然后选择 QUESTION_ANSWERING 或 RETRIEVAL_QUERY。
点击提交或按 Enter 键运行查询。
修改
您可以使用多种选项来修改智能体检索(以前称为 Vector Search 2.0)从查询返回的结果。
点击行,然后选择您希望智能体检索(以前称为 Vector Search 2.0)返回的搜索结果数量上限。
选择语义以返回语义上相似的结果。
选择文本,以根据查询的文本语法返回结果。
同时选择语义和文本,以启用混合搜索。
选择重新排名,根据搜索结果与查询的相关性对其重新排名。如需了解详情,请参阅使用 Ranking API 提高搜索和 RAG 质量。
选择使用 kNN,以使用 k 最近邻算法检索搜索结果。由于 kNN 提供 100% 的召回率,因此在调试或测试时非常有用。
点击查询任务类型,然后选择要使用的查询任务类型。此功能仅在使用 Mercari 3M items (128-dim Gemini 文本嵌入) 和 Mercari 3M items (768-dim Gemini 文本嵌入) 数据集时可用。如需详细了解查询任务类型,请参阅选择嵌入任务类型。
在 RRF Alpha 字段中,输入介于 0.0 和 1.0 之间的值,以指定 RRF 排名效果。此功能仅适用于混合搜索(同时选择语义和文本)。
Alpha 值:1.0- 纯粹按语义(密集)相似度对结果进行排名。0.0- 纯粹按关键字(稀疏)相关性对结果进行排名。0.5- 为语义(密集)相似度和关键字(稀疏)相关性赋予相同权重,并据此对结果进行排名。
如需了解详情,请参阅什么是倒数排序融合?
指标
查询运行后,系统会提供延迟时间指标,细分搜索不同阶段完成所用的时间。
其中包括:
- 所有来源的总延迟时间。
- 生成嵌入和执行向量搜索所用的时间。
- 如果选择了重新排名,则为重新排名所用的时间。
- 网络和其他来源造成的延迟时间总和。
Embeddings
智能体检索支持以下嵌入类型:
多模态:对商品图片进行多模态语义搜索。有关详情,请参阅什么是多模式搜索:“具有视觉功能的 LLM”改变企业。
文本(语义相似度):根据语义相似度对商品名称和说明进行文本语义搜索。如需了解详情,请参阅 Vertex AI Embeddings for Text:轻松实现 LLM 接地。
文本(检索文档):基于问题或短语的非对称搜索。如需了解详情,请参阅 Vertex AI Embeddings for Text:轻松实现 LLM 接地。
字词:字词级语义理解,推理速度极快,高度紧凑。
查询流程
在智能体检索中,查询过程取决于所执行的搜索类型和嵌入模型。
语义搜索和混合搜索
嵌入生成和搜索在一次 API 调用中完成。
智能体检索功能会使用 Collection 的 vertex_embedding_config 中指定的模型在服务器端自动生成查询嵌入,执行搜索,并返回包含完整元数据的结果,而无需单独执行 Vertex AI Feature Store 提取。
Word2Vec 和多模态
客户端生成查询嵌入,并将其发送到 Agent Retrieval 以进行 Vector Search。结果仍包含来自集合的完整元数据,无需提取 Vertex AI Feature Store。
文本
智能体检索直接执行内置关键字匹配。 未生成嵌入。
数据集
| 数据集 | 说明 | 嵌入模型 | 嵌入任务类型 |
|---|---|---|---|
| Mercari 100 万件商品 (768 维 Gemini 文本嵌入) |
使用 Gemini Embedding 2 嵌入模型,该模型具有单独的文本和图片嵌入。此数据集支持使用不同的向量字段进行文生文和文生图搜索。 | gemini-embedding-2-preview
|
SEMANTIC_SIMILARITY |
| Mercari 300 万项 (128 维 Gemini 文本嵌入) |
嵌入维度数量减少,从而降低了索引大小和存储费用。此数据集的准确率可能低于 Mercari 3M items(768 维 Gemini 文本嵌入)。 | gemini-embedding-001
|
RETRIEVAL_DOCUMENT |
| Mercari 300 万件商品 (768 维 Gemini 文本嵌入) |
具有全维度嵌入,支持自动嵌入,文本语义准确率高。此数据集使用 RETRIEVAL_DOCUMENT 进行非对称查询-文档匹配。 | gemini-embedding-001
|
RETRIEVAL_DOCUMENT |
| Mercari 300 万项 (768 维 Gemini 文本嵌入,语义相似度) |
使用 SEMANTIC_SIMILARITY 任务类型进行相似度匹配。此数据集最适合需要“查找类似内容”功能且查询和文档具有相同语义的用例。 | gemini-embedding-001
|
SEMANTIC_SIMILARITY |
| Mercari 300 万件商品 (1408 维 Gemini Enterprise Agent Platform 多模态嵌入) |
具有 Gemini Enterprise Agent Platform 多模态嵌入,可对商品图片进行编码以进行图片搜索。 | multimodal-embedding-001
|
不适用 |
| Mercari 300 万件商品 (100 维 Word2Vec 文本嵌入) |
使用 Gensim Word2Vec 嵌入模型。此数据集的推理速度最快。它仅提供字词级语义理解,但非常紧凑。 | Gensim Word2Vec | 不适用 |