随着数据生态系统变得越来越复杂,AI 应用不仅需要访问原始数据,它们需要业务背景信息。 Knowledge Catalog 是 Dataplex 的升级版,重点在于为 AI 和智能体系统赋能。
此平台的核心是一个统一的地图,可将您的实体数据资产与业务语义、治理规则和使用关系相关联。通过将知识目录集成到 AI 工作流中,您可以实现以下目标:
为 AI 智能体提供可靠、最新且符合上下文的元数据,以引导智能体进行推理。
减少幻觉,并确保生成式模型基于已确立的企业事实来提供回答。
为 AI 代理提供统一的上下文(数据格局的单一受监管视图)。
使用场景
Knowledge Catalog 在数据和 AI 生命周期中发挥着不同的作用:
AI 开发者和智能体构建者。开发者正在构建必须查询和理解企业数据的自定义机器人或智能体(例如,使用 LangChain 或智能体开发套件 (ADK))。
- 应用场景:使用自然语言搜索和检索上下文,使智能体能够处理企业数据;智能体数据发现。
数据分析师。使用 Gemini in BigQuery 或 Looker 等 AI 辅助工具查找数据并了解其业务含义的用户。
- 使用场景:自然语言查询和对话式数据探索。
数据管家。负责监督 AI 驱动的元数据丰富化过程并确保目录上下文质量的领域专家。
- 应用场景:审核、整理和推广 AI 生成的元数据和说明。
通过 MCP 访问 Knowledge Catalog 上下文
Model Context Protocol (MCP) 是一种标准化桥梁,可让 AI 智能体和工具无缝连接到 Knowledge Catalog 等数据源。
为了适应不同的部署工作流程,知识目录提供了两种类型的 MCP 实现。了解何时使用每种方法对于设置环境至关重要:
远程 MCP 服务器:在构建云原生应用、将代理部署到无服务器环境(如 Cloud Run)或与外部托管服务集成时,您希望避免管理本地基础设施。
本地 MCP 工具箱:在本地智能体开发、快速原型设计期间,或者需要与本地桌面 IDE(例如 VS Code 或 Cursor)直接集成时。
远程 MCP 服务器
一个由 Google 托管的端点,可让 AI 应用和服务(例如在 Cloud Run 上运行的代理或 Claude 等外部服务)直接访问知识目录工具。
- 端点:
https://dataplex.googleapis.com/mcp - 优势:无需运行本地 MCP 服务器;适用于无服务器环境。
- 参考: 使用远程 MCP 服务器
本地 MCP Toolbox
一种命令行工具,充当 IDE(例如 VS Code、Cursor)或本地工具与知识目录之间的本地代理。
- 安装:可下载的二进制文件。
- 配置:通常涉及项目或 IDE 配置中的
.mcp.json或设置文件。 - 优势:非常适合本地安全开发环境,并可与各种 IDE 集成。
- 参考文档: 使用本地 MCP 服务器
丰富 Knowledge Catalog 的上下文
为了最大限度地发挥 Knowledge Catalog 对 AI 的价值,底层图必须包含丰富的业务背景信息。您可以通过开箱即用的功能或自定义代理富集来实现此目的。
通过数据分析即刻获得丰富化结果
数据分析洞见(由 Gemini in BigQuery 提供支持)可自动丰富您的目录,从而减少新数据平台的“冷启动”问题。启用后,系统会自动生成以下内容:
- 数据集和列级说明。
- 表之间的关系图。
- 基于历史用量模式的示例查询。
这样一来,下游代理无需人工数据管理即可立即获得语义理解。
例如,对于名为 telco_churn 的表,数据洞见可以自动为 Tenure 和 MonthlyCharges 等字段生成说明,推断与客户表的关系,并向目录发布示例查询,例如按细分查找客户流失率。
使用智能体进行自定义上下文扩充
对于拥有专业知识库的组织,您可以构建自定义富集代理,以从内部 Wiki、代码库或专有系统等定制来源注入元数据。
Knowledge Catalog API(CRUD 操作):用于在目录中添加或更新元数据。
- 例如,调用
UpdateEntryAPI 方法,以使用从内部系统提取的文档以编程方式将概览方面附加到表格。
- 例如,调用
ADK 等工具:用于构建富集智能体。
- 例如,构建一个基于 Java 的 ADK 智能体,该智能体使用内部工具提取技术维基页面,使用 LLM 将这些页面解析为术语表术语,并将这些术语同步到知识目录。
导出和导入操作:用于批量更新元数据,并进行审核。
- 例如,您可以将 AI 生成的业务术语表导出到文件中,让数据管家协作审核和完善定义,然后将最终确定的文件重新导入到目录中。