面向 AI 代理的 Knowledge Catalog

随着数据生态系统变得越来越复杂,AI 应用不仅需要访问原始数据,它们需要业务背景信息。 Knowledge Catalog 是 Dataplex 的升级版,重点在于为 AI 和智能体系统赋能。

此平台的核心是一个统一的地图,可将您的实体数据资产与业务语义、治理规则和使用关系相关联。通过将知识目录集成到 AI 工作流中,您可以实现以下目标:

  • 为 AI 智能体提供可靠、最新且符合上下文的元数据,以引导智能体进行推理。

  • 减少幻觉,并确保生成式模型基于已确立的企业事实来提供回答。

  • 为 AI 代理提供统一的上下文(数据格局的单一受监管视图)。

使用场景

Knowledge Catalog 在数据和 AI 生命周期中发挥着不同的作用:

  • AI 开发者和智能体构建者。开发者正在构建必须查询和理解企业数据的自定义机器人或智能体(例如,使用 LangChain 或智能体开发套件 (ADK))。

    • 应用场景:使用自然语言搜索和检索上下文,使智能体能够处理企业数据;智能体数据发现。
  • 数据分析师。使用 Gemini in BigQuery 或 Looker 等 AI 辅助工具查找数据并了解其业务含义的用户。

    • 使用场景:自然语言查询和对话式数据探索。
  • 数据管家。负责监督 AI 驱动的元数据丰富化过程并确保目录上下文质量的领域专家。

    • 应用场景:审核、整理和推广 AI 生成的元数据和说明。

通过 MCP 访问 Knowledge Catalog 上下文

Model Context Protocol (MCP) 是一种标准化桥梁,可让 AI 智能体和工具无缝连接到 Knowledge Catalog 等数据源。

为了适应不同的部署工作流程,知识目录提供了两种类型的 MCP 实现。了解何时使用每种方法对于设置环境至关重要:

  • 远程 MCP 服务器:在构建云原生应用、将代理部署到无服务器环境(如 Cloud Run)或与外部托管服务集成时,您希望避免管理本地基础设施。

  • 本地 MCP 工具箱:在本地智能体开发、快速原型设计期间,或者需要与本地桌面 IDE(例如 VS Code 或 Cursor)直接集成时。

远程 MCP 服务器

一个由 Google 托管的端点,可让 AI 应用和服务(例如在 Cloud Run 上运行的代理或 Claude 等外部服务)直接访问知识目录工具。

  • 端点https://dataplex.googleapis.com/mcp
  • 优势:无需运行本地 MCP 服务器;适用于无服务器环境。
  • 参考使用远程 MCP 服务器

本地 MCP Toolbox

一种命令行工具,充当 IDE(例如 VS Code、Cursor)或本地工具与知识目录之间的本地代理。

  • 安装:可下载的二进制文件。
  • 配置:通常涉及项目或 IDE 配置中的 .mcp.json 或设置文件。
  • 优势:非常适合本地安全开发环境,并可与各种 IDE 集成。
  • 参考文档使用本地 MCP 服务器

丰富 Knowledge Catalog 的上下文

为了最大限度地发挥 Knowledge Catalog 对 AI 的价值,底层图必须包含丰富的业务背景信息。您可以通过开箱即用的功能或自定义代理富集来实现此目的。

通过数据分析即刻获得丰富化结果

数据分析洞见(由 Gemini in BigQuery 提供支持)可自动丰富您的目录,从而减少新数据平台的“冷启动”问题。启用后,系统会自动生成以下内容:

  • 数据集和列级说明。
  • 表之间的关系图。
  • 基于历史用量模式的示例查询。

这样一来,下游代理无需人工数据管理即可立即获得语义理解。

例如,对于名为 telco_churn 的表,数据洞见可以自动为 TenureMonthlyCharges 等字段生成说明,推断与客户表的关系,并向目录发布示例查询,例如按细分查找客户流失率。

使用智能体进行自定义上下文扩充

对于拥有专业知识库的组织,您可以构建自定义富集代理,以从内部 Wiki、代码库或专有系统等定制来源注入元数据。

  • Knowledge Catalog API(CRUD 操作):用于在目录中添加或更新元数据。

    • 例如,调用 UpdateEntry API 方法,以使用从内部系统提取的文档以编程方式将概览方面附加到表格。
  • ADK 等工具:用于构建富集智能体。

    • 例如,构建一个基于 Java 的 ADK 智能体,该智能体使用内部工具提取技术维基页面,使用 LLM 将这些页面解析为术语表术语,并将这些术语同步到知识目录。
  • 导出和导入操作:用于批量更新元数据,并进行审核。

    • 例如,您可以将 AI 生成的业务术语表导出到文件中,让数据管家协作审核和完善定义,然后将最终确定的文件重新导入到目录中。

后续步骤