在 Knowledge Catalog 中查看数据关系

Knowledge Catalog(以前称为 Dataplex Universal Catalog)会发现数据资产之间潜在的关联,帮助您发现相关数据并了解关联的性质。

准备工作

在查看数据资产之间的关联之前,请确保您已获得所需的角色。

所需的角色

如需在 Knowledge Catalog 中查看数据资产之间的关联,您不需要任何特定于 Knowledge Catalog 的 IAM 角色。 Knowledge Catalog 会使用您在资产所在的源系统(例如 BigQuery)中的现有权限来确定您查看关联的能力。例如,如需查看涉及 BigQuery 表的关联,您需要拥有 bigquery.tables.get 权限。

如果您没有在源系统中查看资产的权限,则 Knowledge Catalog 关联图表中会隐藏涉及该资产的所有关联。这样可确保关联可见性遵循源系统中建立的安全边界和权限。

数据关联简介

数据关联说明了数据资产之间的连接方式。例如,如果您找到包含客户数据的表,其关联可以显示列出订单或支持工单的相关表。此外,关联还充当结构指南,为大语言模型提供必要的上下文。因此,AI 会生成更准确的回答,制定准确的查询来检索特定信息。

Knowledge Catalog 会自动发现并存储数据资产之间的常见关联。关联数据源自各种来源,例如:

  • 历史查询日志 Knowledge Catalog,它会持续分析查询历史记录,以检测表之间潜在的 JOIN 模式。
  • 数据洞察会使用大语言 模型分析架构属性和数据重叠,按 需建议数据关联。

支持的数据资产

您可以查看 BigQuery 表和视图的数据关联。

查看数据关联

如需查看 BigQuery 表和视图的数据关联,请使用 Google Cloud 控制台或 Dataplex API。

控制台

如需查看 BigQuery 中某个表的数据关联,请执行以下操作:

  1. 在 Google Cloud 控制台中,前往 Knowledge Catalog 搜索 页面。

    转到搜索

  2. 搜索要查看关联的 BigQuery 表。

  3. 在搜索结果中,点击该表以打开其条目页面。

关联 标签页会列出关联以及以下信息:

  • 目标:已连接的数据资产的名称。
  • 关联:用于关联资产的特定列。
  • 类型 :关联的性质。例如,JOIN
  • 来源 :关联的来源。例如,查询历史记录。
  • 操作 :可用于发现资产之间关联的示例查询。

REST

发现的关联在 Knowledge Catalog 中存储为 EntryLinks ,用于在 Knowledge Catalog 中的两个数据资产(条目)之间建立关联。有关关联的详细信息(例如联接的列和关联来源)存储为 EntryLinks 的方面。

如需查看数据关联,请使用以下方法:

  • LookupEntryLinks 检索将特定数据条目作为来源或目标的所有 EntryLinks,以返回与给定条目关联的完整关联集。

  • LookupContext 提供了一个端点,用于使用上下文元数据为 AI 代理提供基础。 它会返回一个简洁的预格式化元数据软件包,其中包括相关的数据资产。

位置

您可以在所有 BigQuery 位置使用数据关联。

限制

  • 只有 BigQuery 表和视图才能自动从查询日志中发现关联。
  • Knowledge Catalog 会分析查询历史记录的样本来识别关联,这意味着某些查询可能无法发现关联。
  • 执行查询后,可能需要长达 48 小时才能发现关联。

后续步骤