Knowledge Catalog(以前称为 Dataplex Universal Catalog)会发现数据资产之间潜在的关联,帮助您发现相关数据并了解关联的性质。
准备工作
在查看数据资产之间的关联之前,请确保您已获得所需的角色。
所需的角色
如需在 Knowledge Catalog 中查看数据资产之间的关联,您不需要任何特定于 Knowledge Catalog 的 IAM 角色。
Knowledge Catalog 会使用您在资产所在的源系统(例如 BigQuery)中的现有权限来确定您查看关联的能力。例如,如需查看涉及 BigQuery 表的关联,您需要拥有 bigquery.tables.get 权限。
如果您没有在源系统中查看资产的权限,则 Knowledge Catalog 关联图表中会隐藏涉及该资产的所有关联。这样可确保关联可见性遵循源系统中建立的安全边界和权限。
数据关联简介
数据关联说明了数据资产之间的连接方式。例如,如果您找到包含客户数据的表,其关联可以显示列出订单或支持工单的相关表。此外,关联还充当结构指南,为大语言模型提供必要的上下文。因此,AI 会生成更准确的回答,制定准确的查询来检索特定信息。
Knowledge Catalog 会自动发现并存储数据资产之间的常见关联。关联数据源自各种来源,例如:
- 历史查询日志 Knowledge Catalog,它会持续分析查询历史记录,以检测表之间潜在的
JOIN模式。 - 数据洞察会使用大语言 模型分析架构属性和数据重叠,按 需建议数据关联。
支持的数据资产
您可以查看 BigQuery 表和视图的数据关联。
查看数据关联
如需查看 BigQuery 表和视图的数据关联,请使用 Google Cloud 控制台或 Dataplex API。
控制台
如需查看 BigQuery 中某个表的数据关联,请执行以下操作:
在 Google Cloud 控制台中,前往 Knowledge Catalog 搜索 页面。
搜索要查看关联的 BigQuery 表。
在搜索结果中,点击该表以打开其条目页面。
关联 标签页会列出关联以及以下信息:
- 目标:已连接的数据资产的名称。
- 关联:用于关联资产的特定列。
- 类型 :关联的性质。例如,
JOIN。 - 来源 :关联的来源。例如,查询历史记录。
- 操作 :可用于发现资产之间关联的示例查询。
REST
发现的关联在 Knowledge Catalog 中存储为
EntryLinks
,用于在
Knowledge Catalog 中的两个数据资产(条目)之间建立关联。有关关联的详细信息(例如联接的列和关联来源)存储为 EntryLinks 的方面。
如需查看数据关联,请使用以下方法:
LookupEntryLinks检索将特定数据条目作为来源或目标的所有EntryLinks,以返回与给定条目关联的完整关联集。LookupContext提供了一个端点,用于使用上下文元数据为 AI 代理提供基础。 它会返回一个简洁的预格式化元数据软件包,其中包括相关的数据资产。
位置
您可以在所有 BigQuery 位置使用数据关联。
限制
- 只有 BigQuery 表和视图才能自动从查询日志中发现关联。
- Knowledge Catalog 会分析查询历史记录的样本来识别关联,这意味着某些查询可能无法发现关联。
- 执行查询后,可能需要长达 48 小时才能发现关联。