知识目录可发现数据资产之间的潜在关联,帮助您发现相关数据并了解关联的性质。
准备工作
在查看数据资产之间的关系之前,请确保您已被授予所需的角色,并且已启用必要的 API。
所需的角色
如需获得查看数据资产之间关系所需的权限,请让您的管理员为您授予项目的以下 IAM 角色:
-
如需查看 BigQuery 表和视图中的关系,请使用 BigQuery Metadata Viewer (
roles/bigquery.metadataViewer)
如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限。
启用 API
如需使用数据关系,请在项目中启用以下 API:Dataplex API 和 BigQuery API。
启用 API 所需的角色
如需启用 API,您需要拥有 Service Usage Admin IAM 角色 (roles/serviceusage.serviceUsageAdmin),该角色包含 serviceusage.services.enable 权限。了解如何授予角色。
数据关系简介
数据关系用于说明数据资产之间的关联。例如,如果您找到包含客户数据的表,其关系可以显示列出订单或支持服务工单的相关表。此外,关系还充当结构指南,为大语言模型提供必要的上下文。因此,AI 可以生成更精确的回答,并制定准确的查询来检索特定信息。
Knowledge Catalog 会自动发现并存储数据资产之间的常见关系。关系数据源自各种来源,例如:
- 历史查询日志 Knowledge Catalog,可不断分析查询历史记录,以检测表格之间潜在的
JOIN模式。 - 数据洞见功能通过使用大语言模型分析架构属性和数据重叠情况,按需建议数据关系。
支持的数据资产
您可以查看 BigQuery 表和视图的数据关系。
查看数据关系
如需查看 BigQuery 表和视图的数据关系,请使用 Google Cloud 控制台或 Knowledge Catalog API。
控制台
如需查看 BigQuery 中某个表的数据关系,请执行以下操作:
在 Google Cloud 控制台中,前往 Knowledge Catalog 搜索页面。
搜索要查看关系的 BigQuery 表。
在搜索结果中,点击相应表格以打开其条目页面。
关系标签页会列出关系以及以下信息:
- 目标:已连接的数据资产的名称。
- 关系:用于关联资产的特定列。
- 类型:链接的性质。例如
JOIN。 - 来源:关系的来源。例如,查询历史记录。
- 操作:可用于发现资产之间关联的示例查询。
REST
发现的关系会以 EntryLinks 的形式存储在 Knowledge Catalog 中,用于在 Knowledge Catalog 中建立两个数据资产(条目)之间的关系。有关关系的详细信息(例如联接的列和关系来源)存储为 EntryLinks 的方面。
如需查看数据关系,请使用以下方法:
LookupEntryLinks会检索将特定数据条目作为来源或目标的所有EntryLinks,以返回与给定条目关联的完整关系集。LookupContext提供了一个端点,用于通过上下文元数据为 AI 代理提供依据。它会返回一个简明且预先格式化的元数据软件包,其中包括相关的数据资产。
位置
您可以在所有 BigQuery 位置使用数据关系。
限制
- 从查询日志中自动发现关系的功能仅适用于 BigQuery 表和视图。
- 知识目录会分析部分搜索查询历史记录来识别关系,这意味着某些搜索查询可能无法发现链接。
- 执行查询后,系统可能需要长达 48 小时才能发现关系。