导入和导出术语库和条目链接简介

借助 Knowledge Catalog(以前称为 Dataplex Universal Catalog),您可以批量导入和导出业务术语库和条目链接,从而大规模管理业务词汇。随着目录的增长,批量操作可帮助您更新术语及其关系,而无需在 Google Cloud 控制台中单独管理它们。

术语

借助 Knowledge Catalog 业务术语库,您可以定义通用业务词汇,并将这些术语与物理数据资产相关联。在使用导入和导出实用程序之前,请先熟悉以下关键组件:

  • 术语库资源:由类别和术语组成,用于建立业务词汇表。
  • 条目关联:资源之间的关系或关联,例如术语表词条与数据资产之间的关系或关联。Knowledge Catalog 支持三种类型的条目链接:

    • definition:将词汇表术语与特定数据资产(例如 BigQuery 列)相关联
    • related:在两个相关术语表字词之间建立关系
    • synonym:在两个同义术语表术语之间建立关系

导入和导出术语库和条目链接的方法

Knowledge Catalog 支持两种主要的批量术语表管理方法。选择最符合您的自动化需求和首选界面的方法:

  • 基于 JSON 的元数据导入
  • 基于 Google 表格的导入和导出实用程序

基于 JSON 的元数据导入

这是内置的全托管式 Knowledge Catalog 机制。您可以使用 Dataplex API 导入 JSON 格式的元数据文件中定义的术语表术语及其关联。

示例用例:在每日预定的数据流水线中自动更新 Knowledge Catalog 元数据,例如直接从外部企业数据库同步术语。

如需了解详情,请参阅使用 JSON 文件导入术语表和条目链接。

基于 Google 表格的导入和导出实用程序

这是一种基于脚本的开源方法,在 dataplex-labs 代码库中提供。它使用 Python 脚本在 Google 表格和 Knowledge Catalog 之间同步术语表元数据。

示例用例:数据治理团队希望与非技术业务利益相关方协作起草和审核数十个新业务术语。该团队使用这种基于电子表格的方法,以便每个人都可以在 Google 表格中修改、评论和批准术语,然后管理员再运行脚本将这些术语批量上传到 Knowledge Catalog。

有关详情,请参阅以下文档:

常见应用场景:使用 Google 表格进行往返编辑

一种常见的管理工作流是执行往返编辑。这涉及导出您现有的目录设置、进行批量修改,以及将这些更改应用回 Knowledge Catalog。

以下工作流说明了如何执行此流程:

  1. 将现有元数据从 Knowledge Catalog 导出到 Google 表格。

    使用术语库导出和条目链接导出实用程序,将现有术语库结构和条目链接提取到 Google 表格中。

  2. 在 Google 表格中修改元数据。

    在 Google 表格中进行必要的更改。由于对称链接(例如 synonym 和 related 条目链接)在导出期间会简化为单个方向,以避免出现重复行,因此您只需管理一次。

    您可以按照所需的列架构向相应工作表添加新行。您还可以直接在行中修改说明或显示名称等详细信息。

  3. 暂存更改并将其从 Google 表格导入回 Knowledge Catalog。

    首先运行术语表导入实用程序。这样可以确保在您尝试关联任何新术语或类别之前,这些术语或类别已在业务术语库中成功创建。

    运行条目链接导入实用程序。此实用程序会读取更新后的关联,将其暂存在 Cloud Storage 存储桶中,并将 definition、related 和 synonym 链接应用于新更新的术语表。

后续步骤