使用 Knowledge Catalog 管理 Dataform 代码库的元数据

本文档介绍了如何使用 Knowledge Catalog 查看 Dataform 仓库的元数据 并使用切面为其添加注解。

Knowledge Catalog 可让您存储和管理元数据。 默认情况下,Knowledge Catalog 中会提供 Dataform 仓库,无需进行任何其他配置。 Knowledge Catalog 会自动从 Dataform 仓库中检索以下元数据:

  • 数据资产名称
  • 数据素材资源父级
  • 数据资产位置
  • 数据素材资源类型
  • 对应的 Google Cloud 项目
  • 第三方仓库来源
  • 服务账号

准备工作

  1. 在 Google Cloud 控制台的项目选择器页面上, 选择或创建一个 Google Cloud 项目。

    选择或创建项目所需角色

    • 选择项目:选择项目不需要特定的 IAM 角色,您可以选择已获授角色的任何项目。
    • 创建项目:如需创建项目,您需要 Project Creator 角色 (roles/resourcemanager.projectCreator),该角色包含 resourcemanager.projects.create 权限。了解如何授予 角色

    转到“项目选择器”

  2. 启用 Dataplex API。

    启用 API 所需的角色

    如需启用 API,您需要拥有 serviceusage.services.enable 权限。如果您已创建项目,则可能已通过 Owner 角色 (roles/owner) 拥有此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色

    启用 API

  3. 确保您拥有 必要的 Identity and Access Management (IAM) 权限

所需的角色

如需在 Knowledge Catalog 中管理 Dataform 仓库, 您需要预定义的 Dataform 角色 (用于授予您对 Dataform 资源的访问权限)以及所需的 Knowledge Catalog 角色

在 Knowledge Catalog 中管理元数据

Knowledge Catalog 会将 Dataform 仓库作为 条目记录在日志中,并包含以下 条目值:

系统条目组
Dataform 仓库的系统条目组@dataform
如需在 Knowledge Catalog 中查看仓库条目的详细信息,您需要查看 dataform 系统条目组。 如需了解如何查看条目组中所有条目的列表,请参阅 Knowledge Catalog 文档中的查看条目组的详细信息
系统条目类型
Dataform 仓库的 系统条目类型dataform-repository. 如需查看 Dataform 仓库的详细信息,您需要查看 dataform-repository 系统条目类型。 如需了解如何查看所选条目类型的详细信息,请参阅 Knowledge Catalog 文档中的查看条目类型的详细信息 。 如需了解如何查看所选条目的详细信息,请参阅 Knowledge Catalog 文档中的 查看条目的详细信息

搜索资产

如需了解如何在 Knowledge Catalog 中搜索数据资产,请参阅 Knowledge Catalog 文档中的在 Knowledge Catalog 中搜索数据资产

为仓库添加注解

如需为 Knowledge Catalog 中的 Dataform 仓库提供更多背景信息,您可以使用切面为 Dataform 条目 添加注解。

Dataform 仓库的系统切面类型为 dataform-repository

如需了解如何使用切面为条目添加注解,请参阅 Knowledge Catalog 文档中的管理切面并丰富元数据

限制

在 Knowledge Catalog 中管理 Dataform 仓库时,存在以下限制:

  • 您无法在 Knowledge Catalog 中查看或管理 Dataform 文件级资产,例如表或视图。

位置

您可以使用 Knowledge Catalog 管理 Dataform 仓库 ,这些仓库来自所有 Dataform 位置

配额

在 Knowledge Catalog 中管理 Dataform 仓库 需遵循 Knowledge Catalog 配额和限制

价格

在 Knowledge Catalog 中管理 Dataform 仓库 需遵循 Knowledge Catalog 价格

后续步骤