使用 Knowledge Catalog 管理 Dataform 代码库的元数据

本文档介绍了如何使用 Knowledge Catalog 查看 Dataform 代码库的元数据，以及如何使用切面为这些元数据添加注释。

借助 Knowledge Catalog，您可以存储和管理元数据。默认情况下，Knowledge Catalog 中会提供 Dataform 代码库，无需进行任何其他配置。Knowledge Catalog 会自动从 Dataform 仓库中检索以下元数据：

  • 数据资产名称
  • 数据素材资源父级
  • 数据资产位置
  • 数据素材资源类型
  • 对应的 Google Cloud 项目
  • 第三方代码库来源
  • 服务账号

准备工作

  1. 在 Google Cloud 控制台的项目选择器页面上，选择或创建 Google Cloud 项目。

    选择或创建项目所需的角色

    • 选择项目：选择项目不需要特定的 IAM 角色，您可以选择已获授角色的任何项目。
    • 创建项目：如需创建项目，您需要拥有 Project Creator 角色 (roles/resourcemanager.projectCreator)，该角色包含 resourcemanager.projects.create 权限。了解如何授予角色。

    转到“项目选择器”

  2. 启用 Dataplex API。

    启用 API 所需的角色

    如需启用 API，您需要拥有 Service Usage Admin IAM 角色 (roles/serviceusage.serviceUsageAdmin)，该角色包含 serviceusage.services.enable 权限。了解如何授予角色。

    启用 API

  3. 确保您拥有必要的 Identity and Access Management (IAM) 权限。

所需的角色

如需在 Knowledge Catalog 中管理 Dataform 代码库，您需要拥有可让您访问 Dataform 资源的预定义 Dataform 角色，以及所需的 Knowledge Catalog 角色。

在 Knowledge Catalog 中管理元数据

Knowledge Catalog 会将 Dataform 代码库作为条目记录在日志中，并包含以下条目值：

系统条目组
Dataform 代码库的系统条目组为 @dataform。如需在 Knowledge Catalog 中查看代码库条目的详细信息，您需要查看 dataform 系统条目组。如需了解如何查看条目组中所有条目的列表，请参阅 Knowledge Catalog 文档中的查看条目组的详细信息。
系统条目类型
Dataform 代码库的系统条目类型为 dataform-repository。如需查看 Dataform 仓库的详细信息，您需要查看 dataform-repository 系统条目类型。如需了解如何查看所选条目类型的详细信息，请参阅 Knowledge Catalog 文档中的查看条目类型的详细信息。如需了解如何查看所选条目的详细信息，请参阅 Knowledge Catalog 文档中的查看条目的详细信息。

搜索资产

如需了解如何在 Knowledge Catalog 中搜索数据资产，请参阅 Knowledge Catalog 文档中的在 Knowledge Catalog 中搜索数据资产。

为代码库添加注解

如需在 Knowledge Catalog 中为 Dataform 仓库提供更多上下文，您可以使用方面来注释 Dataform 条目。

Dataform 代码库的系统方面类型为 dataform-repository。

如需了解如何使用方面为条目添加注解，请参阅 Knowledge Catalog 文档中的管理方面并丰富元数据。

限制

在 Knowledge Catalog 中管理 Dataform 代码库的功能可用，但存在以下限制：

  • 您无法在 Knowledge Catalog 中查看或管理 Dataform 文件级资产（例如表或视图）。

位置

您可以使用 Knowledge Catalog 管理来自所有 Dataform 位置的 Dataform 仓库。

配额

在 Knowledge Catalog 中管理 Dataform 代码库需遵循 Knowledge Catalog 配额和限制。

价格

在 Knowledge Catalog 中管理 Dataform 代码库需遵循 Knowledge Catalog 价格。

后续步骤