创建数据产品

本文档面向希望在 Dataplex Universal Catalog 中创建和配置数据产品的数据产品所有者。

如需详细了解数据产品的架构和关键概念,请参阅数据产品简介

准备工作

  1. Enable the Dataplex, BigQuery APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  2. 确保已创建并填充数据资产(例如 BigQuery 数据集、表和视图)。

    如需详细了解如何创建数据资产,请参阅以下文档:

  3. 确定或创建要在数据产品中配置的 Google 群组。每个数据产品都必须具有唯一的 Google 群组。

所需的角色

本部分概述了两个主要用户群组所需的最少 IAM 角色:数据产品所有者(创建和管理数据产品的人员)和数据产品使用者(搜索和使用数据产品的人员)。

数据产品所有者的角色

如需获得创建和管理数据产品所需的权限,请让您的管理员为您授予项目的以下 IAM 角色:

如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

这些预定义角色可提供创建和管理数据产品所需的权限。如需查看所需的确切权限,请展开所需权限部分:

所需权限

创建和管理数据产品需要以下权限:

  • 修改 overview 系统切面类型: dataplex.entryGroups.useOverviewAspect
  • 修改 refresh cadence 系统切面类型: dataplex.entryGroups.useRefreshCadenceAspect

您也可以使用自定义角色或其他预定义角色来获取这些权限。

数据产品使用者的角色

为了让数据产品使用者能够搜索、查看和请求访问数据产品,作为数据产品所有者,您必须确保数据产品可被发现。为此,请向数据产品使用方授予数据产品的以下 IAM 角色:

  • 在 Dataplex Universal Catalog 搜索中搜索和访问数据产品:Dataplex Data Product Consumer (dataplex.dataProductsConsumer)
  • 拥有只读权限,可查看数据产品定义和元数据:Dataplex Data Product Viewer (dataplex.dataProductViewer)
  • 请求访问数据产品:Dataplex Data Product Consumer (dataplex.dataProductsConsumer)

创建和配置数据产品

创建数据产品涉及以下简要任务:

  1. 创建数据产品

    此初始步骤是强制性的,需要定义核心细节,例如唯一的数据产品名称、说明、创建数据产品的区域以及所有者详细信息。

  2. 可选:添加资产

    在此阶段,您需要选择要包含在数据产品中的资产。一项关键限制是,资产必须与数据产品本身位于同一区域。您最多只能向数据产品添加 10 项资产。

    如需查看支持的资产列表,请参阅支持的资产

  3. 可选:配置访问权限群组和资产权限

    在此可选阶段,您可以通过创建访问权限群组来简化访问权限控制。这些访问权限群组充当底层 Google 群组的用户友好型别名(例如 AnalystReader)。然后,您可以通过选择特定的 IAM 角色并将其映射到特定资产的访问权限群组来分配权限。

  4. 可选:添加其他详细信息,例如合同、切面和文档

    此可选阶段可增强治理和元数据。您可以添加合同(一种第一方切面类型),以正式传达商定的数据刷新频率,并指定刷新频率、刷新时间和阈值等参数。您还可以添加切面,为数据产品提供更多元数据。此外,您还可以添加富文本格式的文档,例如用户指南和示例查询。

如需创建和配置数据产品,请完成以下各部分中的步骤:

创建数据产品

  1. 在 Google Cloud 控制台中,前往 Dataplex Universal Catalog 数据产品页面。

    前往“数据产品”

  2. 点击创建

  3. 创建数据产品窗格中,输入以下详细信息:

    • 数据产品名称:为数据产品输入一个独一无二的名称。
    • 数据产品 ID:这是系统自动生成的唯一标识符。 您可以修改此字段。
    • 项目 ID:这是创建数据产品的项目的唯一标识符。浏览并选择相应项目。
    • 区域:选择数据产品创建所在的区域或多区域。
    • 图标:浏览并选择一个图标,以便直观地标识数据产品。这是可选操作。
    • 说明:输入数据产品的简要说明。
    • 联系人:输入数据产品所有者的邮箱 ID。
    • 标签:添加键值对标签以整理资源。这是可选操作。
  4. 点击创建数据产品

可选:添加资产

  1. 添加资产窗格中,点击 +添加

  2. 搜索并选择要添加到数据产品中的资产。 您选择的资产必须与数据产品位于同一区域。

    如果您拥有必要的权限,则可以通过点击相应资产来查看其元数据。

  3. 如需优化搜索结果,请使用过滤条件

  4. 选择资产后,点击添加

  5. 点击继续

可选:配置访问权限群组和资产权限

配置访问权限群组和资产权限窗格中,您可以创建访问权限群组并为资产分配权限。

配置访问权限群组

如需配置访问权限群组,请按以下步骤操作:

  1. 点击添加访问权限群组

  2. 访问权限群组名称字段中,输入访问权限群组的名称。 例如 Analyst

  3. 访问权限群组说明字段中,输入访问权限群组的说明。

  4. 访问权限群组标识符字段中,输入您要分配给相应访问权限群组的 Google 群组的邮箱。请求访问此访问权限群组的数据产品使用方可以作为成员添加到映射的 Google 群组。

    如果您没有 Google 群组,可以创建一个。如需了解详情,请参阅在 Google Cloud 控制台中创建和管理 Google 群组

  5. 点击添加

配置资产权限

配置访问权限群组后,您可以为数据产品中的资产配置权限:

  1. 资产权限部分,选择要配置权限的资产。

  2. 点击配置权限

  3. 选择访问权限群组字段中,选择一个访问权限群组。

  4. 分配 IAM 角色字段中,选择要分配给访问权限群组的 IAM 角色。

    例如,如果您的资源是名为 Sales 的 BigQuery 表,并且您选择了 Analyst 访问权限群组,还为该访问权限群组分配了 BigQuery Metadata Viewer 角色,那么属于 Analyst 访问权限群组的数据产品使用方就拥有对 Sales 表的 BigQuery Metadata Viewer 权限。

    您可以为资产添加多个角色。

  5. 点击配置。相应资产现在会显示其已分配的权限。

  6. 如需为其他资产配置权限,请重复上述步骤。

  7. 点击继续

可选:添加其他详细信息

添加其他详细信息窗格中,您可以为数据产品添加合同、切面和其他文档。

添加合同

如需添加合同,请按以下步骤操作:

  1. 点击添加合同

  2. 选择合同字段中,选择 Refresh cadence

  3. 频率字段中,选择一个商定的时间表,用于确定数据更新或交付的频率,确保从数据提供方到数据使用方的可预测流程。例如 Weekly

  4. 刷新时间字段中,输入数据在来源处更新到可供使用者使用之间的最长可接受时间。例如 23:00 PST

  5. 阈值(以分钟为单位)字段中,输入可接受的数据传送延迟时间(以分钟为单位)。例如,输入 30 可将阈值设置为 30 分钟。

  6. 可选:在 Cron 时间表字段中,输入一个 cron 表达式,用于定义数据生成和交付的时间表,格式为:MINUTE HOUR DAY_OF_MONTH MONTH DAY_OF_WEEK

    接受的值如下:

    • MINUTE: 0-59
    • HOUR: 0-23
    • DAY_OF_MONTH: 1-31
    • MONTH1-31JAN-DEC
    • DAY_OF_WEEK0-6SUN-SAT

    例如,0 8 * * 1-5 在工作日(周一至周五)上午 8:00 运行。

  7. 点击保存

添加其他元数据

如需以切面形式为数据产品添加其他元数据,请按以下步骤操作:

  1. 点击+添加切面

  2. 选择切面类型字段中,从列表中搜索并选择一个切面类型。例如 Geo context

  3. 国家/地区字段中,选择资产所属的国家/地区。

  4. 区域字段中,选择相应资源所属的营业区域。

  5. 点击保存

    如需添加其他文档(例如用户指南或示例查询),请点击文档旁边的修改。系统随即会打开富文本编辑器。 添加内容,然后点击保存

  6. 点击保存

    新创建的数据产品会显示在 Dataplex Universal Catalog 的数据产品页面上。

后续步骤