数据产品简介

本文档介绍了 Knowledge Catalog（以前称为 Dataplex Universal Catalog）中数据产品的架构和主要概念。

数据产品是经过整理的逻辑数据资产集合，经过正式打包，以确保其可被发现、可信且可访问。数据产品的主要功能包括：

  • 将目录资产整理成一个逻辑单元，以解决特定的业务问题并更快地获得分析洞见。
  • 分发时附带包含说明、文档和切面的上下文。
  • 通过合同建立信任，使数据提供方能够向数据使用方提供保证。
  • 为数据使用方提供自助式工作流，以评估数据产品并获取对数据的访问权限。

主要概念

本部分介绍了与数据产品相关的主要概念和术语。

数据产品

经过整理的逻辑数据资产分组，经过正式打包，以确保其可被发现、可信且可访问，从而解决特定的业务问题。

素材资源

指向物理数据资源的指针，例如 BigQuery 数据集、表或视图。一个数据产品包含一个或多个资产。

访问权限群组

访问权限群组可简化数据产品的权限管理。它们将用户友好的角色（例如 Reader 或 Analyst）映射到底层的 Google 群组或服务账号。这种抽象使数据产品所有者能够在概念层面管理访问权限，并帮助数据产品使用方请求适当级别的访问权限。

  • 数据产品所有者配置访问权限群组，并为其分配特定的资产权限。

  • 数据产品使用方使用这些群组请求对数据产品的访问权限。

数据产品所有者或数据提供方

负责创建和管理数据产品的个人或团队。这包括管理质量、访问权限和文档。

数据产品使用方

使用数据产品生成分析洞见的个人、团队或 AI 智能体。

合同

数据产品所有者与其使用方之间的协议。此协议通过定义数据提供和使用方式的具体条款（例如刷新时间表和质量标准）来设定明确的预期。

用例示例

假设一位数据科学家正在分析电子商务业务。他们的目标是按流量来源查找平均订单价值 (AOV)，并查看用户年龄与订单规模之间是否存在关联。为此，他们需要合并来自多个表的数据，例如 order_details、user_traffic 和 user_demographics。

在传统设置中，此过程会产生摩擦。为了生成分析洞见，数据科学家必须先在组织庞大的数据环境中找到正确的表，然后联系每位数据所有者，说明其访问请求的理由，并等待批准。

借助数据产品，数据所有者可以将相关资产打包到一个名为“电子商务业务数据”的产品中，从而简化此体验。此文件包包含以下内容：

  • 资产

    • BigQuery 表 order_details 和 user_traffic（包含历史订单数据和流量来源）
    • BigQuery 视图 user_demographics（提供用户详细信息，但不包含 PII）

  • 访问权限群组

    • 预定义的 Reader 和 Writer 群组，用于简化访问请求

  • 合同

    • 定义数据刷新频率的合同（例如，太平洋时间每周上午 8:00）

  • 上下文

    • 包含示例查询和其他详细信息的文档
    • 用于描述数据敏感性的其他元数据

数据科学家现在可以将此数据产品视为一个逻辑单元。 这样一来，他们就可以放心地生成分析洞见，回答“每个流量来源的平均订单价值是多少？”之类的问题，最终揭示哪些来源带来的客户价值最高。

数据产品用户流程

Knowledge Catalog 中的数据产品生命周期涉及两个关键的用户历程：一个是数据产品所有者（或提供方）创建和管理数据的历程，另一个是数据产品使用方发现和使用数据的历程。

数据产品所有者历程

此历程侧重于打包、保护和治理数据产品，以确保其可信且可访问。

  • 创建：定义数据产品并添加资产。这涉及以下操作：

    • 配置唯一名称、项目、区域和说明。
    • 添加资产，例如 BigQuery 表、数据集或视图。
    • 配置访问权限群组（例如 Analyst 或 Reader），并将其映射到底层的 Google 群组或服务账号，以简化权限管理。
    • 为特定资产的这些访问权限群组分配必要的 IAM 角色。
    • 添加合同（一种系统切面），以正式传达商定的数据刷新节奏、频率和阈值。

    如需了解详情，请参阅 创建数据产品。

  • 管理：更新数据产品并确保其可被发现。这涉及以下操作：

    • 更新基本详细信息、资产、权限和补充切面（元数据）以及富文本文档。
    • 授予使用方发现和请求访问数据产品的权限。

    如需了解详情，请参阅管理数据产品。

数据产品使用方历程

此历程侧重于快速查找可信数据并获取使用这些数据所需的权限。

  • 发现：查找与特定业务问题相关的可信数据。这涉及以下操作：

    • 使用 Knowledge Catalog 搜索功能，通过 关键字或自然语言查找打包的数据产品。
    • 查看数据产品的概览、资产、合同和其他切面，以确定其是否适合使用。

    如需了解详情，请参阅 搜索数据产品。

  • 请求访问权限：向数据产品所有者请求访问数据的权限。

    如需了解详情，请参阅 请求访问数据产品。

  • 使用：访问基础资产以生成分析洞见。这涉及以下操作：

    • 获得批准后，您就可以访问相应产品及其资产。例如，如果资产是 BigQuery 表，您可以前往 BigQuery Studio 并直接查询数据。

    • 对于在 Google Cloud之外运行的应用和开发工作流，您可以使用外部元数据 网关公开数据产品。如需了解详情，请参阅 使用 Knowledge Catalog 远程 MCP 服务器。

    如需了解详情，请参阅 使用数据产品。

支持的资产

数据产品可以由一个或多个数据资产组成。支持以下数据资产：

  • BigQuery 数据集
  • BigQuery 表
  • BigQuery 视图
  • BigQuery 例程
  • BigQuery 模型
  • BigQuery 外部表
  • Gemini Enterprise Agent Platform 数据集
  • Gemini Enterprise Agent Platform 模型
  • Cloud Storage 存储分区
  • Iceberg REST Catalog 目录
  • Iceberg REST Catalog 命名空间
  • Iceberg REST Catalog 表

限制

  • 位置：数据产品及其基础资产必须位于同一 Google Cloud 位置。
  • BigQuery 模型：对数据产品中的 BigQuery 模型的访问权限通过应用于父数据集的 IAM 政策的 IAM 条件进行管理。共享 BigQuery 模型受 IAM 条件的限制。
  • 配额和限制：如需查看 API 速率限制和容量配额的完整列表， 请参阅 数据产品 API 请求的配额。
  • 可用区存储分区不受支持。

后续步骤