数据产品简介

本文档介绍了 Knowledge Catalog（以前称为 Dataplex Universal Catalog）中数据产品的架构和关键概念。

数据产品是经过精心整理的逻辑数据资产集合，经过正式打包，可确保其可发现、可信且可访问。数据产品的主要功能包括：

  • 将目录资产整理成一个逻辑单元，以解决特定的业务问题并更快地获得分析洞见。
  • 分发时附带包含说明、文档和切面的上下文。
  • 通过合同建立信任，使数据提供方能够向数据使用方提供保证。
  • 为数据使用方提供自助式工作流，以便他们评估数据产品并获取数据访问权限。

主要概念

本部分介绍了与数据产品相关的主要概念和术语。

数据产品

经过精心整理的逻辑数据资产组，经过正式打包，可供发现、信任和访问，以解决特定的业务问题。

素材资源

指向物理数据资源（例如 BigQuery 数据集、表或视图）的指针。数据产品包含一项或多项资源。

访问权限群组

访问权限群组可简化数据产品的权限管理。它们将用户友好型角色（例如 Reader 或 Analyst）映射到底层 Google 群组或服务账号。这种抽象化使数据产品所有者能够在概念层面上管理访问权限，并帮助数据产品使用者请求适当的访问权限级别。

  • 数据产品所有者可以配置访问群组，还可以选择分配默认 IAM 角色，该角色会自动应用于数据产品中的所有受支持的资产。如果未分配默认角色，所有者可以直接为资产分配特定的 IAM 角色。

  • 数据产品使用方可以使用这些群组来申请数据产品的访问权限。

数据产品所有者或数据提供方

负责创建和管理数据产品的个人或团队。这包括管理质量、访问权限和文档。

数据产品使用方

使用数据产品来生成数据分析的个人、团队或 AI 智能体。

合同

数据产品所有者与其使用方之间的协议。此协议通过定义有关数据提供和使用方式（例如刷新时间表和质量标准）的具体条款，明确了预期。

用例示例

假设一位数据科学家正在分析一家电子商务公司。他们的目标是按流量来源查找平均订单价值 (AOV)，并查看用户年龄与订单规模之间是否存在相关性。为此，他们需要合并来自多个表（例如 order_details、user_traffic 和 user_demographics）的数据。

在传统设置中，此流程会产生摩擦。为了生成分析洞见，数据科学家必须先在组织庞大的数据环境中找到正确的表，然后联系每位数据所有者，说明其访问请求的理由，并等待批准。

借助数据产品，数据所有者可以将相关资产打包成一个名为“电子商务业务数据”的产品，从而简化此流程。此文件包包含以下内容：

  • 资产

    • BigQuery 表 order_details 和 user_traffic（包含历史订单数据和流量来源）
    • BigQuery 视图 user_demographics（提供不含 PII 的用户详细信息）

  • 访问权限群组

    • 预定义的 Reader 和 Writer 群组，可简化访问权限请求流程

  • 合同

    • 定义数据刷新频率（例如，每周一次，太平洋标准时间上午 8:00）的合同

  • 上下文

    • 包含示例查询和其他详细信息的文档
    • 用于描述数据敏感度的其他元数据

数据科学家现在可以发现此数据产品，并将其视为一个逻辑单元。 这样一来，他们就可以放心地生成分析洞见，回答“每个流量来源的平均订单价值是多少？”之类的问题，最终揭示哪些来源带来的客户价值最高。

数据产品用户体验流程

Knowledge Catalog 中的数据产品生命周期涉及两个关键的用户历程：一个是数据产品所有者（或提供方）创建和管理数据的历程，另一个是数据产品使用方发现和使用数据的历程。

数据产品所有者历程

此历程侧重于对数据产品进行封装、保护和治理，以确保其可信且可访问。

  • 创建：定义数据产品并添加资产。这涉及以下操作：

    • 配置唯一名称、项目、区域和说明。
    • 添加 BigQuery 表、数据集或视图等资产。
    • 配置访问群组（例如 Analyst 或 Reader），并将其映射到基础 Google 群组或服务账号，以简化权限管理。
    • （可选）为访问组分配默认 IAM 角色，以自动授予对数据产品中所有受支持资产的权限。
    • 为这些访问权限群组分配特定资产所需的 IAM 角色。
    • 添加合同（一种系统切面），以正式传达商定的数据刷新节奏、频率和阈值。

    如需了解详情，请参阅创建数据产品。

  • 管理：更新数据产品并确保其可被发现。这涉及以下操作：

    • 更新基本详细信息、资产、权限和补充切面（元数据）以及富文本文档。
    • 向使用方授予权限，以便他们发现数据产品并请求访问权限。

    如需了解详情，请参阅管理数据产品。

数据产品使用方历程

此历程侧重于快速找到可信数据并获得使用这些数据的必要权限。

  • 发现：查找与特定业务问题相关的可信数据。这涉及以下操作：

    • 使用Knowledge Catalog Search功能，通过关键字或自然语言查找打包的数据产品。
    • 查看数据产品的概览、资产、合同和其他切面，以确定其是否适合使用。

    如需了解详情，请参阅搜索数据产品。

  • 请求访问权限：向数据产品所有者请求数据访问权限。

    如需了解详情，请参阅请求访问数据产品。

  • 使用：访问基础资产以生成分析洞见。这涉及以下操作：

    • 获得批准后，您就可以访问相应产品及其资产。例如，如果资产是 BigQuery 表，您可以前往 BigQuery Studio 并直接查询数据。

    • 对于在Google Cloud之外运行的应用和开发工作流，您可以使用外部元数据网关公开数据产品。如需了解详情，请参阅使用 Knowledge Catalog 远程 MCP 服务器。

    如需了解详情，请参阅使用数据产品。

支持的资产

一个数据产品可以由一个或多个数据资产组成。支持以下数据资产：

  • BigQuery 数据集
  • BigQuery 表
  • BigQuery 视图
  • BigQuery 例程
  • BigQuery 模型
  • BigQuery 外部表
  • Gemini Enterprise Agent Platform 数据集
  • Gemini Enterprise Agent Platform 模型
  • Cloud Storage 存储桶
  • Iceberg REST Catalog 目录
  • Iceberg REST Catalog 命名空间
  • Iceberg REST Catalog 表

限制

  • 位置：数据产品及其底层资产必须位于同一Google Cloud 位置。
  • BigQuery 模型：对数据产品内 BigQuery 模型的访问权限通过应用于父数据集 IAM 政策的 IAM 条件进行管理。共享 BigQuery 模型受 IAM 条件的限制。
  • 配额和限制：如需查看完整的 API 速率限制和容量配额列表，请参阅数据产品 API 请求的配额。
  • 不支持可用区级存储桶。

后续步骤