（已弃用）数据网格概念

在深入探讨如何使用 Google Cloud Cortex Framework 部署数据网格的详细指南之前，本页面将先介绍相关数据网格概念在 Google Cloud 产品中以及在 Cortex Framework 上下文中的一般实现方式。了解数据网格概念后，请参阅 Cortex Framework Data Foundation 的数据网格用户指南。

Knowledge Catalog

下表定义了 Knowledge Catalog 中的数据网格概念：

概念 说明 Cortex Framework 上下文
湖泊 用于在数据网格中整理数据的顶级单元。管理 Knowledge Catalog - 数据湖。 数据源，例如 SAP ECC、Salesforce、Google Ads。
可用区 用于在数据湖中整理数据的二级单元。 数据源中的特定处理层，例如原始层与 CDC 层。
Knowledge Catalog 资产 对存储在 Cloud Storage 或 BigQuery 中且与区域关联的数据的引用。这是对数据资产的引用，而不是数据本身。 对在区域中注册的 BigQuery 数据集的引用。
标签 可应用于数据湖或可用区的任意键值对。 使用可在 Knowledge Catalog 中查看或用于自定义应用的元数据为整个数据湖或可用区（而不是表或列）添加标签。
Data Catalog 可用于帮助发现、了解或管理仓库中数据资产的技术业务元数据。 使用可在 Knowledge Catalog 搜索或自定义应用中使用的丰富元数据标记来为表或列（而非数据湖或可用区）添加注释。
目录标记模板 一个模板，用于定义标记中的可用字段及其类型。管理 Knowledge Catalog - 标签模板 定义一组模板，用于为数据资产添加业务线标记等用途。
目录代码 一组字段及其值，其中包含适用于表或列的元数据。标记模板的实例。 使用与该资产相关的元数据值（例如特定业务线）为表或列添加注解。
目录术语表 一个术语字典，可用于定义术语并将其与 BigQuery 列相关联。管理 Knowledge Catalog - 术语库。 定义 BigQuery 资产中使用的术语或首字母缩写词。请注意，此功能计划在未来推出，目前尚不支持。
数据沿袭 表示 BigQuery 资产依赖项的图表。 这些并非由 Cortex 数据网格定义，但它是相关的 Knowledge Catalog 工具，可帮助用户发现 BigQuery 资产数据源。
沿袭事件 在 BigQuery 资产之间移动数据的操作发生的时间点。包含链接列表。 为受支持的 BigQuery 和 Composer 操作自动创建。
沿袭链接 一条边，表示作为沿袭事件的一部分，数据从来源资源流向目标资源。 您可以分析这些数据，以支持控制台中显示的沿袭可视化图表之外的应用场景。

BigQuery

下表定义了 BigQuery 中的数据网格概念：

概念 说明 Cortex Framework 上下文
政策分类 政策标记的层次结构。管理 BigQuery - 政策标记。 将可用于访问权限控制的相关政策标记整理到具有继承权限的层次结构中。
政策标记 应用于 BigQuery 表或视图中特定列的标记。可以应用层次结构中任何级别的政策标记。只能对特定列应用一个政策标记。 使用用于列级访问权限控制的标记为列添加注解。政策标记上的主账号定义了可以查看原始列数据的“细粒度”或“未遮盖”读取者。
数据政策 应用于政策标记的政策，用于定义如何查看遮盖的列数据以及谁可以查看。 数据政策中的主账号定义了可以查看遮盖列数据的“遮盖读取者”。任何不具有遮盖或未遮盖读取者权限的用户都无法查询该列。
遮盖规则 应用于数据政策的规则，用于定义数据的遮盖方式，例如哈希、显示默认值、后四个字符等。 根据情况应用于敏感列。
行访问权限政策 SQL 语句，用于定义哪些群组可以根据特定列值查询表中的行。 在资产和列级控制不足时，用于行级访问权限控制。

Cortex 数据网格概念

下表定义了 Cortex Framework 中的特定数据网格概念：

概念 说明 Cortex Framework 上下文
元数据资源 可在多个 BigQuery 资产中重复使用的元数据实体。例如，数据湖、目录标记模板和政策分类。这具体是指元数据，而不是 BigQuery 本身中的数据。 定义可重复使用的资源，以便对 Cortex 数据网格进行一致的管理。
BigQuery 资产 BigQuery 表或视图。 由数据网格治理的现有 Cortex BigQuery 对象。
BigQuery 资产注释 应用于特定 BigQuery 表或视图的元数据。这包括说明、访问权限政策以及与元数据资源的映射。 将元数据与 BigQuery 资产相关联，以实现发现和访问权限控制。
资源规范 (spec) 定义元数据资源或 BigQuery 资产注释的 YAML 文件。 整套资源规范对要部署的数据网格配置进行编码。