（已弃用）数据网格概念

警告 ：Google Cloud Cortex Framework 中的数据网格功能现已弃用并停用。此更改是 由数据管理服务的演变促成的。 Google Cloud数据网格 解决方案是使用 Data Catalog 进行元数据管理构建的，而 Data Catalog 现在将被更高级的 Knowledge Catalog取代。Knowledge Catalog 提供统一的 API、增强的元数据功能和新功能，以提供更全面的数据治理体验。

对于已实现数据网格功能的现有 Cortex Framework 用户，我们建议改用 Knowledge Catalog，以确保获得持续支持并使用最新功能。如需详细的 迁移指南，请参阅 迁移到 Knowledge Catalog。

在深入了解如何使用 Google Cloud Cortex Framework 部署数据网格的详细指南之前，本页介绍了如何在 Google Cloud 产品中以及 在 Cortex Framework 上下文中实现相关数据网格 概念的基础知识。了解数据网格概念后，请参阅数据网格用户指南，了解 Cortex Framework Data Foundation。

注意： 如需深入了解一般数据网格概念，请参阅 使用 Google Cloud 构建现代分布式数据网格。

Knowledge Catalog

下表定义了 Knowledge Catalog 中的数据网格概念：

概念	说明	Cortex Framework 上下文
湖	用于在数据网格中组织数据的顶级单元。管理 Knowledge Catalog - 湖。	数据源，例如 SAP ECC、Salesforce、Google Ads。
区	用于在湖中组织数据的二级单元。	数据源中的特定处理层，例如原始数据与 CDC。
Knowledge Catalog 资产	对存储在 Cloud Storage 或 BigQuery 中且与某个区相关联的数据的引用。这是对数据资产的引用，而不是对数据本身的引用。	对在区中注册的 BigQuery 数据集的引用。
标签	可应用于湖或区的任意键值对。	使用可在 Knowledge Catalog 中查看或用于自定义应用的元数据为整个湖或区（而不是 表或列）添加标签。
Data Catalog	技术业务元数据，可用于帮助发现、了解或管理仓库中的数据资产。	使用可在 Knowledge Catalog 搜索或自定义应用中使用的丰富元数据标记为表或列（而不是 湖或区）添加注释。
Catalog 标记模板	用于定义标记中可用字段 及其类型的模板。管理 Knowledge Catalog - 标记模板	定义一组模板，用于为数据资产添加业务线等标签。
Catalog 标记	一组字段及其值，其中 包含适用于表或列的元数据。代码模板的实例。	使用与该资产相关的元数据 值（例如特定业务线）为表或列添加注释。
Catalog 术语库	可定义并与 BigQuery 列相关联的术语字典。 管理 Knowledge Catalog - 术语库。	定义 BigQuery 资产中使用的术语或缩写。请注意，此功能计划在未来推出，目前不受支持。
数据沿袭	表示 BigQuery 资产依赖项的图。	这些不是由 Cortex 数据网格定义的，但它是相关的 Knowledge Catalog 工具，可帮助用户发现 BigQuery 资产数据源。
沿袭事件	在 BigQuery 资产之间移动数据时发生操作 的时间点。包含链接列表。	针对受支持的 BigQuery 和 Composer 操作自动创建。
沿袭链接	表示数据作为沿袭事件的一部分从源资产流向目标资产的边。	可以对其进行分析，以支持控制台中显示的沿袭可视化图表之外的用例。

BigQuery

下表定义了 BigQuery 中的数据网格概念：

概念	说明	Cortex Framework 上下文
政策分类	政策标记的层次结构。管理 BigQuery - 政策标记。	将可用于访问权限控制的相关政策标记整理到具有 继承权限的层次结构中。
政策标记	应用于 BigQuery 表或视图中特定列的标记 。可以应用层次结构中任何级别的 政策标记。只能将一个政策标记应用于特定列。	使用用于列级访问权限控制的标记为列添加注释。政策标记上的主账号定义了 “精细”或“未遮盖”读取者，他们可以查看原始列数据。
数据政策	应用于政策标记的政策，用于 定义如何以及谁可以查看经过遮盖的列数据。	数据政策上的主账号定义了 “经过遮盖的读取者”，他们可以查看经过遮盖的列数据。任何没有 经过遮盖或未遮盖的读取者权限的人都无法查询该列。
遮盖规则	应用于数据政策的规则，用于 定义如何遮盖数据， 例如哈希、显示默认值、最后四个字符等。	根据具体情况应用于敏感列。
行访问权限政策	SQL 语句，用于定义哪些群组 可以根据特定列值查询表中的行。	当资产和列级控制不足时，用于行级访问权限控制。

Cortex 数据网格概念

下表定义了 Cortex Framework 中的特定数据网格概念：

概念	说明	Cortex Framework 上下文
元数据资源	可在多个 BigQuery 资产中重复使用的元数据实体。例如，湖、Catalog 标记模板和政策分类。这专门指元数据，而不是 BigQuery 本身的数据。	定义可重复使用的资源，以实现对 Cortex 数据网格的一致管理。
BigQuery 资产	BigQuery 表或视图。	受数据网格控制的现有 Cortex BigQuery 对象。
BigQuery 资产注释	应用于特定 BigQuery 表或视图的元数据。这包括说明、访问权限政策、 以及到元数据资源的映射。	将元数据与 BigQuery 资产相关联，以实现发现和访问权限控制。
资源规范	用于定义元数据资源 或 BigQuery 资产注释的 YAML 文件。	整套资源规范对要部署的数据网格配置进行编码。