(已淘汰) 資料網格概念

在深入探討如何使用 Google Cloud Cortex Framework 部署資料網格的詳細指南之前，本頁面會先說明相關資料網格概念在 Google Cloud 產品中的一般實作方式，以及在 Cortex Framework 情境中的具體實作方式。瞭解資料網格概念後，請參閱 Cortex Framework Data Foundation 的 資料網格使用手冊。

Knowledge Catalog

下表定義 Knowledge Catalog 中的資料網格概念：

概念 說明 Cortex Framework 情境
湖泊 在資料網格中，用於整理資料的頂層單位。管理 Knowledge Catalog - 湖泊。 資料來源，例如 SAP ECC、Salesforce、Google Ads。
Zone 湖泊中用於整理資料的第二層單位。 資料來源中的特定處理層，例如原始資料與 CDC。
Knowledge Catalog 資產 參照儲存在 Cloud Storage 或 BigQuery 中，與可用區相關聯的資料。這是資料資產的參照，而非資料本身。 參照在區域中註冊的 BigQuery 資料集。
標籤 可套用至湖泊或可用區的任意鍵/值組合。 為整個湖泊或可用區 (而非資料表或資料欄) 加上中繼資料標籤，以便在 Knowledge Catalog 中查看或用於自訂應用程式。
Data Catalog 技術業務中繼資料，可用於探索、瞭解或管理倉儲中的資料資產。 使用豐富的中繼資料標記，為資料表或資料欄 (而非湖泊或可用區) 加上註解，以便在 Knowledge Catalog 搜尋或自訂應用程式中使用。
Catalog Tag Templates 定義代碼中可用欄位及其類型的範本。管理 Knowledge Catalog - 標記範本 定義一組範本，用於標記資料資產與業務範圍等用途。
目錄標記 一組欄位和其值，包含適用於資料表或資料欄的中繼資料。標記範本的執行個體。 使用與該資產相關的中繼資料值 (例如特定業務範圍) 為資料表或資料欄加上註解。
目錄詞彙表 可定義並與 BigQuery 資料欄建立關聯的詞彙字典。管理 Knowledge Catalog - Glossaries。 定義 BigQuery 資產中使用的字詞或縮寫。請注意，這項功能預計日後推出，目前不支援。
資料歷程 代表 BigQuery 資產依附元件的圖表。 這些並非由 Cortex 資料網格定義，但 Knowledge Catalog 是相關工具，可協助使用者探索 BigQuery 資產資料來源。
歷程事件 在 BigQuery 資產之間移動資料的操作時間點。包含連結清單。 系統會自動為支援的 BigQuery 和 Composer 作業建立。
歷程連結 代表資料從來源流向目標資產的邊緣，屬於歷程事件的一部分。 您可以分析這些資料，支援控制台中歷程視覺化圖表以外的用途。

BigQuery

下表定義 BigQuery 中的資料網格概念：

概念 說明 Cortex Framework 情境
政策分類 政策標記階層。管理 BigQuery - 政策標記。 將可用於存取控管的相關政策標記，整理成具有繼承權限的階層結構。
政策標記 套用至 BigQuery 資料表或檢視表中特定資料欄的標記。階層中任何層級的政策標記皆可套用。一個資料欄只能套用一個政策標記。 使用資料欄層級存取控管機制適用的標記，為資料欄加上註解。政策標記的主體會定義「精細」或「未遮蓋」讀取者，這些讀取者可以查看原始資料欄資料。
資料政策 套用至政策標記的政策，定義了遮蓋資料欄資料的查看方式和查看者。 資料政策中的主體定義了「遮蓋資料讀取者」，也就是可查看遮蓋資料欄資料的使用者。不具備遮蓋或未遮蓋讀者權限的使用者，則無法查詢該資料欄。
遮蓋規則 套用至資料政策的規則，定義資料遮蓋方式，例如雜湊、顯示預設值、最後四個字元等。 視情況套用至機密資料欄。
資料列存取政策 SQL 陳述式，定義哪些群組可以根據特定資料欄值查詢資料表中的資料列。 如果資產和資料欄層級控管機制不夠，則用於資料列層級存取控管。

Cortex 資料網格概念

下表定義 Cortex Framework 中的特定資料網格概念：

概念 說明 Cortex Framework 情境
中繼資料資源 可跨多項 BigQuery 資產重複使用的中繼資料實體。例如湖泊、目錄標記範本和政策分類。這項資訊僅限中繼資料，不包含 BigQuery 本身的資料。 定義可重複使用的資源，以便一致管理 Cortex 資料網格。
BigQuery 資產 BigQuery 資料表或檢視表。 現有的 Cortex BigQuery 物件，由資料網格管理。
BigQuery 資產註解 套用至特定 BigQuery 資料表或檢視表的中繼資料。包括說明、存取權政策，以及與中繼資料資源的對應關係。 將中繼資料與 BigQuery 資產建立關聯，以便啟用探索和存取控管功能。
資源規格 (spec) 定義中繼資料資源或 BigQuery 資產註解的 YAML 檔案。 整套資源規格會將要部署的資料網格設定編碼。