Knowledge Catalog (舊稱 Dataplex Universal Catalog) 可讓您自動探索及建立索引，涵蓋分散式資料資產的技術結構、業務情境、資料品質指標和作業關係。Knowledge Catalog 會將這些中繼資料整理成彈性、可擴充的中繼模型和主動式脈絡圖，協助您管理資料資產，並為生成式 AI 代理提供基準。
Knowledge Catalog 中繼模型
Knowledge Catalog 中繼模型提供統一、結構化的中繼資料管理功能，並在 Google 的代理式資料雲端中，建立 Active Context Graph 的結構基礎。這張脈絡圖可協助您和資料團隊探索及管理資產，並讓生成式 AI 代理擷取可靠的業務脈絡資訊。
Knowledge Catalog 透過容器、資產、結構定義和關係的模組化階層，整理中繼資料：
- 容器和資產：項目群組會整理項目，代表個別資料資產及其結構定義資料欄。
- 結構化擴充：切面類型會定義切面的結構定義，將結構化中繼資料附加至項目、資料欄或關係。
- 標準和管理：項目類型會定義範本，強制要求項目必須具備特定切面。
- 關係：項目連結類型會定義關係 (項目連結)，連結相關項目和業務術語。
下表摘要說明系統管理資源 (由 Google Cloud自動提供) 和使用者定義自訂資源之間的差異：
| 元模型元素 | 系統代管 (內建) | 使用者定義 (自訂) |
|---|---|---|
| 項目群組 | 為 Google Cloud 服務預先定義的每個專案 (例如 @bigquery、@spanner、@pubsub)。 |
由使用者建立，用於分組及管理自訂資料資產和權限。 |
| 項目 | 系統會自動從 Google Cloud 來源 (例如 BigQuery 資料表、檢視表、資料集和模型) 填入。 | 由使用者建立，代表客製化資料來源、檔案或第三方資料庫。 |
| 切面類型 | 預先定義的系統範本 (例如 Schema、Overview、Contacts、DataQuality、Lineage)。 |
由使用者建立，用於定義特定領域的中繼資料架構 (例如 PII 分類或服務水準協議層級)。 |
| 切面 | 系統會自動從來源系統、查詢記錄或自動掃描填入。 | 由使用者、管道或代理建立，並附加至項目、資料欄或項目連結。 |
| 項目類型 | 代表 Google Cloud 資源類型的預先定義範本。 | 由使用者定義，用於指定自訂資料資產的必要和選用層面。 |
| Entry links | 內建關係類型 (例如 synonym、definition、schema-join、related)。 |
在特定項目或資料欄之間建立的執行個體，用於模擬跨系統連線。 |
以下各節說明構成 Knowledge Catalog 中繼模型的主要元件。
項目群組
項目群組 (EntryGroup) 是項目和項目連結的區域容器，可做為管理這些資源的管理和安全性界線。
使用項目群組設定下列項目：
- Identity and Access Management 存取控管：授予特定團隊項目群組的檢視或編輯權限，不需修改個別項目權限。
- 位置和專案擁有者歸屬：依地理區域和專案擁有權將資產分組。
針對 Google Cloud 來源，Knowledge Catalog 會自動為每個專案建立系統項目群組 (例如 @bigquery 或 @spanner)。如果是自訂資料來源，則需建立自訂項目群組。
舉例來說，財務團隊可以建立名為 production_finance_data 的自訂項目群組，在單一位置管理所有財務相關自訂項目的存取權限。
詳情請參閱「項目群組」。
項目和結構定義路徑
項目 (Entry) 代表單一資料資產。項目可以代表結構化資料庫資料表、分析模型、非結構化物件資料表，或自訂外部資料集。
項目的主要元件包括：
- 項目 ID：父項項目群組中的專屬資源名稱。
- 項目類型：定義項目結構和必要切面的範本。
- 切面：附加至項目的結構化中繼資料屬性。
- 結構定義路徑 (資料欄)：資料資產中的特定子區段或欄位，例如 BigQuery 資料表中的資料欄，或 JSON 結構定義中的欄位。
您可以使用資料欄，將中繼資料附加至資產中的個別欄位。您不必手動定義資料欄，只要將 schema 類型的切面附加至項目，系統就會填入資料欄。您可以使用點記法路徑 (例如 customer.address.postal_code) 參照巢狀欄位。
例如，名為 orders_project.sales.customer_orders 的 BigQuery 資料表會以項目表示。如要將該資料表中的 email_address 欄位描述為含有機密資訊，請直接將分類切面附加至 email_address 資料欄路徑。
詳情請參閱「項目」。
切面類型
切面類型 (AspectType) 是可重複使用的結構定義範本，用於定義切面的欄位、資料類型和驗證規則。每個切面都是一個切面類型的執行個體。
切面類型可由系統定義 (由 Google Cloud提供) 或自訂 (由貴組織建立)。
定義自訂切面類型的 metadata_template 時，可以使用下列支援的資料類型：
| 欄位資料類型 | 說明 | 用途範例 |
|---|---|---|
string |
文字值 (UTF-8)。 | 擁有者電子郵件、資料分類標籤、部門名稱。 |
integer/number |
數值 (整數或浮點數)。 | 資料保留天數、服務水準協議目標百分比、優先順序排名。 |
boolean |
True 或 False 旗標。 | contains_pii: true，is_certified: false。 |
enum |
預先定義的允許字串值清單。 | 環境：["DEV", "STAGING", "PROD"]。 |
datetime/timestamp |
ISO 8601 格式的日期和時間。 | 上次認證日期、法規遵循審查期限。 |
record |
包含子欄位的巢狀結構化物件。 | ContactInfo { name: string, email: string, phone: string }。 |
array |
任何原始或記錄類型的重複值清單。 | 次要資料擁有者清單：["user1@example.com", "user2@example.com"]。 |
map |
可擴充屬性的鍵/值字串組合。 | 自訂部署作業標記：{"cost_center": "1042", "tier": "gold"}。 |
舉例來說，如要定義可重複使用的聯絡資訊範本，您可以建立名為 ContactInfo 的切面類型，並加入 owner_name (string)、email (string) 和 support_channel (string) 欄位。
詳情請參閱「切面類型」。
切面
切面 (Aspect) 是一組符合切面類型的相關中繼資料欄位。切面會附加至項目、項目路徑 (資料欄) 或項目連結，用於說明該資源。
與舊版標記系統不同，Knowledge Catalog 中的切面會直接封裝在上層項目或項目連結中，讓您執行原子讀取和寫入作業。
切面可用於多項功能：
- 技術結構：
Schema方面會說明資料表資料欄、資料類型和說明。 - 業務背景資訊：自訂切面會說明擁有權、法規遵循和生命週期狀態。
- 作業信任：資料品質層面會記錄自動規則掃描結果和驗證分數。
- 非結構化實體圖譜：
GraphProfile方面會擷取 AI 從原始檔案中擷取的實體和關係邊緣。
舉例來說，您可以建立 ContactInfo 切面類型的例項，並將其附加至 {"owner_name": "Alex", "email": "alex@example.com"}customer_orders 項目。
詳情請參閱「切面」。
項目類型
項目類型 (EntryType) 是用於建立自訂項目的管理範本。這項功能會建立必要切面類型，並強制要求該類型的項目必須附加這些切面，藉此落實中繼資料品質標準。
建立特定類型的項目時，Knowledge Catalog 會驗證項目類型中標示為 required 的所有切面類型是否存在且有效。
舉例來說，您可以建立名為 CertifiedDataProduct 的項目類型，並指定 OwnerInfo 和 DataRetentionPolicy 切面類型為必要。使用這個項目類型建立的任何新項目，都必須包含這些切面，才能儲存。
詳情請參閱「項目類型」。
項目連結和項目連結類型
項目連結 (EntryLink) 可在兩個資料項目之間，或項目內的特定資料欄之間建立語意關係。每個項目連結都是項目連結類型 (EntryLinkType) 的例項。
入口連結可以是有方向性或無方向性：
- 對稱 (無方向性)：雙方為對等關係 (例如
synonym、related或schema-join)。 - 非對稱 (有方向性)：具有明確來源和目標的關係 (例如
definition，將組織詞彙字詞連結至資料表資料欄)。
您也可以直接將切面附加至項目連結 (schema-join 連結除外)。這可讓您描述關係本身，例如記錄彙整信賴分數、轉換規則或對應附註。
Knowledge Catalog 支援下列內建項目連結類型：
synonym：連結等效的業務概念或替代詞彙。related：連結各系統中鬆耦合的資產。definition：將組織詞彙定義連結至實體資料欄或項目。schema-join：連結可沿著相符外鍵或結構定義路徑彙整的資料表。
詳情請參閱 EntryLinks REST 參考資料。
組織詞彙和字詞
組織詞彙可讓您定義詞彙、類別和組織詞彙，建立正式的組織分類。
使用 definition 或 synonym 類型的項目連結，即可將業務字詞直接對應至實體項目和資料欄路徑。使用者或 AI 代理以自然語言搜尋目錄時，搜尋引擎會解析這些業務術語，找出正確的實體資料資產。
詳情請參閱「管理組織詞彙」。
支援的 Google Cloud 來源
Knowledge Catalog 會自動從下列Google Cloud 來源擷取中繼資料。對於 AlloyDB for PostgreSQL 和 Cloud SQL 等部分服務，您必須先啟用 Knowledge Catalog 整合功能，才能擷取中繼資料：
數據分析和湖倉
- BigQuery 資料集、資料表、檢視表、模型、常式、連線、連結的資料集和圖表 (預先發布版)
- BigQuery sharing (舊稱 Analytics Hub) 交換和清單
- Dataform 存放區和程式碼資產
- Dataproc Metastore 服務、資料庫和資料表
Iceberg REST 目錄資料表 (包括 Google Cloud Lakehouse 執行階段目錄 IRC、Databricks Unity IRC、AWS Glue Data Catalog IRC 和 Snowflake Horizon IRC)
Apache Hive 資料表
SAP Business Data Cloud (BDC) Delta Lake 資料表
由 Lakehouse 執行階段目錄管理的 Apache Iceberg 資料表
AI 與機器學習
- Vertex AI 模型、資料集、特徵群組、特徵檢視和網路商店執行個體
商業智慧
- Looker (Google Cloud Core) 執行個體、資訊主頁、資訊主頁元素、Look 圖表、LookML 資訊主頁、LookML 資訊主頁元素、LookML 專案、模型、探索、檢視表和代理
資料庫
- Bigtable 執行個體、叢集和資料表 (包括資料欄系列詳細資料)
- Spanner 執行個體、資料庫、資料表和檢視表
串流和訊息
- Pub/Sub 主題
非結構化資料
作業資料庫
- AlloyDB for PostgreSQL 叢集、執行個體、資料庫、結構定義、資料表和檢視表 (預先發布版)。Knowledge Catalog 只會從 AlloyDB 主要執行個體擷取中繼資料，不會從唯讀副本擷取。詳情請參閱「使用 Knowledge Catalog 管理 AlloyDB for PostgreSQL 資源」。
- Cloud SQL 執行個體、資料庫、結構定義、資料表、檢視表。Knowledge Catalog 只會從 Cloud SQL 主要執行個體擷取中繼資料，不會從唯讀副本擷取。詳情請參閱「使用 Knowledge Catalog 管理 Cloud SQL 資源」。
如要將第三方來源的中繼資料匯入 Knowledge Catalog，可以使用 Knowledge Catalog 連接器或代管連線管道。詳情請參閱「關於 Knowledge Catalog 連接器」和「代管連線能力總覽」。
專案和位置限制
Knowledge Catalog 中的目錄資源，會存放在特定 Google Cloud 專案和地理位置。範圍限制如下：
| 資源 | 位置規則 | 專案規則 |
|---|---|---|
| 項目 | 項目的位置必須與其 EntryType 的位置相符，或 EntryType 必須為 global。 |
可參照全域或相同專案的項目類型。 |
| 項目的切面 | 切面的 AspectType 必須與項目儲存在相同位置，或 AspectType 必須為 global。 |
可參照全域或相同專案的切面類型。 |
| Entry links | 項目連結的位置必須與其 EntryLinkType 相符，或 EntryLinkType 必須為 global。 |
可連結同一組織內不同專案中的項目。 |
| 項目類型 | 由儲存在與項目類型相同位置的切面類型，或 global 的切面類型組成。 |
如果項目類型參照自訂切面類型，則切面類型必須位於相同的專案和位置。 |
中繼資料變更動態饋給
Knowledge Catalog 可使用中繼資料異動動態饋給，近乎即時地串流中繼資料異動事件。
中繼資料異動動態饋給會將項目建立、更新或刪除的通知，發布至您設定的 Pub/Sub 主題。訂閱者用戶端可以利用這些事件，自動執行作業工作流程，例如在結構定義變更時觸發資料品質評估，或更新下游管理資訊主頁。
詳情請參閱「關於中繼資料異動動態饋給」。
定價
Knowledge Catalog 會依據中繼資料儲存空間 SKU，收取中繼資料儲存量費用。詳情請參閱「Knowledge Catalog 定價」。
下列項目不會產生費用：
- 建立及管理目錄中繼模型資源 (項目類型、切面類型、項目群組、項目和項目連結)。
- 在 Google Cloud 控制台中執行的搜尋 API 呼叫和搜尋查詢。