Knowledge Catalog (舊稱 Dataplex Universal Catalog) 提供統一的結構化中繼資料管理平台，可管理分散式資料資產。自動探索、建立索引及整理技術結構、業務情境、資料品質指標和作業關係。
Knowledge Catalog 會將中繼資料整理成彈性且可擴充的中繼模型，在 Google 的 代理式資料雲端 中，建立 Active Context Graph 的結構基礎。資料團隊可透過這個脈絡圖探索及管理資產，同時讓生成式 AI 代理擷取可靠的業務脈絡。
Knowledge Catalog 中繼模型
Knowledge Catalog 會透過容器、資產、結構定義和關係的模組化階層，整理中繼資料：
- 容器和資產：項目群組會整理項目，這些項目代表個別資料資產及其架構欄。
- 結構化擴充：切面類型會定義切面的結構定義，將結構化中繼資料附加至項目、資料欄或關係。
- 標準和管理：項目類型會定義範本，強制項目採用必要切面。
- 關係：項目連結類型會定義關係 (項目連結)， 連結相關項目和業務字詞。
下表摘要說明系統管理資源 (由 Google Cloud自動提供) 與使用者定義的自訂資源之間的差異：
| 元模型元素 | 系統代管 (內建) | 使用者定義 (自訂) |
|---|---|---|
| 項目群組 | 為 Google Cloud 服務預先定義 (例如 @bigquery、@spanner、@pubsub)。 |
由使用者建立，用於分組及管理自訂資料資產和權限。 |
| 參賽作品 | 系統會從 Google Cloud 來源 (例如 BigQuery 資料表、檢視區塊、資料集和模型) 自動填入。 | 使用者建立的自訂資料來源、檔案或第三方資料庫。 |
| 切面類型 | 預先定義的系統範本 (例如 Schema、
Overview、Contacts、DataQuality、
Lineage)。 |
由使用者建立，用於定義特定網域的中繼資料結構定義 (例如 PII 分類或服務水準協議層級)。 |
| 切面 | 系統會從來源系統、查詢記錄或自動掃描作業自動填入。 | 由使用者、管道或代理建立，並附加至項目、資料欄或項目連結。 |
| 項目類型 | 代表資源類型的預先定義範本。 Google Cloud | 由使用者定義，用於指定自訂資料資產的必要和選用層面。 |
| 進入連結 | 內建關係類型 (例如 synonym、definition、schema-join、related)。 |
在特定項目或欄之間建立的執行個體，可模擬跨系統連線。 |
以下各節說明構成 Knowledge Catalog 中繼模型的主要元件。
項目群組
項目群組 (EntryGroup) 是項目的區域容器，也是項目連結，可做為管理這些資源的管理和安全邊界。
您可以使用項目群組設定下列項目：
- Identity and Access Management 存取權控管：授予特定團隊項目群組的查看或編輯權限，不必修改個別項目的權限。
- 位置和專案歸因：依地理區域和專案擁有權分組資產。
如果是 Google Cloud 來源，Knowledge Catalog 會自動為每個專案建立系統項目群組 (例如 @bigquery 或 @spanner)。如果是自訂資料來源，則由您建立自訂項目群組。
舉例來說，財務團隊可以建立名為「財務」的自訂項目群組，集中管理所有財務相關自訂項目的存取權。production_finance_data
詳情請參閱「項目群組」。
項目和結構定義路徑
項目 (Entry) 代表單一資料資產。項目可代表結構化資料庫表格、分析模型、非結構化物件資料表或自訂外部資料集。
項目的主要元件包括：
- 項目 ID：父項項目群組中的專屬資源名稱。
- 項目類型：定義項目結構和必要切面的範本。
- 切面：附加至項目的結構化中繼資料屬性。
- 結構定義路徑 (資料欄)：資料資產中的特定子區段或欄位，例如 BigQuery 資料表中的資料欄，或 JSON 結構定義中的欄位。
您可以使用資料欄，將中繼資料附加至資產中的個別欄位。您不必手動定義資料欄，只要將 schema 類型的切面附加至項目，系統就會自動填入資料欄。您可以使用點標記法路徑參照巢狀欄位 (例如 customer.address.postal_code)。
舉例來說，名為 orders_project.sales.customer_orders 的 BigQuery 資料表會以項目形式呈現。如要將該資料表中的 email_address 欄位描述為含有機密資訊，請直接將分類層面附加至 email_address 欄路徑。
詳情請參閱「項目」一文。
切面類型
切面類型 (AspectType) 是可重複使用的結構定義範本，用於定義切面的欄位、資料類型和驗證規則。每個切面都是一個切面類型的執行個體。
切面類型可以是系統定義 (由 Google Cloud提供) 或自訂 (由貴機構建立)。
定義自訂構面型別的 metadata_template 時，可以使用下列支援的資料型別：
| 欄位資料類型 | 說明 | 用途範例 |
|---|---|---|
string |
文字值 (UTF-8)。 | 擁有者電子郵件地址、資料分類標籤、部門名稱。 |
integer/number |
數值 (整數或浮點數)。 | 資料保留天數、服務水準協議目標百分比、優先順序排名。 |
boolean |
True 或 false 旗標。 | contains_pii: true，is_certified: false。 |
enum |
預先定義的允許字串值清單。 | 環境：["DEV", "STAGING", "PROD"]。 |
datetime/timestamp |
採用 ISO 8601 格式的日期和時間。 | 上次認證日期、法規遵循審查期限。 |
record |
包含子項欄位的巢狀結構化物件。 | ContactInfo { name: string, email: string, phone: string }。 |
array |
任何原始或記錄類型的重複值清單。 | 次要資料擁有者清單：["user1@example.com", "user2@example.com"]。 |
map |
可擴充屬性的鍵/值字串組合。 | 自訂部署標記：{"cost_center": "1042", "tier": "gold"}。 |
舉例來說，如要定義聯絡資訊的可重複使用範本，您可以建立名為 ContactInfo 的層面類型，並為 owner_name (string)、email (string) 和 support_channel (string) 建立欄位。
詳情請參閱「構面類型」。
切面
切面 (Aspect) 是一組符合切面類型的相關中繼資料欄位。屬性會附加至項目、項目路徑 (資料欄) 或項目連結，用來描述該資源。
與舊版標記系統不同，知識目錄中的層面會直接封裝在父項項目或項目連結中，方便您執行不可分割的讀取和寫入作業。
切面可用於多項功能：
- 技術結構：
Schema方面會說明資料表欄、資料類型和說明。 - 業務脈絡：自訂層面說明擁有權、法規遵循和生命週期狀態。
- 作業信任：資料品質層面會記錄自動規則掃描結果和驗證分數。
- 非結構化實體圖表：
GraphProfile方面會擷取原始檔案中 AI 擷取的實體和關係邊緣。
舉例來說，您可以建立 ContactInfo 切面類型例項，並使用 {"owner_name": "Alex", "email": "alex@example.com"} 值，然後將其附加至 customer_orders 項目。
詳情請參閱「層面」。
項目類型
項目類型 (EntryType) 是用於建立自訂項目的控管範本。系統會建立必須附加至該類型項目的必要切面類型，藉此強制執行中繼資料品質標準。
建立特定項目類型的項目時，Knowledge Catalog 會驗證項目類型中標示為 required 的所有切面類型是否都存在且有效。
舉例來說，您可以建立名為 CertifiedDataProduct 的項目類型，將 OwnerInfo 和 DataRetentionPolicy 切面類型指定為必要。使用這個項目類型建立的任何新項目都必須包含這些切面，才能儲存。
詳情請參閱「項目類型」。
項目連結和項目連結類型
項目連結 (EntryLink) 會在兩個資料項目之間，或項目內的特定資料欄之間，建立語意關係。每個項目連結都是項目連結類型 (EntryLinkType) 的例項。
進入連結可分為引導式或非引導式：
- 對稱 (非方向性)：雙方都是同層級的關係 (例如
synonym、related或schema-join)。 - 非對稱 (單向)：具有明確來源和目標的關係 (例如
definition，將組織詞彙字詞連結至資料表欄)。
您也可以直接將切面附加至項目連結 (schema-join 連結除外)。您可以藉此描述關係本身，例如記錄聯結信賴度分數、轉換規則或對應附註。
Knowledge Catalog 支援下列內建項目連結類型：
synonym：連結同等商家概念或替代字詞。related：連結各系統中鬆散耦合的資產。definition：將組織詞彙定義連結至實體資料欄或項目。schema-join：連結可沿著相符外鍵或結構定義路徑聯結的資料表。
詳情請參閱 EntryLinks REST 參考資料。
業務詞彙表和字詞
您可以透過定義詞彙、類別和業務字詞，建立正式的業務分類，
使用 definition 或 synonym 類型的項目連結，即可將業務字詞直接對應至實體項目和資料欄路徑。當使用者或 AI 代理程式使用自然語言搜尋目錄時，搜尋引擎會解析這些業務字詞，找出正確的實體資料資產。
詳情請參閱「管理業務詞彙表」。
支援的 Google Cloud 來源
Knowledge Catalog 會自動從下列Google Cloud 來源擷取中繼資料。對於 AlloyDB for PostgreSQL 和 Cloud SQL 等部分服務，您必須先啟用 Knowledge Catalog 整合功能，才能擷取中繼資料：
數據分析和湖倉
- BigQuery 資料集、資料表、檢視區塊、模型、常式、連線和連結的資料集
- BigQuery sharing (舊稱 Analytics Hub) 交易所和項目
- Dataform 存放區和程式碼資產
- Dataproc Metastore 服務、資料庫和資料表
Iceberg REST 目錄資料表 (包括 Google Cloud Lakehouse 執行階段目錄 IRC、Databricks Unity IRC、AWS Glue Data Catalog IRC 和 Snowflake Horizon IRC)
AI 與機器學習
- Vertex AI 模型、資料集、特徵群組、特徵檢視畫面和網路商店執行個體
商業智慧
- Looker (Google Cloud Core) 執行個體、資訊主頁、資訊主頁元素、Look、LookML 專案、模型、探索和檢視畫面 (預先發布版)
資料庫
- Bigtable 執行個體、叢集和資料表 (包括資料欄系列詳細資料)
- Spanner 執行個體、資料庫、資料表和檢視區塊
串流和訊息
- Pub/Sub 主題
非結構化資料
作業資料庫
- AlloyDB for PostgreSQL 叢集、執行個體、資料庫、結構定義、表格和檢視區塊 (預先發布版)。Knowledge Catalog 只會從 AlloyDB 主要執行個體擷取中繼資料，不會從唯讀副本擷取。詳情請參閱「使用 Knowledge Catalog 管理 AlloyDB for PostgreSQL 資源」。
- Cloud SQL 執行個體、資料庫、結構定義、資料表、檢視區塊。 Knowledge Catalog 只會從 Cloud SQL 主要執行個體擷取中繼資料，不會從唯讀備用資源擷取。詳情請參閱「使用 Knowledge Catalog 管理 Cloud SQL 資源」。
如要將第三方來源的中繼資料匯入 Knowledge Catalog，可以使用 Knowledge Catalog 連接器或受管理連線管道。詳情請參閱「關於 Knowledge Catalog 連接器」和「受管理連線總覽」。
專案和位置限制
Knowledge Catalog 中的目錄資源會存放在特定 Google Cloud 專案和地理位置中。適用下列範圍限制：
| 資源 | 位置規則 | 專案規則 |
|---|---|---|
| 參賽作品 | 項目的位置必須與 EntryType 的位置相符，或 EntryType 必須為 global。 |
可參照全域或同專案的項目類型。 |
| 報名內容的各個方面 | AspectType必須與項目儲存在相同位置，或AspectType必須是 global。 |
可參照全域或同專案的層面類型。 |
| 進入連結 | 進入連結的位置必須與 EntryLinkType 相符，或 EntryLinkType 必須為 global。 |
可連結同一個機構內不同專案的項目。 |
| 項目類型 | 由與項目類型儲存在相同位置的切面類型，或global的切面類型組成。 |
如果項目類型參照自訂切面類型，切面類型必須位於相同的專案和位置。 |
中繼資料變更動態饋給
Knowledge Catalog 可使用中繼資料變更記錄，近乎即時地串流中繼資料變更事件。
中繼資料變更記錄會將項目建立、更新或刪除的通知發布至您設定的 Pub/Sub 主題。訂閱端用戶端可使用這些事件自動執行作業工作流程，例如在結構定義變更時觸發資料品質評估，或更新下游控管資訊主頁。
詳情請參閱「關於中繼資料變更動態消息」。
定價
Knowledge Catalog 會使用中繼資料儲存空間 SKU，針對儲存的中繼資料量收費。詳情請參閱「Knowledge Catalog 定價」。
下列情況不會產生費用：
- 建立及管理目錄中繼模型資源 (項目類型、切面類型、項目群組、項目和項目連結)。
- 在 Google Cloud 控制台中執行的 Search API 呼叫和搜尋查詢。