企業資料環境通常包含數百個資料集、資料表和資料模型,分散在多個儲存系統中。如要瞭解各資料集的擁有者、是否包含個人識別資訊 (PII) 等機密資訊,或是否符合品質標準,通常需要手動調查資料來源,或追蹤分散的文件。
Knowledge Catalog (舊稱 Dataplex Universal Catalog) 的切面和切面類型可解決這個問題,提供標準化、可擴充的方式,直接將結構化業務背景資訊、治理政策和作業屬性附加至資料資產。
本文說明 Knowledge Catalog 中切面類型和切面的架構概念、範圍規則和治理界限。如要將切面附加至現有項目,或建立自訂切面類型,請參閱「管理切面及充實中繼資料」。
切面類型
切面類型 (AspectType) 是可重複使用的結構定義範本,定義了切面的中繼資料欄位、資料類型和驗證規則。您必須先建立定義結構定義的切面類型,才能建立或附加切面。
建立自訂切面類型時,必須指定符合 Knowledge Catalog 資源命名規範的 ID。
切面類型類別
切面類型依擁有權和範圍分為兩類:自訂切面類型和系統切面類型。
自訂切面類型
自訂切面類型是由貴組織建立及管理的結構定義範本。您可以使用這些範本擷取特定領域的中繼資料,例如業主、服務水準協議層級、資料保留政策或法規遵循分類。
自訂切面類型適用於項目和資料欄,但不適用於項目連結。也就是說,您可以使用自訂切面類型,為資料資產和個別結構定義欄位定義組織專屬的分類。自訂切面類型不適用於項目連結,因此無法用來定義項目之間的自訂關係中繼資料。項目連結僅支援特定系統切面類型。您可以在特定區域位置定義自訂切面類型,或定義為 global 資源:
- 全域切面類型:會複製到所有 Google Cloud 區域,並可附加至任何區域中的項目。定義全域切面類型後,您就能在整個分散式資產中強制執行單一標準化結構定義,不必管理重複項目。不過,由於結構定義會在全球複製,如果貴組織的法規遵循或資料落地政策規定要求中繼資料定義必須嚴格限制在特定地理邊界內,請選擇區域切面類型。
- 區域切面類型:儲存在特定區域 (例如
us-central1或europe-west1),且只能附加至位於同一區域的項目。如要遵守資料主權規定,或中繼資料結構是區域工作負載專屬,請選擇區域切面類型。如要在多個獨立區域使用相同的中繼資料結構,您必須在各個目標區域建立及維護不同的切面類型定義。
如要進一步瞭解資源範圍,請參閱「專案和位置限制」。
系統切面類型
系統切面類型是 Google Cloud 提供及維護的預先定義範本。系統切面類型一律為全域,並儲存在 Google 代管的專案中,專案編號為 655216118709,別名為 dataplex-types。例如:
projects/655216118709/locations/global/aspectTypes/schema
系統切面類型分為兩個功能群組:
- 可重複使用的系統切面類型:第一方範本,可附加至項目或資料欄,記錄標準化中繼資料,例如結構定義定義、自動資料剖析或資料品質評量表。
- 受限系統切面類型:由 Google Cloud 服務自動管理,用於代表基礎架構屬性,例如 BigQuery 資料表版面配置或 Cloud Storage bucket 設定。您可以查看受限類型的切面,但無法手動建立、修改或刪除。
每種系統切面類型都有專屬的 IAM 權限。詳情請參閱「系統切面類型、項目類型和項目連結類型的 IAM 權限」。
下表列出 Knowledge Catalog 提供的系統切面類型:
| 類別 | 說明 | Knowledge Catalog 提供的切面類型 |
|---|---|---|
| 可重複使用的系統切面類型 | 可附加至項目、資料欄或項目連結的預先定義範本。 |
|
| 受限的系統切面類型 | 由 Google Cloud 服務自動管理的基礎架構範本。Aspects 屬於唯讀內容。 |
包括但不限於:
|
自訂切面類型和 Gemini in BigQuery
Gemini in BigQuery 會根據標準結構定義定義、資料表限制,以及原生資料表或資料欄說明欄位,生成 SQL 並推論資料。Knowledge Catalog 中使用者定義的自訂切面類型會儲存在目錄層,用於管理、搜尋和 API 擷取,但不會動態插入 Gemini 的情境提示擷取管道。
這對工作流程的影響是,BigQuery 的生成式 AI 功能在生成 SQL 查詢或回答資料相關問題時,無法自動讀取儲存在自訂切面欄位中的中繼資料。
建議最佳做法
為確保 BigQuery 中的生成式 AI 模型將業務情境納入生成的查詢,您應在 BigQuery 中填入原生資料表說明和資料欄說明,以及自訂目錄切面。這種雙管齊下的做法,可確保營運 AI 助理以互動方式擷取資料表背景資訊,同時目錄治理管道會強制執行企業中繼資料政策。
切面
切面 (Aspect) 是附加至特定項目、資料欄或關係的切面類型具體例項,包含實際的中繼資料值。Aspects 會直接封裝在父項資源中,因此您可以在更新項目的同時,執行不可部分完成的讀取和寫入作業。也就是說,您可以在單一 API 呼叫中擷取或更新項目及其所有相關聯的中繼資料,避免多次呼叫的一致性問題。
面向位置和目標等級
您可以在 Knowledge Catalog 中,將切面附加至三個不同的目標層級:
- 項目層級切面:描述整個資料資產。使用項目層級切面,可瞭解資產層級擁有權 (
contacts)、內容提要 (overview)、資料集用量指標 (usage) 和匯總品質分數 (data-quality-scorecard)。 - 資料欄層級切面 (結構定義路徑):說明結構化資料表中的個別資料欄或巢狀欄位。參照資料欄時,請使用結構定義路徑標記法
@Schema.<column_name>附加切面 (例如@Schema.email_address或@Schema.billing_address.postal_code)。請使用資料欄層級切面,進行 PII 分類、資料欄層級資料品質規則和語意標記。 - 項目連結層級層面:說明兩個連結項目之間的關係。您可以將切面附加至有向或無向項目連結 (
schema-join連結除外),以記錄關係中繼資料。使用項目連結層級面向,取得彙整信賴分數、轉換規則或對應歷程附註。
下表摘要列出支援的切面位置:
| 目標程度 | 目標資源 | 金鑰 ID 語法 | 常見切面類型 |
|---|---|---|---|
| 入門級 | 資料資產 (資料表、模型、檔案集) | <aspect_type_id> |
contacts、overview、data-profile、自訂服務水準協議 |
| 資料欄層級 | 項目結構定義中的欄位或資料欄 | <aspect_type_id>@Schema.<column_name> |
PII 分類、資料欄遮蓋規則、欄位驗證分數 |
| 項目連結層級 | 項目之間的語意關係 | <aspect_type_id> |
關係信賴度、彙整條件、對應歷程 |
切面類別
根據控管的EntryType,附加至項目的切面會分類為必要或選用:
- 必要切面:由項目的
EntryType定義為必要。建立項目時,必須填入必要切面,且只要項目存在,就無法刪除。如果是系統項目 (例如 BigQuery 資料表), Google Cloud會自動填入並同步處理Schema等必要切面。 - 選用層面:由資料監管員、自動化管道或 AI 代理附加的補充中繼資料,可提供比基準範本要求更豐富的項目資訊。您可以隨時新增、更新或移除選用切面,不會影響項目的生命週期。
特殊系統切面類型
Knowledge Catalog 提供專用的可重複使用系統切面類型,可記錄資料剖析、資料品質和關係擷取結果:
- 資料品質評量表 (
data-quality-scorecard):記錄 Dataplex 資料品質掃描作業產生的整體資料品質分數、評估狀態和各欄維度分數。 - 資料規則 (
data-rules) 和規則範本 (data-quality-rule-template):儲存及管理可重複使用的資料驗證規則和範本,並套用至多個資料集。 - 資料剖析檔 (
data-profile):儲存資料表資料的統計指標,例如空值百分比、相異值和分布頻率。 - 圖表設定檔 (
graph-profile):擷取 AI 擷取的實體、關係邊緣,以及從非結構化文件擷取的知識圖譜。
專案和位置範圍限制
為維護資料治理界限,並防止意外跨區域中繼資料依附元件,Knowledge Catalog 會強制執行下列範圍限制:
| 資源 | 位置規則 | 專案規則 |
|---|---|---|
| 項目 | 項目的位置必須與其 EntryType 的位置相符,或者 EntryType 必須為 global。 |
可參照全域或相同專案的項目類型。 |
| 項目的切面 | 切面的 AspectType 必須與項目位於相同位置,或 AspectType 必須為 global。 |
可參照全域系統切面類型或相同專案的自訂切面類型。 |
| Entry links | 項目連結的位置必須與其 EntryLinkType 相符,或 EntryLinkType 必須為 global。 |
可連結位於同一組織內不同專案的項目。 |
| 項目類型 | 由儲存在與項目類型相同位置的切面類型,或 global 的切面類型組成。 |
如果項目類型參照自訂切面類型,則切面類型必須位於相同的專案和位置。 |