Knowledge Catalog (舊稱 Dataplex Universal Catalog) 可讓您直接將結構化中繼資料和明確的業務定義附加至資料資產。提供這類背景資訊,可讓資料更容易找到、建立使用者信任感,並為 AI 代理奠定基礎。
本教學課程專為資料監管人員和業務分析師設計,您將完成以 UI 為基礎的步驟,建立標準業務術語和中繼資料情境,然後再將這些工作流程自動化。您也會瞭解 Knowledge Catalog 的重要概念如何搭配運作。
目標
在本教學課程中,您將瞭解以下內容:
- 使用組織詞彙,為業務術語建立單一事實來源。
- 使用切面類型建構及整理中繼資料。
- 使用切面將中繼資料附加至資料資產。
- 使用 Knowledge Catalog 搜尋功能,透過這項新的結構化中繼資料,精準找出所需內容。
事前準備
開始之前,請先執行下列操作:
- 為本教學課程選取 Google Cloud 專案。
- 確認專案已啟用計費功能。
設定環境
本教學課程會使用 Cloud Shell,這是在雲端執行的指令列環境。
在 Google Cloud 控制台右上方的工具列,點選「啟用 Cloud Shell」。佈建並連至環境預計只需要幾分鐘。
在 Cloud Shell 中設定
PROJECT_ID和LOCATION變數,讓日後所有指令都指定特定 Google Cloud 專案。export PROJECT_ID=$(gcloud config get-value project) gcloud config set project $PROJECT_ID export LOCATION="us-central1"啟用必要的 Google Cloud 服務。
gcloud services enable \ dataplex.googleapis.com \ bigquery.googleapis.com
建立 BigQuery 資料集並準備範例資料
使用下列程式碼建立 BigQuery 資料集,並將一些 CSV 交易範例載入資料表。建立資料表後,Knowledge Catalog 會偵測到該資料表,並在目錄中建立項目。
項目是 Knowledge Catalog 中資料資產的表示法。就像目錄中的記錄,可以附加中繼資料。您不必直接在 BigQuery 資料表中新增背景資訊 (或充實資料表),而是將背景資訊新增至 Knowledge Catalog 中的項目。
# Create the BigQuery Dataset in the us-central1 region
bq --location=$LOCATION mk --dataset \
--description "Sample retail data for foundational data context tutorial" \
$PROJECT_ID:retail_data
# Create a temporary CSV file with the sample data
echo "transaction_id,user_email,gmv,transaction_date
1001,test@example.com,150.50,2025-08-28
1002,user@example.com,75.00,2025-08-28" > /tmp/transactions.csv
# Load the data from the temporary CSV file into a BigQuery table
bq load \
--source_format=CSV \
--autodetect \
retail_data.transactions \
/tmp/transactions.csv
# (Optional) Clean up the temporary file
rm /tmp/transactions.csv
執行 SELECT 查詢來驗證設定:
bq query --nouse_legacy_sql "SELECT * FROM retail_data.transactions"
輸出內容範例:
+----------------+------------------+-------+------------------+
| transaction_id | user_email | gmv | transaction_date |
+----------------+------------------+-------+------------------+
| 1001 | test@example.com | 150.5 | 2025-08-28 |
| 1002 | user@example.com | 75.0 | 2025-08-28 |
+----------------+------------------+-------+------------------+
使用組織詞彙建立通用詞彙
良好的資料情境仰賴明確的定義,能回答「這個資料欄名稱代表什麼意思?」舉例來說,開發人員不應猜測名為 gmv 的資料欄是否代表商品交易總額,或是否包含稅金和退貨。組織詞彙可為整個組織建立這些定義的單一事實來源。當團隊成員或 AI 代理分析資料時,會沿用這項精確的業務情境。共用定義可讓財務、銷售和營運等團隊的指標保持一致,並協助 AI 代理避免幻覺。
請按照下列步驟建立詞彙表,並定義第一個字詞:
前往 Google Cloud 控制台的 Knowledge Catalog「Glossaries」(詞彙表) 頁面。
按一下「Create Business Glossary」(建立組織詞彙)。
輸入下列詳細資訊:
- 顯示名稱:
Retail Business Glossary - 位置:
us-central1 (Iowa)
- 顯示名稱:
點選「建立」。
按一下「Create Category」(建立類別)。
將類別命名為
Sales Metrics,然後按一下「建立」。選取「Sales Metrics」類別,然後點選「Add term」。
將字詞命名為
Gross Merchandise Value,然後按一下「Create」(建立)。按一下「商品交易總額」條款,開啟詳細資料頁面。
按一下「總覽」旁邊的「新增」。輸入下列詳細資料:
The total value of merchandise sold over a given period of time before the deduction of any fees or expenses. This is a key indicator of e-commerce business growth.按一下 [儲存]。
您已建立詞彙表字詞,可以連結至貴組織的資料項目。
使用切面類型定義技術中繼資料
處理資料時,您經常需要回答「誰擁有這個損壞的資料集?」或「這個資料表是否已獲准使用?」等問題。非結構化中繼資料標記會嘗試回答這些問題,但很快就會過時或不一致。例如,一個資料表可能標記為 owner:bob,另一個則標記為 steward:alice@example.com。如要大規模管理中繼資料,必須採用一致的結構定義。
這時切面類型就能派上用場。切面類型是中繼資料藍圖,可讓您設定明確的規則和必要欄位。要求資料管理員提供有效的電子郵件地址等標準欄位,可讓下游指令碼自動驗證及保護中繼資料。
請按照下列步驟建立切面類型:
前往 Google Cloud 控制台,在「Metadata types」(中繼資料類型) 頁面中,點選 Knowledge Catalog 的「Aspect types」(切面類型) 分頁標籤。
在「自訂」分頁中,按一下「建立」。
輸入下列詳細資訊:
- 顯示名稱:
Data Asset Context - 位置:
us-central1 (Iowa)
- 顯示名稱:
在「範本」部分,按一下「新增欄位」,建立下列三個欄位:
欄位 1:
- 顯示名稱:
Data Steward - 類型:
Text - 為必填項目:勾選核取方塊。
- 文字類型:
Plain text
- 顯示名稱:
欄位 2 (按一下「新增欄位」):
- 顯示名稱:
Data Sensitivity - 類型:
Enum - Is Required:保留選用。
- 值:新增
Public、Internal和Confidential
- 顯示名稱:
欄位 3 (按一下「新增欄位」):
- 顯示名稱:
Last Review Date - Is Required:保留選用。
- 類型:
Date and time
- 顯示名稱:
按一下 [儲存]。
您現在已建立資料治理相關中繼資料欄位 (例如資料監管者、機密等級和審查日期) 的切面類型。在下一節中,您會將這個結構定義套用至資料表項目,方法是附加一個切面,並為這些欄位指定特定值。
為項目增添業務和技術情境資訊
資料欄名稱通常是縮寫或語意模糊。將資料欄連結至組織詞彙中的字詞,可提供清楚一致的定義。在這個步驟中,您會將 Gross Merchandise Value 詞彙連結至名為 gmv 的資料欄,並使用切面類型將切面附加至資料表項目,藉此充實 retail_data.transactions 資料表的項目。
將資料欄連結至企業字詞
如要說明 retail_data.transactions 中的 gmv 欄,請將其連結至 Gross Merchandise Value 詞彙。
前往 Google Cloud 控制台的 Knowledge Catalog「Search」(搜尋) 頁面。
按一下「篩選器」,開啟「篩選器」面板。
在「Scope」部分,選取「Current Project」。
搜尋
retail_data.transactions,然後點選傳回的交易資料表。按一下「結構定義」分頁標籤。
勾選「
gmv」欄旁的核取方塊,然後按一下「新增業務字詞」。選取「
Gross Merchandise Value」。
將切面附加至資料表項目
除了將業務字詞連結至資料欄,您也可以將切面附加至資料表項目,擷取資料表層級的中繼資料,例如資料擁有權和機密性。
切面是切面類型的例項,具有中繼資料欄位的特定值。將切面附加至項目時,Knowledge Catalog 會根據切面類型中定義的結構定義,檢查您提供的資訊,確保一致性。
如要定義 retail_data.transactions 資料表的擁有權和機密程度,請附加 Data Asset Context 類型:
- 在
retail_data.transactions項目頁面的「詳細資料」分頁中,點選「選用切面」旁的「新增」。 - 從清單中選取「
Data Asset Context」。 在欄位中輸入值:
- 資料管理員:
finance-team@example.com - 資料敏感度:選取「內部」。
- 上次審查日期:選取今天的日期。
- 資料管理員:
按一下 [儲存]。
您已擴充零售交易範例資料,在 Knowledge Catalog 中奠定良好的資料情境基礎。
使用增強型中繼資料搜尋項目
現在,您可以使用 Knowledge Catalog 搜尋功能,根據設定的業務情境尋找項目。舉例來說,您可以找出特定機密等級的所有資產,或搜尋詞彙表字詞,找出基礎資料表。
前往 Google Cloud 控制台的 Knowledge Catalog「Search」(搜尋) 頁面。
按一下「篩選器」,開啟「篩選器」面板。
在「Scope」部分,選取「Current Project」。
在搜尋列中輸入
Find tables where the Data Asset Context aspect has Internal sensitivity.您應該會在結果清單中看到
retail_data.transactions資料表。清除搜尋列,然後輸入
Find tables with the Gross Merchandise Value term attached.結果中應該會再次顯示
retail_data.transactions資料表,因為其gmv欄與這個業務詞彙直接連結。
將 AI 代理連結至 Knowledge Catalog 後,代理會自動沿用這些豐富的中繼資料。舉例來說,當您要求代理擷取內部銷售指標時,代理會讀取「資料機密性」層面 (您設定為「內部」) 和連結的「商品交易總額」詞彙。這項共用情境資訊有助於代理驗證資料來源、遵守存取政策,並避免幻覺。
清除所用資源
為避免產生費用,請刪除您在本教學課程中建立的資源。
刪除範例資料集
如要刪除範例 BigQuery 資料集和所有資料表,請使用下列指令。這個動作無法復原。
# Re-run these exports if your Cloud Shell session timed out
export PROJECT_ID=$(gcloud config get-value project)
# Manually type this command to confirm you are deleting the correct dataset
bq rm -r -f --dataset $PROJECT_ID:retail_data
刪除 Knowledge Catalog 構件
前往 Google Cloud 控制台,在「Metadata types」(中繼資料類型) 頁面中,點選 Knowledge Catalog 的「Aspect types」(切面類型) 分頁標籤。
選取「
Data Asset Context」切面類型,然後按一下「刪除」。前往 Google Cloud 控制台的 Knowledge Catalog「Glossaries」(詞彙表) 頁面。
選取「
Gross Merchandise Value」字詞,然後按一下「刪除」。選取「
Sales Metrics」類別,然後按一下「刪除」。選取
Retail Business Glossary,然後按一下「Delete」(刪除)。
後續步驟
如要進一步瞭解如何使用 Knowledge Catalog 挑選目錄及建構代理,請參閱下列資源:
- 管理切面並充實中繼資料:如要瞭解如何定義自訂結構定義及附加結構化中繼資料,請參閱「管理切面並充實中繼資料」。
- 管理組織詞彙:如要瞭解如何為組織建立標準化詞彙,請參閱「管理組織詞彙」。
- 使用 Terraform 控管:瞭解如何使用 Terraform 佈建自訂切面類型和詞彙。
- 大規模處理詞彙表字詞:使用 JSON 檔案大量擴充中繼資料,詳情請參閱「關於匯入及匯出詞彙表和項目連結」。
- 使用代理擴充中繼資料:按照「建構代理來擴充中繼資料」一文的說明,建構 AI 代理來擷取背景資訊並擴充資料資產。
- 探索更多用途:在「用途」中,探索其他可自訂的工作流程和情境。