Knowledge Catalog (舊稱 Dataplex Universal Catalog) 可讓您大量匯入及匯出組織詞彙和項目連結,大規模管理商務詞彙。隨著目錄擴充,您可以使用大量作業更新字詞及其關係,不必在 Google Cloud 控制台中個別管理。
術語
Knowledge Catalog 組織詞彙可讓您定義常見的業務詞彙,並將這些字詞與實體資料資產建立關聯。使用匯入和匯出公用程式前,請先熟悉下列重要元件:
- 詞彙表資源:包含類別和字詞,可建立業務詞彙。
項目連結:資源之間的關係或關聯,例如詞彙表字詞與資料資產之間的關係。Knowledge Catalog 支援三種項目連結:
definition:將詞彙表字詞與特定資料資產建立關聯 (例如 BigQuery 資料欄)related:建立兩個相關詞彙表字詞之間的關係synonym:建立兩個同義詞彙表字詞之間的關係
匯入及匯出詞彙和詞目連結的方法
Knowledge Catalog 支援兩種大量管理詞彙表的主要方法。請選擇最符合自動化需求和偏好介面的方法:
- 以 JSON 為基礎匯入中繼資料
- Google 試算表匯入和匯出公用程式
以 JSON 為基礎匯入中繼資料
這是內建的全代管 Knowledge Catalog 機制。您可以使用 Dataplex API,匯入 JSON 格式中繼資料檔案中定義的詞彙表字詞及其關聯。
範例用途:在每日排定的資料管道中,自動更新 Knowledge Catalog 中繼資料,例如直接從外部企業資料庫同步處理字詞。
詳情請參閱「使用 JSON 檔案匯入詞彙和項目連結」。
Google 試算表匯入和匯出公用程式
這是一種開放原始碼、以指令碼為基礎的方法,在 dataplex-labs 存放區中提供。這個範例會使用 Python 指令碼,在 Google 試算表和 Knowledge Catalog 之間同步處理術語表的中繼資料。
用途範例:資料治理團隊想與非技術業務利害關係人合作,共同草擬及審查數十個新的業務詞彙。團隊使用這種試算表方法,讓每個人都能在 Google 試算表中編輯、評論及核准字詞,然後由管理員執行指令碼,將字詞大量上傳至 Knowledge Catalog。
如需詳細資訊,請參閱下列文件:
常見用途:使用 Google 試算表進行來回編輯
常見的管理工作流程是執行來回編輯。包括匯出現有的目錄設定、大量修改,以及將這些變更套用回 Knowledge Catalog。
以下工作流程說明如何執行這項程序:
將現有中繼資料從 Knowledge Catalog 匯出至 Google 試算表。
在 Google 試算表中修改中繼資料。
在 Google 試算表中進行必要變更。由於匯出時,系統會將對稱連結 (例如
synonym和related項目連結) 簡化為單一方向,避免出現重複的資料列,因此您只需要管理一次。您可以按照必要的資料欄結構定義,在各個工作表中新增資料列。您也可以直接在資料列中修改說明或顯示名稱等詳細資料。
將 Google 試算表中的變更項目暫存並匯回 Knowledge Catalog。
請先執行字彙表匯入公用程式。這可確保您在嘗試連結任何新字詞或類別之前,已在組織詞彙表中成功建立這些項目。
執行「entry links import」公用程式。這項公用程式會讀取更新後的關聯、將其暫存在 Cloud Storage bucket 中,並將
definition、related和synonym連結套用至新更新的詞彙表。
後續步驟
- 進一步瞭解如何管理組織詞彙。
- 瞭解如何使用 JSON 檔案匯入組織詞彙和項目連結。
- 瞭解如何從 Google 試算表匯入組織詞彙。
- 瞭解如何從 Google 試算表匯入項目連結。
- 瞭解如何將組織詞彙匯出至 Google 試算表。
- 瞭解如何將表單連結匯出至 Google 試算表。