中繼資料對於整理及瞭解資料資產至關重要。舉例來說,受監管產業必須保護個人識別資訊 (PII),例如姓名、地址和政府核發的身分證字號。這類資料可能會出現在分散式資料系統中的多個執行個體。Dataplex Universal Catalog 可協助您快速探索及分類分散式資料資產。然後將資料分類為 PII。
為資料項目加入有意義的背景資訊,可讓資料更容易找到且更實用。Dataplex Universal Catalog 可透過下列方式提供背景資訊:
- 層面類型:定義相關資料的 JSON 範本。舉例來說,法規遵循資訊可能包含 PII 分類和 GDPR 法規遵循。
- 切面:切面類型的執行個體。例如:{"pii_classification": "confidential", "gdpr_compliant": true}。您可以將層面套用至整個資料表或個別資料表欄。
分類資料後,即可對資料套用資料品質或存取政策。
詳情請參閱「關於 Dataplex Universal Catalog 中的中繼資料管理」。
切面
切面能擷取項目內的中繼資料,提供有意義的背景資訊。您可以使用層面儲存:
業務中繼資料:提供業務背景資訊,例如資料分類。
技術中繼資料:資料資產的技術詳細資料,例如結構定義。
資料衍生中繼資料:從資料本身產生的資訊,例如 BigQuery 資料表的統計資料。
系統會將層面視為項目資源的一部分,而非獨立資源。修改切面時,必須修改含有該切面的項目。
您可以在項目層級指定描述項目的層面,或在資料欄層級指定描述項目中資料欄的層面。
每個切面都是一個切面類型的執行個體。切面類型會定義切面的範本。每個切面類型都包含一組欄位。建立層面時,您必須提供這些欄位的值。
每個項目最多只能有一個相關聯的面向,且每個面向類型只能有一個。每個方面類型可與多個項目資料欄相關聯。
切面類別
這些層面可分為以下幾類:
必要切面:建立項目時必須提供的切面。 這類切面是由特定項目的項目類型定義。屬於項目類型的所有項目,一律必須具備該項目類型定義的所有必要切面。
Dataplex Universal Catalog 會管理系統項目的必要切面 (例如結構定義)。
注意事項:
您只能將必要面向與項目建立關聯,不能與項目的資料欄建立關聯。
你無法從項目中刪除必要屬性。
您可以讀取系統項目的必要層面,但無法修改。
資料切面無法成為必要切面。
選用切面:您可以將選用切面與項目或項目資料欄建立關聯。您可以在建立項目時填入選用切面,也可以稍後更新項目。
填寫選填項目後,你可以刪除這些項目。
資料切面
Aspect 可能包含從資料衍生的資訊,例如資料剖析結果或範例查詢。這些稱為「資料層面」。
切面類型
切面類型是可重複使用的資源,可提供切面範本。
切面類型類別
切面類型分為自訂切面類型和系統切面類型。
自訂切面類型
在 Dataplex Universal Catalog 建立的切面類型稱為自訂切面類型。
自訂切面類型可以是全域或區域。您可以在特定區域位置 (例如 us-central1) 或 global 資源中建立自訂面向類型。屬性類型的位置會影響其適用範圍,並決定可搭配使用的項目:
- 全域切面類型:可用於在任何區域建立項目的切面。如要將相同結構套用至多個區域的項目,請選擇
global切面類型,因為您只需要定義一次。由於系統會在所有區域複製全域面向類型定義,如果面向類型結構定義本身含有私密資訊,或需要嚴格控管所有中繼資料元件的資料駐留位置,這個選項可能就不適合。 - 區域切面類型:只能用於為與切面類型位於相同區域的項目建立切面。舉例來說,在
us-central1中建立的構面類型只能與us-central1中的項目搭配使用。如果某個層面類型只與特定區域的項目相關,或是為了確保層面類型定義位於所選區域內,請選擇區域位置,這有助於符合資料主權和法規遵循要求。如果您使用區域性面向類型,但需要在多個區域中採用相同結構,則必須在每個區域中建立及管理個別的面向類型定義。
詳情請參閱「專案和位置限制」。
系統切面類型
Dataplex Universal Catalog 提供、使用及管理的切面類型稱為系統切面類型。系統切面類型一律為全域類型,因此可用於任何區域。系統切面類型會儲存在 Google 管理的專案中,專案編號為 655216118709。例如:projects/655216118709/locations/global/aspectTypes/schema。
每個系統定義的切面類型和系統定義的項目類型都有專屬的 IAM 權限。詳情請參閱「系統切面類型和項目類型的 IAM 權限」。
系統切面類型可進一步分為可重複使用和受限。下表說明系統切面類型類別,以及 Dataplex Universal Catalog 為每個類別提供的切面類型清單:
| 系統切面類型類別 | 說明 | Dataplex Universal Catalog 提供的切面類型 |
|---|---|---|
| 可重複使用的系統切面類型 | 您可以使用這些切面類型建立或修改切面。 |
|
| 受限的系統切面類型 | Dataplex Universal Catalog 會管理這些切面類型。 您可以讀取這些切面類型下的切面,但無法建立或編輯這些切面類型下的切面。 |
包括但不限於:
|
事前準備
建立及管理構面類型和構面前,請先完成本節所述工作。
必要的角色
如要取得建立及管理切面類型和切面所需的權限,請要求管理員授予您資源的下列 IAM 角色:
-
在 Dataplex Universal Catalog 中,對中繼資料資源擁有完整權限,包括切面類型和資料切面:
Dataplex Catalog 管理員 (
roles/dataplex.catalogAdmin) -
在 Dataplex Universal Catalog 中建立及管理中繼資料資源,包括切面類型和資料切面:
Dataplex Catalog 編輯者 (
roles/dataplex.catalogEditor) -
自訂切面類型的完整權限 (除了使用切面類型建立或編輯項目的權限):
Dataplex 切面類型擁有者 (
roles/dataplex.aspectTypeOwner) -
查看與切面類型相關聯的 IAM 政策:
Dataplex Catalog 檢視者 (
roles/dataplex.catalogViewer) -
使用切面類型建立及修改具備相應切面的項目:
Dataplex 切面類型使用者 (
roles/dataplex.aspectTypeUser) -
新增部分系統層面類型的層面,例如
schema、overview、contacts: Dataplex 項目和 EntryLink 擁有者 (roles/dataplex.entryOwner)
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
詳情請參閱「Dataplex Universal Catalog IAM 角色」。
啟用 API
在 Dataplex Universal Catalog 專案中啟用 Dataplex API。
建立自訂切面類型
控制台
- 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Catalog」(目錄) 頁面。
按一下「切面類型和標記範本」>「自訂」分頁標籤。
點選「建立切面類型」。
在「建立切面類型」視窗中,輸入下列資訊:
選用:在「顯示名稱」欄位中,輸入構面類型的名稱。
- 在「Aspect type ID」(切面類型 ID) 欄位中,輸入切面類型的專屬 ID。
- 選用:在「Description」(說明) 欄位中輸入層面類型的說明。
- 在「位置」欄位中,選取該面向類型的位置。 建立後即無法修改構面類型的位置。 如要瞭解選擇全域與區域位置的影響,請參閱「自訂層面類型」一節。
選用:定義切面類型的範本。
在「Template」(範本) 部分,按一下「Add field」(新增欄位)。在「New field」(新增欄位) 區段中,輸入下列內容:
在「名稱」欄位中輸入名稱。
- 選用:在「顯示名稱」欄位中輸入顯示名稱。
- 選用:在「Description」(說明) 欄位中輸入說明。
在「Type」欄位中,選取欄位的資料類型。系統會根據您的選擇,顯示下一組欄位和選項:
* If you selected **Text** as the data type, follow these steps:
在「文字類型」欄位中,選取文字類型。 1. 在「文字值」欄位中,提供文字欄位的提示。如要新增提示,請按一下「新增值」,然後輸入提示。 您可以為文字欄位新增多個提示。 1. 然後點選「完成」。
* If you selected **Enum** as the data type, add an enum value:點選「新增列舉值」。 1. 在「Value」(值) 欄位中輸入列舉值。您可以新增多個列舉值。 1. 接著點選「完成」。
* If you selected **Array** as the data type, in the **Array item** section, define the types of items to be present in the array:按一下「新增陣列項目」。 1. 在「Name」(名稱) 欄位中,輸入陣列項目的名稱。 1. 選用:在「顯示名稱」欄位中,輸入陣列項目的顯示名稱。 1. 選用:在「Description」(說明) 欄位中輸入陣列項目的說明。 1. 在「Type」(類型) 欄位中,選取陣列項目的資料類型。
系統會根據您的選擇,顯示下一組欄位和選項。 這些選項與本節其他部分針對「Text」、「Enum」、「Map」、「Array」和「Record」資料類型說明的選項類似。
按一下 [完成]。
* If you selected **Map** as the data type, in the **Map value** section, define the types of values to be present in the map:按一下「新增對應值」。 1. 在「Name」(名稱) 欄位中,輸入地圖名稱。 1. 選用:在「顯示名稱」欄位中,輸入地圖的顯示名稱。 1. 選用:在「Description」(說明) 欄位中輸入地圖的說明。 1. 在「類型」欄位中,選取地圖的資料類型。
系統會根據您的選擇,顯示下一組欄位和選項。 這些選項與本節其他部分針對「Text」、「Enum」、「Map」、「Array」和「Record」資料類型說明的選項類似。
按一下 [完成]。
* If you selected **Record** as the data type, enter the following:在「記錄 ID」欄位中,輸入其他記錄欄位可用來參照這份記錄的專屬 ID。請參閱本文件的「使用記錄 ID 和記錄參照欄位的範例」一節。1. 選用:如要從這個範本參照其他記錄,請使用「記錄參照」欄位。建立構面類型後,就無法修改這項設定。請參閱本文件的「使用記錄 ID 和記錄參照欄位的範例」一節。1. 在「記錄欄位」部分,您可以定義具有多個巢狀欄位的複雜物件。如要這麼做,請點選「新增記錄欄位項目」,然後指定下列項目:
在「Name」(名稱) 欄位中,輸入記錄欄位的名稱。 1. 選用:在「顯示名稱」欄位中,輸入記錄欄位的顯示名稱。 1. 選用:在「Description」(說明) 欄位中輸入記錄欄位的說明。 1. 在「類型」欄位中,選取資料類型。
系統會根據您的選擇,顯示下一組欄位和選項。 這些選項與本節稍早針對「Text」(文字)、「Enum」(列舉)、「Map」(對應)、「Array」(陣列) 和「Record」(記錄) 資料類型說明的選項類似。
按一下 [完成]。
如要將這類型的某個屬性設為必填欄位,請選取「必填」。如要進一步瞭解必要和選用層面,請參閱本文的「層面類別」一節。
- 按一下 [完成]。
- 如要新增多個欄位,請按一下「新增欄位」,然後重複上述步驟。
選用:在「標籤」部分,以鍵/值組合的形式為資源新增任意標籤:
按一下「新增標籤」。
- 在「Key」欄位中輸入金鑰。
- 在「Value」(值) 欄位中,輸入金鑰的值。
- 如要新增更多標籤,請按一下「新增標籤」並重複上述步驟。
按一下 [儲存]。
gcloud
如要建立自訂切面類型,請使用 gcloud dataplex aspect-types
create 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 C# 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog C# API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Go 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Go API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Java 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Java API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Python 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Python API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Ruby 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Ruby API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要建立自訂切面類型,請使用 aspectType.create 方法。
建立自訂切面類型後,即可將切面新增至項目。
使用記錄 ID 和記錄參照欄位的範例
您可以使用「記錄 ID」和「記錄參照」欄位進行遞迴參照。以下範例說明如何使用這些欄位:
假設有一個名為 Employee 的切面類型,其中包含下列欄位:
- 名稱 (類型:
Text) - 開始日期 (類型:
Date & time) - 職稱 (類型:
Text) - 目前地址 (類型:
Record) - 永久地址 (類型:
Record)
「現居地址」和「永久地址」這兩個地址欄位屬於相同的資料類型 Record。為避免重複,您可以在定義這些欄位時設定「記錄 ID」和「記錄參照」值。
定義「Current address」(目前地址) 欄位時,您可以將「Record ID」(記錄 ID) 指定為 address-field。對於「永久地址」,您可以為「記錄參照」指定相同的值 (address-field)。例如:
- 名稱 (類型:
Text) - 開始日期 (類型:
Date & time) - 職稱 (類型:
Text) - 目前地址 (類型:
Record,記錄 ID:address-field) - 永久地址 (類型:
Record,記錄參考資料:address-field)
這樣一來,您就不必複製其他地址的欄位。
為項目新增切面
建立自訂切面類型後,即可建立該類型的切面。如要為項目新增切面,必須更新項目,因為切面會儲存在項目中。
注意事項:
- 您可以將切面新增至項目或項目的資料欄。
- 您只能編輯自訂項目的必要部分。您無法刪除必要層面。
- 您可以編輯及刪除自訂項目和系統項目的選填部分。
控制台
- 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Search」(搜尋) 頁面。
- 在「選擇搜尋平台」中,選取「Dataplex Universal Catalog」做為搜尋模式。
- 搜尋要新增面向的項目,然後按一下該項目。系統會開啟項目詳細資料頁面。
如要為項目新增層面,請按照下列步驟操作:
- 點按「Details」(詳細資料) 分頁標籤。
- 如要為項目新增必要或選用切面,請在「標記和切面」部分,點選各類別的「新增」。
如果所選項目的項目類型未定義任何必要切面,您就無法新增必要切面。 - 搜尋並選取要新增的面向。
- 在「新增構面」視窗中,輸入欄位值。
按一下 [儲存]。
如要為項目欄新增層面,請按照下列步驟操作:
在項目詳細資料頁面中,按一下「結構定義」分頁標籤。
選取要新增層面的資料欄。
按一下「新增切面」。
搜尋並選取要新增的面向。
在「新增構面」視窗中,輸入欄位值。
按一下 [儲存]。
gcloud
如要為項目或項目資料欄新增切面,請使用 gcloud
dataplex entries update 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 C# 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog C# API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
如要將構面新增至項目物件,請參閱「構面」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Go 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Go API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
如要為項目物件新增切面,請參閱「項目」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Java 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Java API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Python 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Python API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Ruby 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Ruby API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
如要將切面新增至項目物件,請參閱 #required_aspects=。
REST
如要將切面新增至項目或項目的資料欄,請使用 entry.patch 方法。
如果項目和相應切面類型位於不同 Google Cloud 機構,系統就不支援在項目中建立及使用切面。
附加可重複使用的系統切面類型切面
您可以將可重複使用的系統切面類型切面附加至項目。
您可以在 Google Cloud 控制台
中編輯可重複使用的切面類型,視結構而定。含有巢狀欄位的切面類型不支援在 Google Cloud 控制台中編輯。您必須使用 gcloud 指令列工具或 REST API,才能附加或更新這類型的層面。
資料品質評量表
資料品質評分表是提供資料品質摘要的層面,通常以資料品質掃描或其他程序為依據。您可以將資料品質評量表附加至項目,提供自訂資料品質資訊。方法是附加系統定義型別 data-quality-scorecard 的切面。
data-quality-scorecard 方面的 data 欄位可以包含下列欄位:
job:選用。這項記錄包含產生評量表的作業詳細資料。name:資料品質工作的資源名稱。runTime:資料品質工作的執行時間。
score:選用。整體資料品質分數。分數範圍介於 [0, 100]。status:必填,資料品質評分表的狀態,指出是否通過品質門檻 (PASS或FAIL)。dimensions:選用。維度結果陣列。每項結果都包含:name:維度的名稱。可以是ACCURACY、COMPLETENESS、CONSISTENCY、FRESHNESS、UNIQUENESS、VALIDITY或VOLUME,也可以是自訂維度名稱。自訂維度名稱必須使用大寫字母,且不得超過 30 個字元。score:整體維度層級分數,範圍為 [0, 100]。status:維度的狀態,表示是否通過品質門檻 (PASS或FAIL)。
columns:選用。資料欄結果陣列。每項結果都包含:name:資料欄的名稱。score:整體資料欄層級分數,範圍為 [0, 100]。status:資料欄的狀態,指出資料欄是否通過品質門檻 (PASS或FAIL)。dimensions:資料欄的維度分數陣列。每個維度分數都包含:name:維度的名稱。score:維度的分數,範圍為 [0, 100]。status:資料欄維度的狀態,指出是否通過品質門檻 (PASS或FAIL)。
執行附加切面的指令時,系統會取代該特定切面的所有現有資料。舉例來說,如果更新分數為 80 的評量表,並上傳分數為 90 的新檔案,系統就會覆寫 80。不會合併資料。
如要附加資料品質評分表,請按照下列步驟操作:
gcloud
如要更新項目的層面,請使用 gcloud dataplex entries
update-aspects 指令。
建立包含下列內容的 JSON 檔案 (
dq-aspect.json)。{ "dataplex-types.global.data-quality-scorecard": { "data": { "score": 0.8, "status": "PASS", "dimensions": [ { "name": "completeness", "score": 0.9, "status": "PASS" }, { "name": "uniqueness", "score": 0.7, "status": "FAIL" } ], "columns": [ { "name": "col1", "score": 0.85, "status": "PASS" } ] } } } }執行下列指令:
gcloud dataplex entries update-aspects ENTRY_ID --location=LOCATION --entry-group=ENTRY_GROUP_ID --project=PROJECT_ID --aspects=dq-aspect.json
請替換下列變數:
ENTRY_ID:項目的 ID,例如example-entryLOCATION:項目的位置,例如us-central1ENTRY_GROUP_ID:項目群組的 ID,例如example-entry-groupPROJECT_ID:專案 ID,例如:example-project
REST
如要更新項目的各個層面,請使用 entry.patch 方法。
建立名為
payload.json的檔案,然後將要求中的 JSON 內容貼到該檔案。{ "aspects": { "dataplex-types.global.data-quality-scorecard": { "aspectType": "projects/<var>PROJECT_ID</var>/locations/global/aspectTypes/data-quality-scorecard", "data": { "score": 80, "status": "PASS", "dimensions": [ { "name": "completeness", "score": 90, "status": "PASS" }, { "name": "uniqueness", "score": 70, "status": "FAIL" } ], "columns": [ { "name": "col1", "score": 85, "status": "PASS" } ] } } } }在終端機中執行下列指令:
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -d @payload.json \ "https://dataplex.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>/entries/<var>ENTRY_ID</var>?updateMask=aspects"更改下列內容:
PROJECT_ID:專案 ID,例如example-projectLOCATION:項目的位置,例如us-central1ENTRY_GROUP_ID:項目群組的 ID,例如example-entry-groupENTRY_ID:項目的 ID,例如example-entry
其他可重複使用的切面類型
您也可以使用下列系統層面類型。您可以使用與資料品質評估表相同的 gcloud 或 REST API 方法附加這些指標。如果屬性類型沒有巢狀欄位,例如 generic,您可以使用控制台。
聯絡人。使用
contacts切面類型指派擁有權或管理權。這些欄位包括:identities(陣列):聯絡人清單。每位聯絡人都包含:role(字串):聯絡人的角色 (例如:owner、steward、producer或admin)。name(字串):聯絡人名稱。id(字串):聯絡人的電子郵件地址或 ID。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.contacts": { "data": { "identities": [ { "role": "steward", "name": "Jane Doe", "id": "jane.doe@example.com" } ] } } } }資料設定檔。使用
data-profile切面類型擷取資料剖析結果。詳情請參閱「關於資料剖析」。這些欄位包括:sourceDataInfo(記錄):掃描來源資料以產生設定檔的相關資訊。scope(列舉):設定檔的範圍 (PREVIEW、SAMPLED或ALL)。scannedRows(整數):掃描的資料列數。samplingPercentage(double):使用的取樣百分比。
fields(對應):資料欄名稱對應資料剖析的對應,包括uniqueness、nullness、topN值等指標,以及numeric、string、datetime和array資料欄的類型專屬統計資料。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.data-profile": { "data": { "sourceDataInfo": { "scope": "ALL", "scannedRows": 100 }, "fields": { "col1": { "nullness": 0.0, "uniqueness": 0.1, "string": { "length": { "min": 1, "max": 20, "avg": 12.54 } } } } } } }}一般。使用
generic切面類型取得一般項目資訊。 這些欄位包括:type(字串):可儲存使用者指定類型的任意形式欄位。system(字串):自訂項目的系統。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.generic": { "data": { "type": "custom-type", "system": "custom-system" } } } }總覽。使用
overview方面類型提供豐富的文字說明。這些欄位包括:content(字串):條目總覽,支援 HTML 格式。links(陣列):來源系統連結清單。每個連結都包含:url(字串):連結的網址。title(字串):連結的標題。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.overview": { "data": { "content": "This is a <b>rich text</b> description.", "links": [ { "url": "https://example.com", "title": "Example Link" } ] } } }}結構定義。使用
schema方面類型描述資料結構。fields(陣列):結構定義欄位清單。這些欄位包括:name(字串):欄位名稱。dataType(字串):欄位的資料類型。metadataType(列舉):中繼資料類型 (例如STRING、BOOLEAN)。mode(列舉):欄位的模式 (NULLABLE、REQUIRED、REPEATED)。description(字串):欄位的說明。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.schema": { "data": { "fields": [ { "name": "id", "dataType": "string", "metadataType": "STRING", "mode": "REQUIRED" } ] } } }}使用方式。使用
usage切面類型追蹤使用情況指標。這些欄位包括:metrics(陣列):使用量指標清單。每個指標都包含:name(字串):指標名稱 (例如views、reads)。timeSeries(陣列):時間序列資料清單。每個項目都包含:interval(字串):匯總間隔 (例如30d)。value(整數):匯總值。
refreshTime(datetime):指標上次更新的時間。
按照下列方式建立
payload.json檔案:{ "aspects": { "dataplex-types.global.usage": { "data": { "metrics": [ { "name": "views", "timeSeries": [ { "interval": "30d", "value": 100 } ] } ], "refreshTime": "2025-01-01T12:00:00Z" } } }}
管理項目的現有層面
本節說明如何更新及刪除項目的現有面向。
更新切面
您可以編輯自訂項目和系統項目的選填部分。 您只能編輯自訂項目的必要部分。
控制台
- 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Search」(搜尋) 頁面。
- 在「選擇搜尋平台」中,選取「Dataplex Universal Catalog」做為搜尋模式。
- 搜尋要更新層面的項目,然後按一下該項目。
系統會開啟項目詳細資料頁面。
1. Click the **Details** tab.
- 在「標記和切面」部分,展開要更新的切面或標記,然後按一下 「編輯」。
- 在「編輯面向」視窗中,更新必填欄位。
- 按一下 [儲存]。
gcloud
如要更新項目或項目資料欄的層面,請使用 gcloud
dataplex entries update 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 C# 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog C# API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Go 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Go API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Java 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Java API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Python 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Python API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Ruby 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Ruby API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要更新項目或項目欄的層面,請使用 entry.patch 方法。
刪除切面
控制台
- 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Search」(搜尋) 頁面。
- 在「選擇搜尋平台」中,選取「Dataplex Universal Catalog」做為搜尋模式。
- 搜尋要刪除特定面向的項目,然後按一下該項目。
系統會開啟項目詳細資料頁面。
1. Click the **Details** tab.
- 在「標記和切面」部分,展開要刪除的切面或標記,然後按一下 「刪除」。
- 按一下「確認」。
gcloud
如要刪除項目的層面,請使用 gcloud dataplex entries update 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 C# 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog C# API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Go 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Go API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Java 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Java API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Python 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Python API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Ruby 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Ruby API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要刪除項目的層面,請使用 entry.patch 方法。
管理切面類型
本節說明如何查看構面類型,以及更新和刪除自訂構面類型。
查看可用切面類型和標記範本的清單
控制台
- 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Catalog」(目錄) 頁面。
- 按一下「切面類型和標記範本」分頁標籤。
這個頁面會列出所有可用的 Dataplex Universal Catalog 切面類型和 Data Catalog 標記範本。
- 如要查看自訂切面類型和標記範本,請按一下「Custom」(自訂) 分頁標籤。在「Custom」(自訂) 分頁中,「Catalog source」(目錄來源) 欄會顯示資源所在位置,也就是 Dataplex Universal Catalog 或 Data Catalog。
如要查看系統切面類型,請按一下「系統」分頁標籤。
如要進一步瞭解自訂和系統層面類型,請參閱本文的「層面類型類別」一節。
- 選用:如要查看所選專案中的切面類型和標記範本清單,請按一下「Custom」分頁標籤,然後將「Show from all projects」切換鈕設為關閉位置。
「顯示所有專案的資源」切換鈕預設為開啟,清單會包含所選機構的 Dataplex Universal Catalog 資源,以及您可存取的所有機構的 Data Catalog 資源。
gcloud
如要列出所有可用的切面類型,請使用 gcloud dataplex
aspect-types list 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 C# 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog C# API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Go 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Go API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Java 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Java API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Python 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Python API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Ruby 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Ruby API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要列出所有可用的切面類型,請使用 aspectTypes.list 方法。
查看切面類型或標記範本的詳細資料
控制台
- 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Catalog」(目錄) 頁面。
按一下「切面類型和標記範本」分頁標籤。
如要查看 Dataplex Universal Catalog 切面類型的詳細資料,請按一下該切面類型。系統會開啟「層面類型詳細資料」頁面,您可以在這裡查看詳細資料,例如顯示名稱、層面類型 ID、說明、專案 ID、位置、標籤、建立日期和上次修改日期。
- 如要查看所選切面類型的結構,請按一下「範本」分頁標籤。
- 如要查看最近建立的 10 個相關項目清單,請按一下「範例項目」分頁標籤。
- 如要搜尋所有相關項目,請按一下「在搜尋結果顯示所有相關項目」。只有在至少有一個相關項目時,才會顯示這個按鈕。
如要查看 Data Catalog 標記範本的詳細資料,請按一下該標記範本。系統會在 Data Catalog 中開啟標記範本詳細資料頁面,您可以在這裡存取顯示名稱、範本 ID、專案 ID、位置、可見度和標籤等詳細資料。
gcloud
如要取得構面類型的詳細資料,請使用 gcloud dataplex aspect-types
describe 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 C# 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog C# API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Go 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Go API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Java 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Java API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Python 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Python API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Ruby 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Ruby API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要取得構面類型的詳細資料,請使用 aspectTypes.get 方法。
更新自訂切面類型
您可以更新自訂層面類型的顯示名稱、說明、範本欄位和標籤。您無法刪除範本中的現有欄位。
建立構面類型後,就無法更新構面類型 ID 和位置。
控制台
- 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Catalog」(目錄) 頁面。
- 按一下「切面類型和標記範本」分頁標籤。
- 按一下要更新的面向類型。
- 在「構面類型詳細資料」頁面中,按一下「編輯」。
- 視需要編輯顯示名稱、說明、範本欄位和標籤。
選用:如要將某個欄位標示為已淘汰,請按照下列步驟操作:
- 在「範本」部分,展開欄位。
- 選取「已淘汰」。
- 在「淘汰原因」欄位中,輸入淘汰所選欄位的原因。
按一下 [完成]。
按一下 [儲存]。
gcloud
如要更新自訂切面類型,請使用 gcloud dataplex aspect-types
update 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 C# 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog C# API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Go 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Go API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Java 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Java API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Python 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Python API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Ruby 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Ruby API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要更新自訂面向類型,請使用 aspectTypes.patch 方法。
刪除自訂切面類型
控制台
- 在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Catalog」(目錄) 頁面。
- 按一下「切面類型和標記範本」分頁標籤。
- 按一下要刪除的面向類型。
- 在「Aspect type details」(構面類型詳細資料) 頁面中,按一下「Delete」(刪除)。當系統提示時,確認刪除。
gcloud
如要刪除自訂層面類型,請使用 gcloud dataplex aspect-types
delete 指令。
C#
C#
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 C# 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog C# API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Go
Go
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Go 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Go API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Java 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Java API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Python 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Python API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Ruby
Ruby
在試用這個範例之前,請先按照「使用用戶端程式庫的 Dataplex Universal Catalog 快速入門導覽課程」中的 Ruby 設定操作說明進行操作。詳情請參閱 Dataplex Universal Catalog Ruby API 參考文件。
如要向 Dataplex Universal Catalog 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
REST
如要刪除現有的自訂面向類型,請使用 aspectTypes.delete 方法。
後續步驟
- 瞭解如何在 Dataplex Universal Catalog 中搜尋資料資產。
- 瞭解如何管理項目及擷取自訂來源。
- 瞭解如何將中繼資料匯入 Dataplex Universal Catalog。
- 進一步瞭解 Dataplex Universal Catalog 的中繼資料管理功能。
- 進一步瞭解如何從 Data Catalog 轉移至 Dataplex Universal Catalog。
- 請按照程式碼研究室:使用 Dataplex Universal Catalog 進行基礎治理操作。