本頁說明如何在現有的 Dataplex Universal Catalog 區域中,新增、升級及移除 Cloud Storage bucket 和 BigQuery 資料集做為資產。
總覽
資產會對應至儲存在 Cloud Storage 或 BigQuery 中的資料。您可以將儲存在不同 Google Cloud 專案中的資料對應為資產,並放入湖泊中的單一區域。您可以附加現有的 Cloud Storage bucket 或 BigQuery 資料集,以便從湖泊內進行管理。
事前準備
必要角色和權限
如要在 Dataplex Universal Catalog 中管理資產,使用者必須具備執行管理動作的權限,Dataplex Universal Catalog 服務帳戶則必須具備存取基礎資源的權限。
如要新增或移除資產,使用者必須獲派包含必要權限 (例如 dataplex.assets.create 和 dataplex.assets.delete) 的 IAM 角色。預先定義的「Dataplex 管理員」(roles/dataplex.admin) 和「Dataplex 編輯者」 (roles/dataplex.editor) 角色,或舊版「擁有者」 (roles/owner) 和「編輯者」(roles/editor) 角色,都包含這些權限。
將資源 (Cloud Storage bucket 或 BigQuery 資料集) 連結至資料湖時,Dataplex Universal Catalog 會使用服務帳戶與該資源互動。
- 如果資源與 Lake 位於同一個專案,系統會隱含地將權限授予服務帳戶。
- 如果資源與資料湖位於不同專案,您必須明確授予服務帳戶存取該資源的權限,詳情請參閱下列章節。
詳情請參閱「Dataplex Universal Catalog IAM 和存取權控管」。
授予 Cloud Storage 值區的角色
如要附加其他專案的 Cloud Storage 值區,請透過下列其中一種方式,授予 Dataplex Universal Catalog 服務帳戶 (service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com) 權限:
專案層級權限:在含有 bucket 的專案中,將
roles/dataplex.serviceAgent角色授予服務帳戶。這會為 Dataplex Universal Catalog 提供專案中所有值區的管理員權限,方便管理附加值區的權限。值區層級權限:如要更精細地控管,請使用
gcloud dataplex lakes authorize指令,只對特定值區授予服務帳戶必要權限。
授予 BigQuery 資料集角色
如要從其他專案附加 BigQuery 資料集,請授予Dataplex Universal Catalog 服務帳戶資料集的「BigQuery 管理員」角色 (roles/bigquery.admin)。
VPC Service Controls 注意事項
Dataplex Universal Catalog 不會違反 VPC Service Controls 範圍。將資產新增至湖泊前,請確認基礎值區或資料集與湖泊位於相同的 VPC Service Controls 網路。
詳情請參閱「搭配 Dataplex Universal Catalog 使用 VPC Service Controls」。
新增資產
如果 Dataplex Universal Catalog 湖泊區域與其中一個 Cloud Storage bucket 區域沒有重疊,您就無法將 bucket 新增至湖泊中的區域。
如要進一步瞭解 Cloud Storage 資產的地區位置,以及 Dataplex Universal Catalog 在建立發布資料集時如何處理值區位置,請參閱「地區資源」。
如要新增素材資源,請按照下列步驟操作:
控制台
在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。
按一下要新增 Cloud Storage bucket 或 BigQuery 資料集的資料湖。湖泊頁面隨即開啟。
在「區域」分頁中,按一下要新增資產的資料區域名稱。系統會開啟該資料區域的「資料區域」頁面。
在「資產」分頁中,點選「+ 新增資產」。「新增素材資源」頁面隨即開啟。
按一下「新增資產」。
在「類型」欄位中,選取「BigQuery 資料集」或「Cloud Storage 值區」。
在「顯示名稱」欄位中,輸入新資產的名稱。
在「ID」欄位中,輸入資產的專屬 ID。
選用:輸入說明。
在「資料集」或「值區」欄位 (視資產類型而定),按一下「瀏覽」,找出並選取 Cloud Storage 值區或 BigQuery 資料集。
選用:如果資產類型為 Cloud Storage bucket,且您希望 Dataplex Universal Catalog 管理資產,請選取「升級為受管理」核取方塊。選擇這個選項後,您就不必另外升級資產。這個選項不適用於 BigQuery 資料集。
按一下「繼續」。
選擇其餘參數值。如要進一步瞭解安全性設定,請參閱「Lake 安全性」。
按一下「提交」。
確認您已返回資料區域頁面,且資產清單中顯示新資產。
REST
如要新增資產,請使用 lakes.zones.assets.create 方法。
新增成功後,資料區域會自動進入啟用狀態。如果失敗,資料區域就會回溯至先前的正常狀態。
升級 Cloud Storage bucket 資產
新增 Cloud Storage bucket 類型的資產時,Dataplex Universal Catalog 會自動發布資產中代管資料表的 BigQuery外部資料表。
升級 Cloud Storage bucket 資產時,Dataplex Universal Catalog 會移除連結的外部資料表,並建立 BigLake 資料表。BigLake 資料表支援更精細的安全防護機制,包括資料列層級、資料欄層級和動態資料遮蓋。
如要升級 Cloud Storage bucket 資產,請按照下列步驟操作:
控制台
在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。
按一下湖泊名稱。湖泊頁面隨即開啟。
在「可用區」分頁中,點選資料可用區名稱。系統隨即會開啟資料區域頁面。
在「資產」分頁中,按一下要升級的資產名稱。
按一下「升級至受管理」。
REST
如要升級 bucket 資產,請使用 lakes.zones.assets.patch 方法。
降級 Cloud Storage bucket 資產
降級 Cloud Storage bucket 資產時,Dataplex Universal Catalog 會移除連結的 BigLake 資料表,並建立外部資料表。
控制台
在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。
按一下湖泊名稱。湖泊頁面隨即開啟。
在「可用區」分頁中,點選資料可用區名稱。系統隨即會開啟資料區域頁面。
在「資產」分頁中,按一下要升級的資產名稱。
按一下「從代管模式降級」。
REST
如要降級 bucket 資產,請使用 lakes.zones.assets.patch 方法。請確認您在 ResourceSpec 中將 readAccessMode 欄位設為 DIRECT。
移除資產
如要將資產附加至其他資料區或湖泊,請先從目前的資料區或湖泊中移除資產。
如要移除素材資源,請按照下列步驟操作:
控制台
在 Google Cloud 控制台,前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。
按一下要移除 Cloud Storage 值區或 BigQuery 資料集的湖泊。系統會開啟該湖泊的湖泊頁面。
在「區域」分頁中,按一下要移除 Cloud Storage bucket 或 BigQuery 資料集的資料區域名稱。系統會開啟該資料區域的「資料區域」頁面。
在「資產」分頁中,勾選資產名稱左側的方塊,選取資產。
按一下「刪除資產」。
在確認對話方塊中,按一下「刪除」。
REST
如要移除 Bucket,請使用 lakes.zones,assets.delete 方法。
後續步驟
- 進一步瞭解如何探索資料。
- 瞭解如何建立湖泊。
- 進一步瞭解 Cloud 稽核記錄。