快速入門導覽課程：建立及設定湖泊

快速入門導覽課程：建立及設定湖泊

本快速入門導覽課程說明如何透過Google Cloud 控制台開始使用 Dataplex Universal Catalog，包括逐步引導您建立湖泊、新增儲存區，以及連結資產。

事前準備

注意： 如要使用 Dataplex Universal Catalog，請勿建立或使用 ID 為 goog-dataproc-default-lake 的湖泊，因為這是專為 Managed Service for Apache Spark 工作區設計的預設湖泊。

登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Enable the Dataplex, Managed Service for Apache Spark, Dataproc Metastore, BigQuery, and Cloud Storage APIs.
Roles required to enable APIs
To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.
Enable the APIs
Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataplex, Managed Service for Apache Spark, Dataproc Metastore, BigQuery, and Cloud Storage APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Make sure that you have the following role or roles on the project: roles/dataplex.admin, roles/dataplex.editor

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.
建立 Cloud Storage bucket：
1. 前往 Google Cloud 控制台的 Cloud Storage「Buckets」(值區) 頁面。

   前往「Buckets」(值區) 頁面

2. 點選 「Create」(建立)。
3. 在「建立 bucket」頁面中，輸入 bucket 資訊。如要前往下一個步驟，請按「繼續」。
   1. 在「Name your bucket」(為 bucket 命名) 欄位中，輸入 bucket 的專屬名稱。請勿在 bucket 名稱中加入任何機密資訊，因為 bucket 命名空間全域通用並會公開顯示。
   2. 在「Choose where to store your data」(選擇資料的儲存位置) 專區中，執行下列操作：
      1. 選取「位置類型」。
      2. 從「位置類型」下拉式選單中，選擇要永久儲存 bucket 資料的位置。
         • 如果您選取「雙區域」位置類型，也可以使用相關核取方塊啟用強化型複製。
      3. 如要設定跨值區複製，請選取「透過 Storage 移轉服務新增跨值區複製作業」，然後按照下列步驟操作：

         設定跨 bucket 複製作業

         1. 在「Bucket」選單中選取 bucket。

         2. 在「複製設定」部分，按一下「設定」，設定複製作業的設定。

            系統隨即會顯示「設定跨 bucket 複製作業」窗格。

            • 如要依物件名稱前置字串篩選要複製的物件，請輸入要納入或排除物件的前置字串，然後按一下「新增前置字串」。
            • 如要為複製的物件設定儲存空間級別，請從「儲存空間級別」選單中選取儲存空間級別。如果略過這個步驟，複製的物件預設會使用目標值區的儲存空間級別。
            • 按一下 [完成]。
   3. 在「選擇資料儲存方式」部分，執行下列操作：
      1. 在「設定預設類別」部分，選取「Standard」。
      2. 如要啟用階層命名空間，請在「為資料密集型工作負載提供最理想的儲存空間」部分，選取「為這個值區啟用階層命名空間」。
         注意：您無法在現有 bucket 中啟用階層式命名空間。
   4. 在「選取如何控制物件的存取權」部分，選取 bucket 是否要強制執行禁止公開存取，並為 bucket 的物件選取存取控管方法。
      注意：如果機構政策強制執行「禁止公開存取」設定，您就無法變更這項設定。
   5. 在「選擇保護物件資料的方式」部分，執行下列操作：
      • 選取「資料保護」下方的任何選項，為 bucket 設定所需項目。
        • 如要啟用虛刪除，請按一下「虛刪除政策 (用於資料復原)」核取方塊，並指定要保留物件的天數 (刪除後)。
        • 如要設定「物件版本管理」，請按一下「物件版本管理 (用於版本管控)」核取方塊，並指定每個物件的版本數量上限，以及非現行版本失效的天數。
        • 如要為物件和 bucket 啟用資料保留政策，請勾選「保留 (符合法規)」核取方塊，然後執行下列操作：
          • 如要啟用 Object Retention Lock，請按一下「啟用物件保留功能」核取方塊。
          • 如要啟用 Bucket Lock，請勾選「Set bucket retention policy」(設定值區資料保留政策) 核取方塊，然後選擇保留期限的時間單位和長度。
      • 如要選擇物件資料的加密方式，請展開「資料加密」部分 ()，然後選取「資料加密」方法。
4. 點選「建立」。

建立湖泊

湖泊是代表資料網域或業務單位的邏輯建構體。舉例來說，如要依群組用量整理資料，請為每個部門 (例如零售、銷售和財務) 建立湖泊。

下列步驟說明如何使用 Google Cloud 控制台建立資料湖。

1. 在 Google Cloud 控制台，前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。

   前往「Lakes」(湖泊)

2. 點選 「建立」。

3. 輸入顯示名稱。

4. 系統會自動產生湖泊 ID。

5. 指定要建立資料湖泊的「Region」(區域)。

   如果是在特定區域 (例如 us-central1) 建立的湖泊，可以根據可用區設定來附加單一區域 (us-central1) 資料和多區域 (us multi-region) 資料。

6. 點選「建立」。

在湖泊中新增儲存區

建立湖泊後，就能在湖泊中新增儲存區。儲存區是湖泊中的邏輯分組，有助於分類結構化和非結構化資料。

1. 在「管理」檢視畫面中，按一下要新增可用區的湖泊名稱。

2. 按一下 「新增區域」。

3. 輸入區域的顯示名稱。

   注意： 系統會自動產生區域 ID，如有需要，可以提供自己的 ID。

4. 按一下「類型」下拉式選單。選擇「Raw Zone」(原始可用區) 或「Curated Zone」(收錄的可用區)。進一步瞭解區域類型。

5. 在「資料位置」下方，選取「區域性」或「多區域」。 選定後即無法變更。在同一個可用區中，單一區域和多區域的資料不得混用。

   注意： 系統預設會啟用探索功能。按一下展開「探索設定」，確認已選取「啟用中繼資料探索功能」。進一步瞭解探索。

6. 點選「建立」。

系統應該會在幾分鐘內建立儲存區。

附加資產

資料可儲存在 Cloud Storage bucket 或 BigQuery 資料集中，並可做為資產，連結至 Dataplex Universal Catalog 湖泊中的資料儲存區。

如要將 Cloud Storage bucket 附加為資產，請按照下列步驟操作：

1. 在「管理」檢視畫面中，按一下要附加 Cloud Storage bucket 的湖泊名稱。

2. 在「區域」分頁中，點按要新增資產的區域。

3. 在「資產」分頁中，按一下「新增資產」。

4. 點選「Add an asset」。

5. 在「Type」(類型) 下方，選取「Storage bucket」(儲存空間 bucket)。

6. 在「顯示名稱」下方輸入資產名稱。

   注意： 系統會自動產生資產 ID，如有需要，可以提供自己的 ID。

7. 在「Bucket」欄位中，按一下「Browse」(瀏覽)。如果您有 Cloud Storage bucket，請找出並點按「選取」。如果沒有 Cloud Storage bucket，可以點選 按鈕建立一個。

   1. 輸入 bucket 的專屬名稱。按一下「繼續」。

   2. 選擇「位置類型」。按一下「Continue」(繼續)。

   3. 為資料選擇預設儲存空間級別。按一下「繼續」。

   4. 選擇存取控管層級。按一下「繼續」。

   5. 選擇資料保護選項或「無」。按一下「Continue」(繼續)。

   6. 點選「建立」。

   7. 按一下「Select」。

8. 按一下 [完成]。

9. 按一下「繼續」。

10. 在「探索」功能設定下方，選取「繼承」來繼承儲存區層級的「探索」功能設定。

11. 按一下「繼續」。

12. 在「新增資產」下方，按一下「提交」。

等待資產建立完成。

如要使用資料湖，請參閱「後續步驟」一節。如否，請按照清理步驟刪除您建立的資源。

清除所用資源

為了避免系統向您的 Google Cloud 帳戶收取本頁面所用資源的費用，請按照下列步驟操作。

注意：刪除專案會造成以下結果：

• 專案中的所有內容都會遭到刪除。如果使用現有專案來進行本文中的任務，刪除專案將一併移除當中已完成的其他任務'。
• 自訂專案 ID 會消失。當您之前建立這個專案時，可能建立了想要在日後使用的自訂專案 ID。如要保留使用該專案 ID 的網址 (例如 appspot.com 網址)，請刪除在該專案中選取的資源，而不是刪除整個專案。

如果打算探索多種架構、教學課程或快速入門導覽課程，重複使用專案可避免超出專案配額限制。

1. 前往 Google Cloud 控制台的「Manage resources」(管理資源) 頁面。

   前往「Manage resources」(管理資源)

2. 如果您要刪除的專案已附加至某個機構，請展開「名稱」欄中的「機構」清單。
3. 在專案清單中選取要刪除的專案，然後點選「Delete」(刪除)。
4. 在對話方塊中輸入專案 ID，然後按一下 [Shut down] (關閉) 以刪除專案。

或者，您也可以刪除本教學課程中使用的資源。您必須刪除湖泊的所有資料區資源，湖泊才會遭到刪除。同樣地，除非刪除所有資產資源，否則資料區域不會刪除。

卸離儲存空間 bucket

如要取消連結您建立的 Dataplex Universal Catalog 資產，請按照下列步驟操作：

1. 在 Google Cloud 控制台，前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。

   前往「Lakes」(湖泊)

2. 按一下您建立的湖泊名稱。

3. 在「可用區」分頁中，點選您建立的可用區名稱。

4. 在「資產」分頁中，勾選 bucket 名稱左側的方塊，選取要卸離的資產。

5. 按一下「刪除資產」。

6. 按一下「刪除」確認解除連結。

刪除區域

如要刪除您建立的 Dataplex Universal Catalog 區域，請按照下列步驟操作：

1. 在 Google Cloud 控制台，前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。

   前往「Lakes」(湖泊)

2. 按一下您建立的湖泊。

3. 在「可用區」分頁中，勾選資料可用區名稱左側的方塊，選取要刪除的可用區。

4. 按一下「Delete Zone」(刪除區域)。

5. 點選「刪除」即可確認刪除。

刪除湖泊

下列步驟說明如何刪除您建立的 Dataplex Universal Catalog 湖泊。

1. 在 Google Cloud 控制台，前往 Dataplex Universal Catalog 的「Lakes」(湖泊) 頁面。

   前往「Lakes」(湖泊)

2. 按一下您建立的湖泊。

3. 按一下頁面頂端的「刪除」。

4. 在欄位中輸入「delete」，確認刪除。

5. 按一下「刪除湖泊」確認刪除。

後續步驟

• 將資料整理到湖泊和可用區中。
• 保護自有 lake。
• 使用 Google Cloud 控制台查看探索到的中繼資料。
• 使用 API 查看探索到的中繼資料。