遮蓋機密資料

本教學課程說明如何使用 Cloud Data Fusion 的 外掛程式，透過 Cloud DLP 遮蓋機密資料。

情境

假設您在以下情境中，需要遮蓋一些敏感的客戶資訊：

對於每個經手的客服案件，支援團隊都在支援單中記錄了詳細資料，且這些資訊全都會匯入 CSV 檔案。支援技術人員不應記錄任何敏感的客戶資訊，但有時會不小心這麼做。您發現 CSV 檔案中出現部分客戶的電話號碼。

您想檢查 CSV 檔案並隱藏所有電話號碼，您使用 Cloud DLP 外掛程式建立 Cloud Data Fusion 管道，遮蓋敏感的客戶資料。

在本教學課程中，您將建立可執行下列作業的管道：

• 以 # 字元遮蓋顧客電話號碼。
• 將遮蓋好的敏感資料，與非敏感資料一起儲存至 Cloud Storage bucket。

目標

• 將 Cloud Data Fusion 連結至 Cloud Storage 來源。
• 部署 Cloud DLP 外掛程式。
• 建立自訂 Cloud DLP 範本。
• 使用遮蓋轉換外掛程式，遮蓋敏感的客戶資料。
• 將輸出資料寫入 Cloud Storage。

費用

在本文件中，您會使用下列 Google Cloud的計費元件：

• Cloud Data Fusion
• Cloud Storage
• Cloud DLP

如要根據預測用量估算費用，請使用 Pricing Calculator。

初次使用 Google Cloud 的使用者可能符合免費試用期資格。

事前準備

登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. 啟用 Cloud Data Fusion、BigQuery、Cloud Storage 和 Dataproc API。

   啟用 API 時所需的角色

   您必須具備 serviceusage.services.enable 權限，才能啟用 API。如果您建立了專案，可能已透過「擁有者」角色 (roles/owner) 取得這項權限。否則，您可以透過「服務使用情形管理員」角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。

   啟用 API

2. 建立 Cloud Data Fusion 執行個體。

取得 Cloud DLP 權限

1. 前往 Google Cloud 控制台的「IAM」頁面。

   開啟 IAM 頁面

2. 在權限資料表的「主體」欄中，找出符合 [e-mail] 格式的服務帳戶。

   

3. 按一下「Edit」(編輯)。

4. 按一下「新增其他角色」。

5. 使用搜尋列搜尋並選取「DLP 管理員」。

   

6. 按一下 [儲存]。

7. 確認「角色」欄中顯示「DLP 管理員」。

   

前往 Cloud Data Fusion UI

使用 Cloud Data Fusion 時，需要同時操作 Google Cloud 控制台 和獨立的 Cloud Data Fusion UI。在 Google Cloud 控制台中，您可以建立 Google Cloud 控制台專案，以及建立和刪除 Cloud Data Fusion 執行個體。在 Cloud Data Fusion UI 中，您可以透過「Studio」或「Wrangler」等頁面，使用 Cloud Data Fusion 功能。

1. 在 Google Cloud 控制台中，開啟「Instances」(執行個體) 頁面。

   開啟「Instances」(執行個體) 頁面

2. 在執行個體所屬的「動作」欄中，按一下「查看執行個體」連結。Cloud Data Fusion 使用者介面會在新的瀏覽器分頁中開啟。

建立管道

建立管道，遮蓋敏感的顧客資料。您建構的管道會執行下列作業：

• 使用 Cloud Storage 來源外掛程式讀取輸入資料。
• 從 Hub 部署 Cloud DLP 外掛程式。
• 使用 Cloud Storage 接收器外掛程式寫入輸出資料。

載入客戶資料

本教學課程使用公開 Cloud Storage bucket 提供的輸入資料集 CallCenterRecords.csv。

注意： 如要使用 CallCenterRecords.csv 資料集，必須透過 Cloud Data Fusion 的「Studio」頁面載入資料。如果您在自己的 Cloud Storage bucket 中有專屬資料集，可以使用 Studio 或 Wrangler 載入資料。

1. 開啟 Cloud Data Fusion 執行個體，然後依序點選 「選單」>「Studio」。

2. 在「來源」選單中，按一下「Cloud Storage」外掛程式。

   

3. 在「Cloud Storage」節點上，按一下「Properties」。

4. 在「Reference name」(參照名稱) 欄位中，輸入名稱。

5. 在「Path」(路徑) 欄位中輸入 gs://datafusion-sample-datasets/CallCenterRecords.csv。

6. 在「格式」欄位中，選取「CSV」。

7. 在「輸出結構定義」中，刪除「offset」和「body」欄位。 按一下「新增」，然後填入下列欄位：

   • 日期
   • Bank
   • State
   • Zip
   • 附註
   附註： 所有資料類型都必須設為「字串」。

   

8. 按一下「驗證」，檢查是否有錯誤。

9. 點按 「Close」(關閉)。

遮蓋敏感資料

Cloud DLP 遮蓋外掛程式會找出輸入資料串流中的敏感記錄，並對這些記錄套用您定義的轉換。如果資料記錄符合所選的預設 Cloud DLP 篩選器，或是您定義的自訂範本，即視為敏感資料。

在本教學課程中，您要遮蓋團隊中部分支援技術人員不小心記下的客戶電話號碼。他們在支援單的「附註」部分輸入了敏感資訊，這些資訊會顯示在 CSV 檔案的「Notes」欄。您將建立自訂的 Cloud DLP 範本，然後在外掛程式的屬性選單中提供範本 ID。

部署 Cloud DLP 外掛程式

1. 在 Cloud Data Fusion 執行個體中，按一下「中樞」。

2. 按一下「Cloud DLP」外掛程式。

3. 點選「Deploy」(部署)。

4. 按一下「完成」。

5. 按一下「關閉」，即可關閉 Cloud DLP 對話方塊。

6. 按一下「關閉」即可退出中樞。

建立自訂範本

1. 前往 Google Cloud 控制台的 Cloud DLP 頁面。

   前往 Cloud DLP

2. 在「建立」選單中，選擇「範本」。

3. 在「範本 ID」欄位，輸入範本 ID。

4. 按一下「繼續」。

5. 在「設定偵測作業」欄位中，點選「管理 infoType」。

6. 在「內建」分頁，使用篩選器搜尋「電話號碼」。

   

7. 選取「PHONE_NUMBER」。

8. 依序點選「完成」>「建立」。

進一步瞭解如何 建立 Cloud DLP 範本。

套用 Cloud DLP 遮蓋轉換

1. 前往 Cloud Data Fusion 的「Studio」頁面，然後點選並展開「轉換」選單。

2. 按一下 Cloud DLP「遮蓋」Redact外掛程式。

   

3. 將連結箭頭從「Cloud Storage」節點拖曳至「Redact」節點。

   

4. 將游標懸停在「Redact」節點上，然後點選「屬性」。

   1. 將「自訂範本」設為 Yes。

   2. 在「範本 ID」欄位中，輸入您建立的自訂範本範本 ID。

   3. 在「Matching」欄位中，對「Notes」內的「自訂範本」套用「Masking」。

      注意： 除了遮蔽，外掛程式還提供其他 Cloud DLP 轉換。如要瞭解詳情，請參閱遮蓋外掛程式屬性選單中的「說明文件」分頁。

   4. 在「遮蓋字元」欄位中，輸入 #。

      

   5. 按一下「驗證」，檢查是否有錯誤。

   6. 點按 「Close」(關閉)。

儲存輸出資料

將管道輸出結果儲存至 Cloud Storage 檔案。

1. 在「Studio」頁面，點選並展開「接收器」選單。

2. 按一下「Cloud Storage」。

3. 將連結箭頭從「Redact」節點拖曳至「Cloud Storage2」節點。

   

4. 將游標懸停在「Cloud Storage2」節點上，然後按一下「Properties」(屬性)。

   1. 在「Reference name」(參照名稱) 欄位中，輸入名稱。

   2. 在「路徑」欄位中，輸入要儲存管道結果的 Cloud Storage bucket 路徑。Cloud Data Fusion 會為您建立 bucket。請務必遵守值區命名規範。

   3. 在「格式」欄位中，選取「CSV」。

   4. 點選「驗證」，確保沒有錯誤。

   5. 點按 「Close」(關閉)。

在預覽模式中執行管道

在部署前，請先以預覽模式執行管道。

1. 依序點選「預覽」和「執行」。

   

   按一下「執行」會顯示管道狀態，一開始是「啟動中」，接著變成「停止」，再轉為「執行」。

2. 預覽執行作業完成後，在「Redact」節點按一下「預覽資料」，即可並排比較輸入和輸出資料。確認電話號碼已使用 # 字元遮蓋。

   

遮蓋其他資料類型

查看預覽執行作業結果時，您發現「Notes」欄仍出現敏感資訊：電子郵件地址。您返回並編輯 Cloud DLP 範本，一併遮蓋電子郵件地址。

1. 前往 Google Cloud 控制台的 Cloud DLP 頁面。

   開啟 Cloud DLP 頁面

2. 在「設定」分頁選取所需範本。

3. 按一下 [編輯]。

4. 按一下「管理 infoType」。

5. 在「內建」分頁，使用篩選器搜尋「OR」和「email address」。

   

6. 選取所有項目，然後按一下「完成」。

7. 按一下 [儲存]。

8. 再次以預覽模式執行管道。 Cloud Data Fusion 會自動使用更新後的 Cloud DLP 範本。

9. 確認電話號碼和電子郵件地址都已使用 # 字元遮蓋。

   

部署及執行管道

1. 確認未勾選「預覽」模式。

2. 按一下「儲存」。系統會提示您為管道命名，然後按一下「確定」。

3. 點選「Deploy」(部署)。

4. 部署完畢後，按一下「執行」。管道執行作業會在幾分鐘內完成。等待期間，管道的「狀態」會從「佈建中」，依序變更為「啟動中」、「執行中」、「取消佈建中」和「已成功」。

查看結果

1. 前往 Google Cloud 控制台的 Cloud Storage 頁面。

   前往 Cloud Storage

2. 在「Storage browser」部分，前往您在接收器 Cloud Storage 外掛程式屬性中指定的接收器 Cloud Storage bucket。

3. 在「連結網址」部分，按一下連結即可下載含有結果的 CSV 檔案。 確認電話號碼和電子郵件地址都已使用 # 字元遮蓋。

   

清除所用資源

為避免因為本教學課程所用資源，導致系統向 Google Cloud 帳戶收取費用，請刪除含有相關資源的專案，或者保留專案但刪除個別資源。

刪除 Cloud Data Fusion 執行個體

請按照刪除 Cloud Data Fusion 執行個體一文的操作說明進行。

刪除專案

如要避免付費，最簡單的方法就是刪除您為了本教學課程所建立的專案。

刪除專案的方法如下：

注意：刪除專案會造成以下結果：

• 專案中的所有內容都會遭到刪除。如果使用現有專案來進行本文中的任務，刪除專案將一併移除當中已完成的其他任務'。
• 自訂專案 ID 會消失。當您之前建立這個專案時，可能建立了想要在日後使用的自訂專案 ID。如要保留使用該專案 ID 的網址 (例如 appspot.com 網址)，請刪除在該專案中選取的資源，而不是刪除整個專案。

如果打算探索多種架構、教學課程或快速入門導覽課程，重複使用專案可避免超出專案配額限制。

1. 前往 Google Cloud 控制台的「Manage resources」(管理資源) 頁面。

   前往「Manage resources」(管理資源)

2. 在專案清單中選取要刪除的專案，然後點選「Delete」(刪除)。
3. 在對話方塊中輸入專案 ID，然後按一下 [Shut down] (關閉) 以刪除專案。

後續步驟

• 進一步瞭解 Cloud Data Fusion。
• 瞭解如何使用 Cloud Data Fusion 外掛程式，該外掛程式提供「遮蓋」和「篩選 PII」轉換外掛程式。