使用工作建構工具執行管道

使用工作建構工具執行管道

本快速入門導覽課程說明如何使用 Dataflow 工作建構工具執行 Dataflow 工作。工作建構工具提供視覺化的使用者介面，可讓您在 Google Cloud 控制台中建構及執行 Dataflow 管道，完全不需要編寫任何程式碼。

在本快速入門導覽課程中，您將範例管道載入工作建構工具、執行工作，並確認工作已建立輸出內容。

事前準備

請先完成下列步驟，再執行管道。

設定專案

登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, and Resource Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Dataflow, Compute Engine, Cloud Logging, Cloud Storage, Google Cloud Storage JSON, and Resource Manager APIs.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

1. 建立 Cloud Storage bucket：
1. 前往 Google Cloud 控制台的 Cloud Storage「Buckets」(值區) 頁面。

   前往「Buckets」(值區) 頁面

2. 點選 「Create」(建立)。
3. 在「建立 bucket」頁面中，輸入 bucket 資訊。如要前往下一個步驟，請按「繼續」。
   1. 在「Name your bucket」(為 bucket 命名) 欄位中，輸入 bucket 的專屬名稱。請勿在 bucket 名稱中加入任何機密資訊，因為 bucket 命名空間全域通用並會公開顯示。
   2. 在「Choose where to store your data」(選擇資料的儲存位置) 專區中，執行下列操作：
      1. 選取「位置類型」。
      2. 從「位置類型」下拉式選單中，選擇要永久儲存 bucket 資料的位置。
         • 如果您選取「雙區域」位置類型，也可以使用相關核取方塊啟用強化型複製。
      3. 如要設定跨值區複製，請選取「透過 Storage 移轉服務新增跨值區複製作業」，然後按照下列步驟操作：

         設定跨 bucket 複製作業

         1. 在「Bucket」選單中選取 bucket。

         2. 在「複製設定」部分，按一下「設定」，設定複製作業的設定。

            系統隨即會顯示「設定跨 bucket 複製作業」窗格。

            • 如要依物件名稱前置字串篩選要複製的物件，請輸入要納入或排除物件的前置字串，然後按一下「新增前置字串」。
            • 如要為複製的物件設定儲存空間級別，請從「儲存空間級別」選單中選取儲存空間級別。如果略過這個步驟，複製的物件預設會使用目標值區的儲存空間級別。
            • 按一下 [完成]。
   3. 在「選擇資料儲存方式」部分，執行下列操作：
      1. 在「設定預設類別」部分，選取「Standard」。
      2. 如要啟用階層命名空間，請在「為資料密集型工作負載提供最理想的儲存空間」部分，選取「為這個值區啟用階層命名空間」。
         注意：您無法在現有 bucket 中啟用階層式命名空間。
   4. 在「選取如何控制物件的存取權」部分，選取 bucket 是否要強制執行禁止公開存取，並為 bucket 的物件選取存取控管方法。
      注意：如果機構政策強制執行「禁止公開存取」設定，您就無法變更這項設定。
   5. 在「選擇保護物件資料的方式」部分，執行下列操作：
      • 在「資料保護」下方，選取要為 bucket 設定的選項。
        • 如要啟用虛刪除，請按一下「虛刪除政策 (用於資料復原)」核取方塊，並指定要保留物件的天數 (刪除後)。
        • 如要設定「物件版本管理」，請按一下「物件版本管理 (用於版本管控)」核取方塊，並指定每個物件的版本數量上限，以及非現行版本失效的天數。
        • 如要為物件和 bucket 啟用資料保留政策，請勾選「保留 (符合法規)」核取方塊，然後執行下列操作：
          • 如要啟用 Object Retention Lock，請按一下「啟用物件保留功能」核取方塊。
          • 如要啟用 Bucket Lock，請勾選「Set bucket retention policy」(設定值區資料保留政策) 核取方塊，然後選擇保留期限的時間單位和長度。
      • 如要選擇物件資料的加密方式，請展開「資料加密」部分 ()，然後選取「資料加密」方法。
4. 點選「建立」。

必要的角色

如要取得執行本快速入門導覽課程所需的權限，請要求管理員在專案中授予您下列 IAM 角色：

• Dataflow 開發人員 (roles/dataflow.developer)
• 服務帳戶使用者 (roles/iam.serviceAccountUser)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

為確保服務帳戶具備執行本快速入門導覽課程的必要權限，請要求管理員在專案中，將下列 IAM 角色授予服務帳戶：

重要事項：您必須將這些角色授予服務帳戶，而非使用者帳戶。如果未將角色授予正確的主體，可能會導致權限錯誤。

• Dataflow 工作者 (roles/dataflow.worker)
• Storage 物件管理員 (roles/storage.objectAdmin)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

管理員或許也能透過自訂角色或其他預先定義的角色，授予服務帳戶必要權限。

虛擬私有雲網路

根據預設，每個新專案一開始都會使用預設網路。如果專案的預設網路已停用或已刪除，您必須在專案中建立網路，並為使用者帳戶指派Compute 網路使用者角色 (roles/compute.networkUser)。

載入範例管道

在這個步驟中，您會載入範例管道，計算莎士比亞《李爾王》的字數。

1. 前往 Google Cloud 控制台的「Jobs」(工作) 頁面。

   前往工作

2. 按一下「Create job from template」(依據範本建立工作)。

3. 按一下 「Job builder」(工作建構工具)。

4. 按一下「載入藍圖」。

5. 按一下「Word Count」(字數統計)。工作建構工具會填入管道的圖表呈現方式。

工作建構工具會為每個管道步驟顯示一張卡片，其中指定該步驟的設定參數。例如，第一個步驟是從 Cloud Storage 讀取文字檔案。「Text location」(文字位置) 方塊會預先填入來源資料的位置。

設定輸出位置

在這個步驟中，您會指定管道寫入輸出的 Cloud Storage bucket。

1. 找出名為「New sink」(新接收器) 的資訊卡。您可能需要捲動畫面。

2. 在「Text location」(文字位置) 方塊中，按一下「Browse」(瀏覽)。

3. 選取您在「事前準備」中建立的 Cloud Storage bucket 名稱。

4. 按一下「查看子資源」。

5. 在「檔案名稱」方塊中輸入 words。

6. 按一下「選取」。

執行工作

按一下「Run Job」(執行工作)。工作建構工具會建立 Dataflow 工作，然後前往工作圖表。工作開始時，工作圖表會以圖表呈現管道，與工作建構工具中顯示的類似。管道的每個步驟執行時，工作圖表中的狀態都會更新。

「Job info」(工作資訊) 面板會顯示工作的整體狀態。如果工作順利完成，「Job status」(工作狀態) 欄位會更新為 Succeeded。

檢查工作輸出內容

工作完成後，請按照下列步驟查看管道的輸出內容：

1. 在 Google Cloud 控制台，前往「Cloud Storage bucket」頁面。

   前往「Buckets」(值區) 頁面

2. 在 bucket 清單中，按一下您在「事前準備」中建立的 bucket 名稱。

3. 按一下名為 words-00000-of-00001 的檔案。

4. 在「物件詳細資料」頁面中，按一下已驗證的網址，即可查看管道輸出內容。

輸出內容應如下所示：

brother: 20
deeper: 1
wrinkles: 1
'alack: 1
territory: 1
dismiss'd: 1
[....]

清除所用資源

為了避免系統向您的 Google Cloud 帳戶收取本頁面所用資源的費用，請按照下列步驟操作。

刪除專案

如要避免付費，最簡單的方法就是刪除您為快速入門導覽課程建立的 Google Cloud 專案。

注意：刪除專案會造成以下結果：

• 專案中的所有內容都會遭到刪除。如果使用現有專案來進行本文中的任務，刪除專案將一併移除當中已完成的其他任務'。
• 自訂專案 ID 會消失。當您之前建立這個專案時，可能建立了想要在日後使用的自訂專案 ID。如要保留使用該專案 ID 的網址 (例如 appspot.com 網址)，請刪除在該專案中選取的資源，而不是刪除整個專案。

如果打算探索多種架構、教學課程或快速入門導覽課程，重複使用專案可避免超出專案配額限制。

1. 前往 Google Cloud 控制台的「Manage resources」(管理資源) 頁面。

   前往「Manage resources」(管理資源)

2. 在專案清單中選取要刪除的專案，然後點選「Delete」(刪除)。
3. 在對話方塊中輸入專案 ID，然後按一下 [Shut down] (關閉) 以刪除專案。

刪除個別資源

如要保留您在本快速入門中使用的 Google Cloud 專案，請刪除 Cloud Storage bucket：

1. 前往 Google Cloud 控制台的 Cloud Storage「Buckets」(值區) 頁面。

   前往「Buckets」(值區) 頁面

2. 按一下要刪除的值區旁的核取方塊。
3. 如要刪除值區，請依序點選 「Delete」(刪除)，然後按照指示操作。

後續步驟

• 使用工作建構工具建立管道。
• 瞭解 Apache Beam 程式設計模型。
• 使用 Apache Beam 建構管道