在叢集上安裝及執行 Jupyter 筆記本

目標

本教學課程說明如何在新的叢集上安裝 Managed Service for Apache Spark Jupyter 元件，然後使用 Managed Service for Apache Spark 元件閘道，從本機瀏覽器連線至叢集上執行的 Jupyter 筆記本 UI。

注意： 執行本教學課程會產生 Google Cloud 費用，詳情請參閱「Managed Service for Apache Spark 計價方式」。

費用

在本文件中，您會使用下列 Google Cloud的計費元件：

• Managed Service for Apache Spark
• Cloud Storage

如要根據預測用量估算費用，請使用 Pricing Calculator。

初次使用 Google Cloud 的使用者可能符合免費試用期資格。

事前準備

請建立 Google Cloud 專案和 Cloud Storage bucket。

1. 設定專案

   登入 Google Cloud 帳戶。如果您是 Google Cloud新手，歡迎 建立帳戶，親自評估產品在實際工作環境中的成效。新客戶還能獲得價值 $300 美元的免費抵免額，可用於執行、測試及部署工作負載。

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   安裝 Google Cloud CLI。

   若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

   執行下列指令，初始化 gcloud CLI：

   gcloud init

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   安裝 Google Cloud CLI。

   若您採用的是外部識別資訊提供者 (IdP)，請先使用聯合身分登入 gcloud CLI。

   執行下列指令，初始化 gcloud CLI：

   gcloud init

2. 在專案中建立 Cloud Storage bucket，儲存您在本教學課程中建立的筆記本。

   1. 前往 Google Cloud 控制台的 Cloud Storage「Buckets」(值區) 頁面。

      前往「Buckets」(值區) 頁面

   2. 點選 「Create」(建立)。
   3. 在「建立 bucket」頁面中，輸入 bucket 資訊。如要前往下一個步驟，請按「繼續」。
      1. 在「開始使用」部分，執行下列操作：
         • 輸入符合值區命名規定的全域不重複名稱。
         • 如要新增值區標籤，請展開「標籤」部分 ()，按一下 「新增標籤」，然後為標籤指定 key 和 value。
      2. 在「Choose where to store your data」(選擇資料的儲存位置) 專區中，執行下列操作：
         1. 選取「位置類型」。
         2. 從「位置類型」下拉式選單中，選擇要永久儲存 bucket 資料的位置。
            • 如果您選取「雙區域」位置類型，也可以使用相關核取方塊啟用強化型複製。
         3. 如要設定跨值區複製，請選取「透過 Storage 移轉服務新增跨值區複製作業」，然後按照下列步驟操作：

            設定跨 bucket 複製作業

            1. 在「Bucket」選單中選取 bucket。

            2. 在「複製設定」部分，按一下「設定」，設定複製作業的設定。

               系統隨即會顯示「設定跨 bucket 複製作業」窗格。

               • 如要依物件名稱前置字串篩選要複製的物件，請輸入要納入或排除物件的前置字串，然後按一下「新增前置字串」。
               • 如要為複製的物件設定儲存空間級別，請從「儲存空間級別」選單中選取儲存空間級別。如果略過這個步驟，複製的物件預設會使用目標值區的儲存空間級別。
               • 按一下 [完成]。
      3. 在「選擇資料儲存方式」部分，執行下列操作：
         1. 選取 bucket 的預設儲存空間級別，或選取「Autoclass」，讓系統自動管理 bucket 資料的儲存空間級別。
         2. 如要啟用階層命名空間，請在「為資料密集型工作負載提供最理想的儲存空間」部分，選取「為這個值區啟用階層命名空間」。
            注意：您無法在現有 bucket 中啟用階層式命名空間。
      4. 在「選取如何控制物件的存取權」部分，選取 bucket 是否要強制執行禁止公開存取，並為 bucket 的物件選取存取控管方法。
         注意：如果機構政策強制執行「禁止公開存取」設定，您就無法變更這項設定。
      5. 在「選擇保護物件資料的方式」部分，執行下列操作：
         • 選取「資料保護」下方的任何選項，為 bucket 設定所需項目。
           • 如要啟用虛刪除，請按一下「虛刪除政策 (用於資料復原)」核取方塊，並指定要保留物件的天數 (刪除後)。
           • 如要設定「物件版本管理」，請按一下「物件版本管理 (用於版本管控)」核取方塊，並指定每個物件的版本數量上限，以及非現行版本失效的天數。
           • 如要為物件和 bucket 啟用資料保留政策，請勾選「保留 (符合法規)」核取方塊，然後執行下列操作：
             • 如要啟用 Object Retention Lock，請按一下「啟用物件保留功能」核取方塊。
             • 如要啟用 Bucket Lock，請勾選「Set bucket retention policy」(設定值區資料保留政策) 核取方塊，然後選擇保留期限的時間單位和長度。
         • 如要選擇物件資料的加密方式，請展開「資料加密」部分 ()，然後選取「資料加密」方法。
   4. 點選「建立」。
   筆記本將儲存在 Cloud Storage 的 gs://bucket-name/notebooks/jupyter 中。

建立叢集並安裝 Jupyter 元件

建立已安裝 Jupyter 元件的叢集。

注意 ：建立叢集時，請指定您在事前準備的步驟 2 中，要做為 Managed Service for Apache Spark staging bucket 而建立的 bucket 名稱 (只需指定該 bucket 名稱即可，如需設定暫存 bucket 的操作說明，請參閱 Dataproc 暫存和臨時 bucket)。筆記本將儲存在 Cloud Storage 的 gs://bucket-name/notebooks/jupyter 中。

開啟 Jupyter 和 JupyterLab UI

在 Google Cloud 控制台中，按一下Google Cloud 控制台的元件閘道連結，即可開啟在叢集主要節點執行的 Jupyter 筆記本或 JupyterLab UI。

Jupyter 執行個體顯示的頂層目錄是虛擬目錄，可讓您查看 Cloud Storage bucket 或本機檔案系統的內容。如要選擇位置，請按一下 Cloud Storage 的「GCS」連結，或叢集主要節點本機檔案系統的「Local Disk」(本機磁碟)。

1. 按一下「GCS」連結。Jupyter 筆記本網頁 UI 會顯示儲存在 Cloud Storage bucket 中的筆記本，包括您在本教學課程中建立的筆記本。

清除所用資源

完成教學課程後，您可以清除所建立的資源，這樣資源就不會繼續使用配額，也不會產生費用。下列各節將說明如何刪除或關閉這些資源。

刪除專案

如要避免付費，最簡單的方法就是刪除您為了本教學課程所建立的專案。

刪除專案的方法如下：

注意：刪除專案會造成以下結果：

• 專案中的所有內容都會遭到刪除。如果使用現有專案來進行本文中的任務，刪除專案將一併移除當中已完成的其他任務'。
• 自訂專案 ID 會消失。當您之前建立這個專案時，可能建立了想要在日後使用的自訂專案 ID。如要保留使用該專案 ID 的網址 (例如 appspot.com 網址)，請刪除在該專案中選取的資源，而不是刪除整個專案。

如果打算探索多種架構、教學課程或快速入門導覽課程，重複使用專案可避免超出專案配額限制。

1. 前往 Google Cloud 控制台的「Manage resources」(管理資源) 頁面。

   前往「Manage resources」(管理資源)

2. 在專案清單中選取要刪除的專案，然後點選「Delete」(刪除)。
3. 在對話方塊中輸入專案 ID，然後按一下 [Shut down] (關閉) 以刪除專案。

刪除叢集

• 刪除叢集的方法如下：

  gcloud dataproc clusters delete cluster-name \
      --region=${REGION}
  

刪除 bucket

• 如要刪除您在事前準備步驟 2 中建立的 Cloud Storage bucket，包括儲存在 bucket 中的筆記本，請按照下列步驟操作：

  gcloud storage rm gs://${BUCKET_NAME} --recursive
  

後續步驟

• 請參閱 Jupyter/IPython Notebook 快速入門指南