使用範本更新 Dataproc 叢集
本頁面說明如何使用 Google APIs Explorer 範本更新 Dataproc 叢集,來變更叢集的 worker 數。如果需要更多 worker 處理較大的工作,通常會擴充叢集來納入更多 worker。
如要瞭解更新 Dataproc 叢集的其他方法,請參閱:
事前準備
本快速入門導覽課程假設您已經建立 Dataproc 叢集。您可以使用下列工具建立叢集:APIs Explorer、Google Cloud 控制台、gcloud CLI gcloud 指令列工具,或是參閱「快速入門導覽課程:使用 Cloud 用戶端程式庫」。更新叢集
如要更新叢集 worker 數,請填寫並執行 Google APIs Explorer 的「Try this API」(試用這個 API) 範本。
要求參數:
- 插入 projectId。
- 指定叢集所在的區域 (使用或更改「us-central1」)。叢集的區域會列在 Google Cloud 控制台的 Dataproc「Clusters」(叢集) 頁面。
- 指定要更新的現有叢集名稱 clusterName (確認或更改「example-cluster」)。
- updateMask:「config.worker_config.num_instances」。這是相對於 Cluster 資源的 JSON 路徑,要更新的
numInstances參數 (請參閱「要求主體」說明)。
要求主體:
- config.workerConfig.numInstances:(「3」:新的 worker 數量)。您可以變更這個值來減增 worker 數量。舉例來說,如果標準叢集的預設 worker 數量為 2 個,指定「3」會新增 1 個 worker,指定「4」則會新增 2 個 worker。標準 Dataproc 叢集至少要有 2 個 worker。
點選「Execute」(執行)。首次執行 API 範本時,系統可能會要求您選擇並登入 Google 帳戶,然後授權 Google APIs Explorer 存取您的帳戶。如果要求成功,JSON 回應會顯示叢集更新作業尚待處理。
如要確認叢集 worker 數量已更新,請在 Google Cloud 控制台開啟 Dataproc「Clusters」(叢集) 頁面,然後查看叢集的「Total worker nodes」(worker 節點總數) 欄。叢集更新完成後,可能需要按一下頁面頂端的「REFRESH」(重新整理),才能查看更新後的值。
清除所用資源
為了避免系統針對本頁面所使用的資源,向您的 Google Cloud 帳戶收費,請按照下列步驟操作。
- 如果您不需要叢集來探索其他快速入門導覽課程或執行其他工作,請使用以下工具刪除叢集:APIs Explorer、Google Cloud 控制台、gcloud CLI gcloud 指令列工具或「快速入門導覽課程:使用 Cloud 用戶端程式庫」。
後續步驟
您可以使用這個快速入門導覽課程的範本,將叢集還原為先前的
workerConfig.numInstances值。瞭解如何編寫及執行 Spark Scala 工作。