停止及啟動 Dataproc 叢集

您可以停止所建立的叢集，並在需要時重新啟動。比起直接刪除，停止閒置叢集不僅可避免產生費用，之後也不必再以相同設定重新建立叢集。

注意：

  • 叢集採用的映像檔至少須為下列版本，方能支援啟動和停止功能：
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • 我們不建議停止個別叢集節點，因為停止的 VM 狀態可能不會與叢集狀態保持同步，導致錯誤發生。

停止叢集

停止叢集會停止其中的所有 Compute Engine VM。停止的 VM 不會產生費用。不過，您仍須為任何相關聯的叢集資源付費，例如永久磁碟。

注意：

  • 執行中的作業：如果叢集有執行中的作業 (例如更新或診斷作業)，停止要求會失敗。
  • 執行中的工作：如果叢集有執行中的工作，停止要求會成功；VM 會停止，執行中的工作則會失敗。
  • 停止回應：停止要求傳回停止作業時，叢集會處於 STOPPING 狀態，且不允許提交任何其他工作 (SubmitJob 要求會失敗)。
  • 自動調度資源：如果停止已啟用自動調度資源的叢集，Dataproc 自動配置器會停止調度叢集資源，並在叢集重新啟動後恢復資源調度。如果為停止的叢集啟用自動調度資源，叢集重新啟動後，自動調度資源政策就會生效。

監控停止作業

您可以執行 gcloud dataproc operations describe operation-id，監控需時較久的叢集停止作業。使用 gcloud dataproc clusters describe cluster-name 指令，就能監控叢集狀態從 RUNNING 轉換為 STOPPING，再轉換為 STOPPED 的過程。

限制

  • 您無法停止下列項目：

  • 叢集停止後，您無法：

啟動叢集

  • 重新啟動停止的叢集時，系統不會重新執行任何初始化動作。 初始化動作只會在建立叢集，或新增節點來擴充叢集資源時，在叢集節點上執行。

  • 啟動作業完成後，您就能立即將工作提交至叢集。不過，工作可能會延遲約 30 秒才執行，確保 HDFS 和 YARN 可正常運作。

如何停止及啟動叢集

您可以使用 Google Cloud 控制台、gcloud CLI 或 Dataproc API 停止及啟動叢集。

Google Cloud 控制台

在 Google Cloud 控制台中，點選 Dataproc「Clusters」(叢集) 頁面上的叢集名稱，然後按一下「STOP」(停止) 或「START」(啟動) 來停止或啟動叢集。

gcloud CLI

停止叢集

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

啟動叢集

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

REST API

停止叢集

提交 clusters.stop 要求。

啟動叢集

提交 clusters.start 要求。