如要補充開機磁碟,您可以將本機固態硬碟 (本機 SSD) 附加至叢集中的主要、主要 worker 和次要 worker 節點。如果叢集有本機 SSD,HDFS 和暫存資料 (例如重組輸出內容) 都會使用本機 SSD,而非開機永久磁碟。
- 本機 SSD 的讀寫速度比永久磁碟更快 (請參閱「本機 SSD 效能」)。
- 每個本機 SSD 的大小固定為 375 GB,但您可以連接多個本機 SSD 來增加 SSD 儲存空間 (請參閱「關於本機 SSD」)。
- 每個本機 SSD 都會掛接至 Managed Service for Apache Spark 叢集節點中的
/mnt/<id>。 - 本機 SSD 預設使用
ext4做為檔案系統。
使用本機 SSD
Google Cloud 控制台
建立叢集,並將本機 SSD 連接至節點:
- 開啟 Managed Service for Apache Spark 的「Create cluster」(建立叢集) 頁面。
- 按一下「其他設定」展開該部分。
- 編輯「主要 worker」和「次要 worker」,調整本機固態硬碟設定。
- 根據預設,驅動程式 (主要) 節點設定與主要 worker 設定相同。在「其他設定」下方,按一下「driver 節點」,取消勾選「將 driver 節點預設為與主要 worker 相同」核取方塊,然後指定 driver 節點設定。
gcloud CLI 指令
使用 gcloud dataproc clusters create 指令搭配 --num-master-local-ssds、--num-workers-local-ssds 和 --num-secondary-worker-local-ssds 旗標,將本機 SSD 連接至叢集的主要、主要和次要 worker 節點。
您可以使用 SCSI (小型電腦系統介面) 或 NVME (非揮發性記憶體標準) 介面,將本機 SSD 連接至 Managed Service for Apache Spark VM (請參閱「本機 SSD 效能」)。Managed Service for Apache Spark 叢集 VM 的預設本機 SSD 介面為 SCSI 介面。使用 gcloud dataproc clusters create 指令,搭配 --master-local-ssd-interface、--worker-local-ssd-interface 和 --secondary-worker-local-ssd-interface 旗標,指定主要、主要和次要 worker 節點的本機 SSD 介面。
範例:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
REST API
在 cluster.create API 要求的 masterConfig、workerConfig 和 secondaryWorkerConfig InstanceGroupConfig 中,設定 numLocalSsds 欄位,將本機 SSD 附加至叢集的主要執行個體、主要 worker 和次要 worker 節點。
您可以使用 SCSI (小型電腦系統介面) 或 NVME (非揮發性記憶體標準) 介面,將本機 SSD 連接至 Managed Service for Apache Spark VM (請參閱「本機 SSD 效能」)。Managed Service for Apache Spark 叢集 VM 的預設本機 SSD 介面為 SCSI 介面。在 cluster.create API 要求的 masterConfig、workerConfig 和 secondaryWorkerConfig InstanceGroupConfig 中,設定 localSsdInterface 欄位,指定「SCSI」或「NVME」介面,將本機 SSD 連接至叢集的主要執行個體、主要 worker 和次要 worker 節點。