Managed Service for Apache Spark 本機 SSD

如要補充開機磁碟,您可以將本機固態硬碟 (本機 SSD) 附加至叢集中的主要、主要 worker 和次要 worker 節點。如果叢集有本機 SSD,HDFS 和暫存資料 (例如重組輸出內容) 都會使用本機 SSD,而非開機永久磁碟。

  • 本機 SSD 的讀寫速度比永久磁碟更快 (請參閱「本機 SSD 效能」)。
  • 每個本機 SSD 的大小固定為 375 GB,但您可以連接多個本機 SSD 來增加 SSD 儲存空間 (請參閱「關於本機 SSD」)。
  • 每個本機 SSD 都會掛接至 Managed Service for Apache Spark 叢集節點中的 /mnt/<id>。
  • 本機 SSD 預設使用 ext4 做為檔案系統。

使用本機 SSD

Google Cloud 控制台

建立叢集,並將本機 SSD 連接至節點:

  1. 開啟 Managed Service for Apache Spark 的「Create cluster」(建立叢集) 頁面。
  2. 按一下「其他設定」展開該部分。
  3. 編輯「主要 worker」和「次要 worker」,調整本機固態硬碟設定。
  4. 根據預設,驅動程式 (主要) 節點設定與主要 worker 設定相同。在「其他設定」下方,按一下「driver 節點」,取消勾選「將 driver 節點預設為與主要 worker 相同」核取方塊,然後指定 driver 節點設定。

gcloud CLI 指令

使用 gcloud dataproc clusters create 指令搭配 --num-master-local-ssds、--num-workers-local-ssds 和 --num-secondary-worker-local-ssds 旗標,將本機 SSD 連接至叢集的主要、主要和次要 worker 節點。

您可以使用 SCSI (小型電腦系統介面) 或 NVME (非揮發性記憶體標準) 介面,將本機 SSD 連接至 Managed Service for Apache Spark VM (請參閱「本機 SSD 效能」)。Managed Service for Apache Spark 叢集 VM 的預設本機 SSD 介面為 SCSI 介面。使用 gcloud dataproc clusters create 指令,搭配 --master-local-ssd-interface、--worker-local-ssd-interface 和 --secondary-worker-local-ssd-interface 旗標,指定主要、主要和次要 worker 節點的本機 SSD 介面。

範例:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

在 cluster.create API 要求的 masterConfig、workerConfig 和 secondaryWorkerConfig InstanceGroupConfig 中,設定 numLocalSsds 欄位,將本機 SSD 附加至叢集的主要執行個體、主要 worker 和次要 worker 節點。

您可以使用 SCSI (小型電腦系統介面) 或 NVME (非揮發性記憶體標準) 介面,將本機 SSD 連接至 Managed Service for Apache Spark VM (請參閱「本機 SSD 效能」)。Managed Service for Apache Spark 叢集 VM 的預設本機 SSD 介面為 SCSI 介面。在 cluster.create API 要求的 masterConfig、workerConfig 和 secondaryWorkerConfig InstanceGroupConfig 中,設定 localSsdInterface 欄位,指定「SCSI」或「NVME」介面,將本機 SSD 連接至叢集的主要執行個體、主要 worker 和次要 worker 節點。