Managed Service for Apache Spark 開機磁碟

您可以選取標準、SSD、平衡型永久磁碟或 Google Cloud Hyperdisk Balanced，做為 Managed Service for Apache Spark 叢集節點的開機磁碟。

開機磁碟類型選項：

  • 您可以為主要、主要工作站和次要工作站叢集節點選取標準、SSD 或平衡型永久磁碟開機磁碟。

  • 您可以選取 hyperdisk balanced 做為主要和主要工作站節點的開機磁碟。請注意，如果主要 worker 開機磁碟類型設為 Hyperdisk Balanced，Managed Service for Apache Spark 會自動將次要 worker 開機磁碟類型設為 Hyperdisk Balanced。

Managed Service for Apache Spark 叢集主要和主要 worker 節點的預設永久開機磁碟類型為標準 (pd-standard)。如果 VM 機型僅支援超磁碟平衡做為開機磁碟，則預設開機磁碟為超磁碟平衡 (hyperdisk-balanced)。叢集次要 worker 節點的預設永久開機磁碟類型，是主要 worker 節點的永久開機磁碟類型。

為叢集節點選取永久開機磁碟類型

使用Google Cloud 控制台、Google Cloud CLI 或 Dataproc API 建立叢集時，您可以選取永久開機磁碟類型。

Google Cloud 控制台

如要選取叢集節點開機磁碟類型，請按照下列步驟操作：

  1. 開啟 Managed Service for Apache Spark 的「建立叢集」頁面。
  2. 按一下「其他設定」展開該部分。
  3. 按一下「主要 worker」和「次要 worker」，確認或變更預設設定。
  4. 根據預設，驅動程式 (主要) 節點設定與主要 worker 設定相同。 在「其他設定」下方，點選「driver 節點」，取消勾選「將 driver 節點預設為與主要 worker 相同」核取方塊，然後指定 driver 節點設定。

gcloud CLI

您可以使用 gcloud dataproc clusters create 指令搭配 --master-boot-disk-type、--worker-boot-disk-type 和 --secondary-worker-boot-disk-type 旗標，建立叢集並選取叢集節點開機磁碟類型。

範例： 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

您可以在 masterConfig、workerConfig 和 secondaryWorkerConfig 的 InstanceGroupConfig.DiskConfig.bootDiskType 欄位中，將值設為 pd-standard、pd-ssd、pd-balanced 或 hyperdisk-balanced，做為 cluster.create API 要求的一部分。

Hyperdisk 設定

使用 Hyperdisk Balanced 磁碟區做為 Managed Service for Apache Spark 叢集節點的開機磁碟建立叢集時，您可以設定佈建的 IOPS 和處理量。

控制台

如要設定佈建 IOPS 和處理量，請按照下列步驟操作：

  1. 開啟 Managed Service for Apache Spark 的「建立叢集」頁面。
  2. 按一下「其他設定」展開該部分。
  3. 按一下「driver 節點」或「Primary workers」。
  4. 在開啟的面板中，設定佈建的 IOPS 和輸送量，然後按一下「儲存」。

gcloud CLI

您可以使用 gcloud dataproc clusters create 指令的 --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput 和 --worker-boot-disk-provisioned-throughput 旗標，為叢集節點的 Hyperdisk Balanced 開機磁碟設定佈建 IOPS 和佈建輸送量。

範例： 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

您可以使用主要和 worker 設定的 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 和 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 欄位，為使用 Hyperdisk 開機磁碟的叢集節點設定佈建 IOPS 和佈建輸送量。