Managed Service for Apache Spark 開機磁碟

您可以選取標準、SSD、平衡型永久磁碟或 Google Cloud Hyperdisk Balanced,做為 Managed Service for Apache Spark 叢集節點的開機磁碟。

開機磁碟類型選項:

  • 您可以為主要、主要 worker 和次要 worker 叢集節點,選取標準、SSD 或平衡型永久磁碟開機磁碟。

  • 您可以選取「hyperdisk balanced 」做為主要和主要 worker 節點的開機磁碟。請注意,如果主要 worker 開機磁碟類型設為 Hyperdisk Balanced,Managed Service for Apache Spark 會自動將次要 worker 開機磁碟類型設為 Hyperdisk Balanced。

Managed Service for Apache Spark 叢集主要執行個體和主要 worker 節點的預設永久開機磁碟類型為「標準」(pd-standard)。如果 VM 機型僅支援 Hyperdisk Balanced 做為開機磁碟,則預設開機磁碟為「Hyperdisk Balanced」(hyperdisk-balanced)。叢集次要 worker 節點的預設永久開機磁碟類型,是主要 worker 節點的永久開機磁碟類型。

為叢集節點選取永久開機磁碟類型

使用Google Cloud 控制台、Google Cloud CLI 或 Dataproc API 建立叢集時,您可以選取永久開機磁碟類型。

Google Cloud 控制台

如要選取叢集節點開機磁碟類型,請按照下列步驟操作:

  1. 開啟 Managed Service for Apache Spark 的「Create a cluster」(建立叢集) 頁面。
  2. 按一下「其他設定」展開該部分。
  3. 按一下「主要 worker」和「次要 worker」,確認或變更預設設定。
  4. 根據預設,驅動程式 (主要) 節點設定與主要 worker 設定相同。在「其他設定」下方,按一下「driver 節點」,清除「將 driver 節點預設為與主要 worker 相同」核取方塊,然後指定 driver 節點設定。

gcloud CLI

您可以使用 gcloud dataproc clusters create 指令搭配 --master-boot-disk-type、--worker-boot-disk-type 和 --secondary-worker-boot-disk-type 旗標,建立叢集並選取叢集節點開機磁碟類型。

範例:
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

您可以在 masterConfig、workerConfig 和 secondaryWorkerConfig 的 InstanceGroupConfig.DiskConfig.bootDiskType 欄位中,將值設為 pd-standard、pd-ssd、pd-balanced 或 hyperdisk-balanced,做為 cluster.create API 要求的一部分。

Hyperdisk 設定

使用 Hyperdisk Balanced 磁碟區做為 Managed Service for Apache Spark 叢集節點的開機磁碟建立叢集時,您可以設定佈建的 IOPS 和處理量。

控制台

如要設定佈建的 IOPS 和處理量,請按照下列步驟操作:

  1. 開啟 Managed Service for Apache Spark 的「Create a cluster」(建立叢集) 頁面。
  2. 按一下「其他設定」展開該部分。
  3. 按一下「driver 節點」 或「主要 worker」。
  4. 在開啟的面板中,設定佈建的 IOPS 和處理量,然後按一下「儲存」。

gcloud CLI

您可以使用 gcloud dataproc clusters create 指令的 --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput 和 --worker-boot-disk-provisioned-throughput 旗標,為叢集節點的 Hyperdisk Balanced 開機磁碟設定佈建 IOPS 和佈建輸送量。

範例:
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

REST API

您可以使用主要和 worker 設定的 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 和 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 欄位,為使用 Hyperdisk 開機磁碟的叢集節點設定佈建 IOPS 和佈建輸送量。