Managed Service for Apache Spark 開機磁碟

您可以選取標準、SSD、平衡型永久磁碟或 Google Cloud Hyperdisk Balanced，做為 Managed Service for Apache Spark 叢集節點的開機磁碟。

開機磁碟類型選項：

  • 您可以為管理員 (主要)、主要工作站和次要工作站叢集節點選取標準、SSD 或平衡型永久磁碟開機磁碟。

  • 您可以選取「hyperdisk balanced」，做為管理員 (主要) 和主要工作站節點的開機磁碟。請注意，如果主要 worker 開機磁碟類型設為 Hyperdisk Balanced，Managed Service for Apache Spark 會自動將次要 worker 開機磁碟類型設為 Hyperdisk Balanced。

Managed Service for Apache Spark 叢集管理員 (主要) 和主要 worker 節點的預設永久開機磁碟類型為標準 (pd-standard)。如果 VM 機型僅支援超磁碟平衡做為開機磁碟，則預設開機磁碟為超磁碟平衡 (hyperdisk-balanced)。叢集次要 worker 節點的預設永久開機磁碟類型，是主要 worker 節點的永久開機磁碟類型。

為叢集節點選取永久開機磁碟類型

使用Google Cloud 控制台、Google Cloud CLI 或 Managed Service for Apache Spark API 建立叢集時，您可以選取永久開機磁碟類型。

控制台

您可以在 Google Cloud 控制台的 Managed Service for Apache Spark「Create a cluster」(建立叢集) 頁面，透過「Configure nodes」(設定節點) 面板建立叢集，並選取叢集節點開機磁碟類型。

gcloud CLI

您可以使用 gcloud dataproc clusters create 指令搭配 --master-boot-disk-type、--worker-boot-disk-type 和 --secondary-worker-boot-disk-type 旗標，建立叢集並選取叢集節點開機磁碟類型。

範例： 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

您可以在 masterConfig、workerConfig 和 secondaryWorkerConfig 的 InstanceGroupConfig.DiskConfig.bootDiskType 欄位中，將值設為 pd-standard、pd-ssd、pd-balanced 或 hyperdisk-balanced，做為 cluster.create API 要求的一部分。

Hyperdisk 設定

使用 Hyperdisk Balanced 磁碟區做為 Managed Service for Apache Spark 叢集節點的開機磁碟建立叢集時，您可以設定佈建的 IOPS 和處理量。

控制台

您可以設定 IOPS 和處理量，或接受 Managed Service for Apache Spark「Create a cluster」(建立叢集) 頁面「Configure nodes」(設定節點) 面板的預設值。

gcloud CLI

您可以使用 gcloud dataproc clusters create 指令的 --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput 和 --worker-boot-disk-provisioned-throughput 旗標，為叢集節點的 Hyperdisk Balanced 開機磁碟設定佈建 IOPS 和佈建輸送量。

範例： 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

您可以使用管理員 (主要) 和 worker config 的 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 和 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 欄位，為使用 Hyperdisk 開機磁碟的叢集節點設定佈建 IOPS 和佈建輸送量。