Managed Service for Apache Spark 启动磁盘

您可以选择标准、SSD、平衡永久性磁盘或 Google Cloud Hyperdisk Balanced 作为 Managed Service for Apache Spark 集群节点的启动磁盘。

启动磁盘类型选项：

  • 您可以为管理器（主节点）、主要工作器和辅助工作器集群节点选择标准、SSD 或平衡永久性磁盘启动磁盘。

  • 您可以选择 Hyperdisk Balanced 作为管理器（主节点）和主要工作器节点的启动磁盘。请注意，当主要工作器启动磁盘类型设置为 Hyperdisk Balanced 时，Managed Service for Apache Spark 会自动将辅助工作器启动磁盘类型设置为 Hyperdisk Balanced。

Managed Service for Apache Spark 集群管理器（主节点）和主要工作器节点的默认永久性启动磁盘类型为标准 (pd-standard)。如果虚拟机机器类型仅支持将 Hyperdisk Balanced 用作启动磁盘，则默认启动磁盘为 Hyperdisk Balanced (hyperdisk-balanced)。集群辅助工作器节点的默认永久性启动磁盘类型是主要工作器节点的永久性启动磁盘类型。

为集群节点选择永久性启动磁盘类型

在使用Google Cloud 控制台、Google Cloud CLI 或 Managed Service for Apache Spark API 创建集群时，您可以选择永久性启动磁盘类型。

控制台

您可以在 Google Cloud 控制台的 Managed Service for Apache Spark 创建集群页面上的配置节点面板中创建集群并选择集群节点启动磁盘类型。

gcloud CLI

您可以使用 gcloud dataproc clusters create 命令与 --master-boot-disk-type、--worker-boot-disk-type 和 --secondary-worker-boot-disk-type 标志结合使用，创建集群并选择集群节点启动磁盘类型。

示例： 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

您可以在作为 cluster.create API 请求的一部分的 masterConfig、workerConfig 和 secondaryWorkerConfig 的 InstanceGroupConfig.DiskConfig.bootDiskType 字段中设置 pd-standard、pd-ssd、pd-balanced 或 hyperdisk-balanced 值。

Hyperdisk 设置

当您创建以 Hyperdisk Balanced 卷作为 Managed Service for Apache Spark 集群节点启动磁盘的集群时，可以设置预配的 IOPS 和吞吐量。

控制台

您可以在 Managed Service for Apache Spark 创建集群页面上的配置节点面板中设置 IOPS 和吞吐量，也可以接受默认值。

gcloud CLI

您可以将 gcloud dataproc clusters create 命令与 --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput 和 --worker-boot-disk-provisioned-throughput 标志结合使用，为使用 hyperdisk-balanced 启动磁盘的集群节点设置预配 IOPS 和预配吞吐量。

示例： 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

您可以使用管理器（主节点）和工作器配置的 InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops 和 InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput 字段为使用 Hyperdisk 启动磁盘的集群节点设置预配 IOPS 和预配吞吐量。