Managed Service for Apache Spark のブートディスク

Managed Service for Apache Spark クラスタノード用のブートディスクとして、標準、SSD、バランスの永続ディスク、または Google Cloud Hyperdisk バランスを選択します。

ブートディスクの種類のオプション:

  • マネージャー（マスター）、プライマリ ワーカー、セカンダリ ワーカーのクラスタノード用に、標準、SSD、またはバランス永続ディスクのブートディスクを選択できます。

  • マネージャー（マスター）ノードとプライマリ ワーカー ノードのブートディスクとして hyperdisk balanced を選択できます。プライマリ ワーカーのブートディスク タイプが hyperdisk balanced に設定されている場合、Managed Service for Apache Spark はセカンダリ ワーカーのブートディスク タイプを自動的に hyperdisk balanced に設定します。

Managed Service for Apache Spark クラスタ マネージャー（マスター）とプライマリ ワーカーノードのデフォルトの永続ブートディスク タイプは 標準（pd-standard）です。VM のマシンタイプがブートディスクとして hyperdisk balanced のみをサポートしている場合、デフォルトのブートディスクは hyperdisk balanced（hyperdisk-balanced）です。クラスタのセカンダリ ワーカーノードのデフォルトの永続ブートディスク タイプは、プライマリ ワーカーノードの永続ブートディスク タイプです。

クラスタノード用の永続ブートディスクのタイプを選択する

Google Cloud コンソール、Google Cloud CLI、または Managed Service for Apache Spark API を使用してクラスタを作成する場合、永続ブートディスクのタイプを選択できます。

コンソール

Google Cloud コンソールの Managed Service for Apache Spark の [クラスタの作成] ページの [ノードの構成] パネルで、クラスタを作成し、クラスタノードのブートディスク タイプを選択できます。

gcloud CLI

--master-boot-disk-type、--worker-boot-disk-type、--secondary-worker-boot-disk-type フラグを指定した gcloud dataproc clusters create コマンドを使用して、クラスタを作成し、クラスタノードのブートディスク タイプを選択できます。

例: 
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...

REST API

masterConfig、workerConfig、secondaryWorkerConfig の InstanceGroupConfig.DiskConfig.bootDiskType フィールドに pd-standard、pd-ssd、pd-balanced、hyperdisk-balanced の値を cluster.create API リクエストの一部として設定できます。

Hyperdisk の設定

Hyperdisk Balanced ボリュームを Managed Service for Apache Spark クラスタノードのブートディスクとして使用してクラスタを作成する場合は、プロビジョニングされた IOPS とスループットを設定できます。

コンソール

IOPS とスループットを設定するか、Managed Service for Apache Spark の [クラスタの作成] ページの [ノードの構成] パネルからデフォルト値を使用できます。

gcloud CLI

gcloud dataproc clusters create コマンドの --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput、--worker-boot-disk-provisioned-throughput フラグを使用して、hyperdisk-balanced ブートディスクを持つクラスタノードにプロビジョニングされた IOPS とスループットを設定できます。

例: 
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...

REST API

Hyperdisk ブートディスクを使用するクラスタノードにプロビジョニングされた IOPS とプロビジョニングされたスループットは、マネージャー（マスター）とワーカーの構成の InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops フィールドと InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput フィールドを使用して設定できます。