Managed Service for Apache Spark クラスタノード用のブートディスクとして、標準、SSD、バランスの永続ディスク、または Google Cloud Hyperdisk バランスを選択します。
ブートディスクの種類のオプション:
マスター、プライマリ ワーカー、セカンダリ ワーカーのクラスタノード用に、標準、SSD、またはバランス永続ディスクのブートディスクを選択できます。
マスター ノードとプライマリ ワーカー ノードのブートディスクとして Hyperdisk Balanced を選択できます。プライマリ ワーカーのブートディスク タイプが hyperdisk balanced に設定されている場合、Managed Service for Apache Spark はセカンダリ ワーカーのブートディスク タイプを hyperdisk balanced に自動的に設定します。
Managed Service for Apache Spark クラスタのマスターノードとプライマリ ワーカーノードのデフォルトの永続ブートディスク タイプは 標準（pd-standard）です。VM のマシンタイプがブートディスクとして Hyperdisk Balanced のみをサポートしている場合、デフォルトのブートディスクは Hyperdisk Balanced（hyperdisk-balanced）です。クラスタのセカンダリ ワーカーノードのデフォルトの永続ブートディスク タイプは、プライマリ ワーカーノードの永続ブートディスク タイプです。
クラスタノード用の永続ブートディスクのタイプを選択する
Google Cloud コンソール、Google Cloud CLI、または Dataproc API を使用してクラスタを作成する場合、永続ブートディスクのタイプを選択できます。
Google Cloud コンソール
クラスタノードのブートディスクのタイプを選択するには:
- Managed Service for Apache Spark の [クラスタの作成] ページを開きます。
- [その他の構成] をクリックして、セクションを開きます。
- [プライマリ ワーカー] と [セカンダリ ワーカー] をクリックして、デフォルト設定を確認または変更します。
- デフォルトでは、ドライバ（マスター）ノードの設定はプライマリ ワーカーの設定と同じです。[追加構成] で、[ドライバノード] をクリックして [デフォルトのドライバノードをプライマリ ワーカーと同じにする] チェックボックスをオフにし、ドライバノードの設定を指定します。
gcloud CLI
--master-boot-disk-type、--worker-boot-disk-type、--secondary-worker-boot-disk-type フラグを指定した gcloud dataproc clusters create コマンドを使用して、クラスタを作成し、クラスタノードのブートディスク タイプを選択できます。
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
REST API
masterConfig、workerConfig、secondaryWorkerConfig の InstanceGroupConfig.DiskConfig.bootDiskType フィールドに pd-standard、pd-ssd、pd-balanced、hyperdisk-balanced の値を cluster.create API リクエストの一部として設定できます。
Hyperdisk の設定
Hyperdisk Balanced ボリュームを Managed Service for Apache Spark クラスタノードのブートディスクとして使用してクラスタを作成する場合は、プロビジョニングされた IOPS とスループットを設定できます。
コンソール
プロビジョニングされた IOPS とスループットを構成するには:
- Managed Service for Apache Spark の [クラスタを作成] ページを開きます。
- [その他の構成] をクリックして、セクションを開きます。
- [ドライバ ノード] または [プライマリ ワーカー] をクリックします。
- 開いたパネルで、プロビジョニングされた IOPS とスループットの設定を構成し、[保存] をクリックします。
gcloud CLI
gcloud dataproc clusters create コマンドの --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput、--worker-boot-disk-provisioned-throughput フラグを使用して、hyperdisk-balanced ブートディスクを持つクラスタノードにプロビジョニングされた IOPS とスループットを設定できます。
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
REST API
Hyperdisk ブートディスクを使用するクラスタノードにプロビジョニングされた IOPS とプロビジョニングされたスループットは、マスターとワーカーの構成の InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops フィールドと InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput フィールドを使用して設定できます。