Managed Service for Apache Spark クラスタノード用のブートディスクとして、標準、SSD、バランスの永続ディスク、 またはGoogle Cloud Hyperdisk Balancedを選択します。
ブートディスクのタイプ オプション:
**マスター** 、**プライマリ ワーカー** 、**セカンダリ ワーカー** のクラスタノード用に、標準 、SSD 、または バランス永続ディスク のブートディスクを選択できます。
Hyperdisk Balanced を、マスター ノードと プライマリ ワーカー ノードのブートディスクとして選択できます。プライマリ ワーカーのブートディスク タイプが Hyperdisk Balanced に設定されている場合、Managed Service for Apache Spark はセカンダリ ワーカーのブートディスク タイプを自動的に Hyperdisk Balanced に設定します。
Managed Service for Apache Spark クラスタの
マスターノードとプライマリ ワーカーノードのデフォルトの永続ブートディスク タイプは 標準(pd-standard)です。VM の
マシンタイプ
がブートディスクとして Hyperdisk Balanced
のみをサポートしている場合、デフォルトのブートディスクは Hyperdisk Balanced(hyperdisk-balanced)です。
クラスタのセカンダリ ワーカーノードのデフォルトの永続ブートディスク タイプは、
プライマリ ワーカーノードの永続ブートディスク タイプとなります。
クラスタノード用の永続ブートディスクのタイプを選択する
コンソール、Google Cloud CLI、または Dataproc API を使用してクラスタを作成する場合、永続ブートディスクのタイプを選択できます。Google Cloud
Google Cloud コンソール
クラスタノードのブートディスク タイプを選択する手順は次のとおりです。
- Managed Service for Apache Spark の [クラスタの作成] ページを開きます。
- [追加構成] をクリックしてセクションを開きます。
- [プライマリ ワーカー] と [セカンダリ ワーカー] をクリックして、デフォルト設定を確認または変更します。
- デフォルトでは、ドライバ(マスター)ノードの設定はプライマリ ワーカーの設定と同じです。 [追加構成] で [ドライバノード] をクリックして [デフォルトのドライバノードをプライマリ ワーカーと同じにする] チェックボックスをオフにし、ドライバノードの設定を指定できます。
gcloud CLI
gcloud dataproc clusters create
コマンドで --master-boot-disk-type、
--worker-boot-disk-type、
--secondary-worker-boot-disk-type の各フラグを使用すると、クラスタを作成し、クラスタノードのブートディスク タイプを選択できます。
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
REST API
cluster.create
API リクエストの一部として、masterConfig、workerConfig、および
secondaryWorkerConfig の
InstanceGroupConfig.DiskConfig.bootDiskType
フィールドに pd-standard、pd-ssd、
pd-balanced、または hyperdisk-balanced の値を設定できます。
Hyperdisk の設定
Hyperdisk Balanced ボリューム を Managed Service for Apache Spark クラスタノードのブートディスクとして使用してクラスタを作成する場合は、 プロビジョニングされた IOPS とスループットを設定できます。
コンソール
プロビジョニングされた IOPS とスループットを構成する手順は次のとおりです。
- Managed Service for Apache Spark [クラスタの作成] ページを開きます。
- [追加構成] をクリックしてセクションを開きます。
- [ドライバノード] または [プライマリ ワーカー] をクリックします。
- 表示されたパネルで、プロビジョニングされた IOPS とスループットの設定を構成し、[保存] をクリックします。
gcloud CLI
gcloud dataproc clusters create コマンドの --master-boot-disk-provisioned-iops、--worker-boot-disk-provisioned-iops、--master-boot-disk-provisioned-throughput、--worker-boot-disk-provisioned-throughput フラグを使用して、hyperdisk-balanced ブートディスクを持つクラスタノードにプロビジョニングされた IOPS とスループットを設定できます。
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
REST API
Hyperdisk ブートディスクを使用するクラスタノードにプロビジョニングされた IOPS とプロビジョニングされたスループットは、マスターとワーカーの構成の InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops フィールドと InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput フィールドを使用して設定できます。