Managed Service for Apache Spark のブートディスク

Managed Service for Apache Spark クラスタノード用のブートディスクとして、標準、SSD、バランスの永続ディスク、 またはGoogle Cloud Hyperdisk Balancedを選択します。

ブートディスクのタイプ オプション:

  • **マスター** 、**プライマリ ワーカー** 、**セカンダリ ワーカー** のクラスタノード用に、標準SSD 、または バランス永続ディスク のブートディスクを選択できます。

  • Hyperdisk Balanced を、マスター ノードと プライマリ ワーカー ノードのブートディスクとして選択できます。プライマリ ワーカーのブートディスク タイプが Hyperdisk Balanced に設定されている場合、Managed Service for Apache Spark はセカンダリ ワーカーのブートディスク タイプを自動的に Hyperdisk Balanced に設定します。

Managed Service for Apache Spark クラスタの マスターノードとプライマリ ワーカーノードのデフォルトの永続ブートディスク タイプは 標準pd-standard)です。VM の マシンタイプ がブートディスクとして Hyperdisk Balanced のみをサポートしている場合、デフォルトのブートディスクは Hyperdisk Balancedhyperdisk-balanced)です。 クラスタのセカンダリ ワーカーノードのデフォルトの永続ブートディスク タイプは、 プライマリ ワーカーノードの永続ブートディスク タイプとなります。

クラスタノード用の永続ブートディスクのタイプを選択する

コンソール、Google Cloud CLI、または Dataproc API を使用してクラスタを作成する場合、永続ブートディスクのタイプを選択できます。Google Cloud

Google Cloud コンソール

クラスタノードのブートディスク タイプを選択する手順は次のとおりです。

  1. Managed Service for Apache Spark の [クラスタの作成] ページを開きます。
  2. [追加構成] をクリックしてセクションを開きます。
  3. [プライマリ ワーカー] と [セカンダリ ワーカー] をクリックして、デフォルト設定を確認または変更します。
  4. デフォルトでは、ドライバ(マスター)ノードの設定はプライマリ ワーカーの設定と同じです。 [追加構成] で [ドライバノード] をクリックして [デフォルトのドライバノードをプライマリ ワーカーと同じにする] チェックボックスをオフにし、ドライバノードの設定を指定できます。

gcloud CLI

gcloud dataproc clusters create コマンドで --master-boot-disk-type--worker-boot-disk-type--secondary-worker-boot-disk-type の各フラグを使用すると、クラスタを作成し、クラスタノードのブートディスク タイプを選択できます。

例:
gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --master-boot-disk-type=pd-ssd \
    --worker-boot-disk-type=hyperdisk-balanced \
    other args ...
p

REST API

cluster.create API リクエストの一部として、masterConfigworkerConfig、および secondaryWorkerConfigInstanceGroupConfig.DiskConfig.bootDiskType フィールドに pd-standardpd-ssdpd-balanced、または hyperdisk-balanced の値を設定できます。

Hyperdisk の設定

Hyperdisk Balanced ボリューム を Managed Service for Apache Spark クラスタノードのブートディスクとして使用してクラスタを作成する場合は、 プロビジョニングされた IOPS とスループットを設定できます。

コンソール

プロビジョニングされた IOPS とスループットを構成する手順は次のとおりです。

  1. Managed Service for Apache Spark [クラスタの作成] ページを開きます。
  2. [追加構成] をクリックしてセクションを開きます。
  3. [ドライバノード] または [プライマリ ワーカー] をクリックします。
  4. 表示されたパネルで、プロビジョニングされた IOPS とスループットの設定を構成し、[保存] をクリックします。

gcloud CLI

gcloud dataproc clusters create コマンドの --master-boot-disk-provisioned-iops--worker-boot-disk-provisioned-iops--master-boot-disk-provisioned-throughput--worker-boot-disk-provisioned-throughput フラグを使用して、hyperdisk-balanced ブートディスクを持つクラスタノードにプロビジョニングされた IOPS とスループットを設定できます。

例:
  gcloud dataproc clusters create CLUSTER_NAME \
      --region=REGION \
      --master-boot-disk-type=hyperdisk-balanced \
      --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS  \
      --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \
      --worker-boot-disk-type=hyperdisk-balanced \
      --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \
      --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \
      other args ...
  

REST API

Hyperdisk ブートディスクを使用するクラスタノードにプロビジョニングされた IOPS とプロビジョニングされたスループットは、マスターとワーカーの構成の InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops フィールドと InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput フィールドを使用して設定できます。