ノードプールを作成する

Managed Service for Apache Spark on GKE 仮想クラスタを 作成または 更新 するときは、 仮想クラスタがジョブの実行に使用するノードプールを 1 つ以上指定します（このクラスタは、指定したノードプールに「使用」または「関連付け」される クラスタと呼ばれます）。指定したノードプール が GKE クラスタに存在しない場合、Managed Service for Apache Spark on GKE は指定した設定 で GKE クラスタにノードプールを作成します。ノードプールが存在し、Managed Service for Apache Spark によって作成された場合は、その設定が指定した設定と一致するかどうかを確認するために検証されます。

Managed Service for Apache Spark on GKE ノードプールの設定

Managed Service for Apache Spark on GKE 仮想クラスタで使用されるノードプールに次の 設定 を指定できます（これらの 設定は、 GKE ノードプールの設定のサブセットです）。

  • accelerators
  • acceleratorCount
  • acceleratorType
  • gpuPartitionSize*
  • localSsdCount
  • machineType
  • minCpuPlatform
  • minNodeCount
  • maxNodeCount
  • preemptible
  • spot*

注:

ノードプールの削除

Managed Service for Apache Spark on GKE クラスタが削除されても、クラスタで使用されているノードプール は削除されません。Managed Service for Apache Spark on GKE クラスタで使用されていないノードプールを削除するには、ノードプールを削除する をご覧ください。

ノードプールのロケーション

仮想クラスタを作成または更新する際には、Managed Service for Apache Spark on GKE 仮想クラスタに関連付けられたノードプールの ゾーン のロケーションを指定できます。ノードプール ゾーンは、関連する仮想クラスタのリージョンに配置する必要があります。

ノードプールのロールのマッピング

ノードプールロール は、Spark のドライバとエグゼキュータの動作に対して定義され、ノードプールのすべての種類の作業に対してデフォルトのロール が定義されます。Managed Service for Apache Spark on GKE クラスタには、 少なくとも 1 つの default ロールが割り当てられているノードプールが必要です。 他のロールの割り当ては任意です。

推奨: ロールの要件に基づいたノードタイプとノードサイズを使って、ロールタイプごとに個別のノードプールを作成します。

gcloud CLI 仮想クラスタの作成例:

gcloud dataproc clusters gke create "${DP_CLUSTER}" \
  --region=${REGION} \
  --gke-cluster=${GKE_CLUSTER} \
  --spark-engine-version=latest \
  --staging-bucket=${BUCKET} \
  --pools="name=${DP_POOLNAME},roles=default \
  --setup-workload-identity
  --pools="name=${DP_CTRL_POOLNAME},roles=default,machineType=e2-standard-4" \
  --pools="name=${DP_DRIVER_POOLNAME},min=1,max=3,roles=spark-driver,machineType=n2-standard-4" \
  --pools="name=${DP_EXEC_POOLNAME},min=1,max=10,roles=spark-executor,machineType=n2-standard-8"