Managed Service for Apache Spark ローカル SSD

ブートディスクを補うために、クラスタのマスターノード、プライマリ ワーカーノード、セカンダリ ワーカーノードにローカル ソリッド ステート ドライブ（ローカル SSD）をアタッチできます。 ローカル SSD がクラスタに提供されると、HDFS とスクラッチ データ（シャッフル出力など）の両方で、ブート永続ディスクの代わりにローカル SSD が使用されます。

  • ローカル SSD を使用すると、永続ディスクよりも読み取りと書き込みの処理時間を短縮できます（ローカル SSD のパフォーマンスをご覧ください）。
  • 各ローカル SSD のサイズは 375 GB に固定されていますが、複数のローカル SSD を接続して SSD ストレージを増やすことができます（ ローカル SSD についてを参照）。
  • それぞれのローカル SSD は、Managed Service for Apache Spark クラスタノード内の /mnt/<id> にマウントされます。
  • ローカル SSD は、ext4 をデフォルトのファイル システムとして使用します。

ローカル SSD を使用する

Google Cloud コンソール

クラスタを作成し、ローカル SSD をノードに接続します。

  1. Managed Service for Apache Spark [クラスタを作成] ページを開きます。
  2. [追加構成] をクリックしてセクションを開きます。
  3. [プライマリ ワーカー] と [セカンダリ ワーカー] を編集して、ローカル SSD の設定を構成します。
  4. デフォルトでは、ドライバ（マスター）ノードの設定はプライマリ ワーカーの設定と同じです。 [追加構成] で [ドライバノード] をクリックして、[デフォルトのドライバノードをプライマリ ワーカーと同じにする] チェックボックスをオフにしてから、ドライバノードの設定を指定します。

gcloud CLI コマンド

gcloud dataproc clusters create コマンドで --num-master-local-ssds、 --num-workers-local-ssds、 --num-secondary-worker-local-ssds フラグを使用して、ローカル SSD をクラスタのマスターノード、プライマリ ワーカーノード、セカンダリ ワーカー ノードに接続します。

ローカル SSD は、SCSI （Small Computer System Interface）または NVME（Non-Volatile Memory Express）インターフェースを使用して Managed Service for Apache Spark VM に接続できます（ローカル SSD のパフォーマンスをご覧ください）。 Managed Service for Apache Spark クラスタ VM のローカル SSD のデフォルトのインターフェースは、SCSI インターフェースです。マスターノード、プライマリおよびセカンダリ ワーカーノードのローカル SSD インターフェースを指定するには、 gcloud dataproc clusters create コマンドを使用して、--master-local-ssd-interface、 --worker-local-ssd-interface、および --secondary-worker-local-ssd-interface フラグ を指定します。

例:

gcloud dataproc clusters create cluster-name \
    --region=region \
    --num-master-local-ssds=1 \
    --num-worker-local-ssds=1 \
    --num-secondary-worker-local-ssds=1 \
    --master-local-ssd-interface=NVME \
    --worker-local-ssd-interface=NVME \
    --secondary-worker-local-ssd-interface=NVME \
    ... other args ...

REST API

cluster.create API リクエストの masterConfig、workerConfig、および secondaryWorkerConfig InstanceGroupConfig で numLocalSsds フィールドを設定し、ローカル SSD をクラスタのマスターノード、プライマリ ワーカーノード、セカンダリ ワーカーノードに接続します。

ローカル SSD は、SCSI （Small Computer System Interface）または NVME（Non-Volatile Memory Express）インターフェースを使用して Managed Service for Apache Spark VM に接続できます（ ローカル SSD のパフォーマンスをご覧ください）。 Managed Service for Apache Spark クラスタ VM のローカル SSD のデフォルトのインターフェースは、SCSI インターフェースです。cluster.create API リクエストの masterConfig、workerConfig、および secondaryWorkerConfig InstanceGroupConfig で localSsdInterface フィールドを設定して「SCSI」または「NVME」インターフェースを指定し、ローカル SSD をクラスタのマスターノード、プライマリおよびセカンダリ ワーカーノードに接続します。