クラスタ キャッシュ

Managed Service for Apache Spark クラスタ キャッシュを有効にすると、クラスタは Spark ジョブによって頻繁にアクセスされる Cloud Storage データをキャッシュに保存します。

特典

  • パフォーマンスの向上: キャッシュを使用すると、ストレージからデータを取得する時間を短縮して、ジョブのパフォーマンスを改善できます。
  • ストレージ コストの削減: ホットデータがローカル ディスクにキャッシュされるため、データを取得するためにストレージに対して行われる API 呼び出しが少なくなります。
  • Spark ジョブの適用性: クラスタでクラスタ キャッシュが有効になっている場合、 Managed Service for Apache Spark に送信されたか、クラスタで個別に実行されたかに関係なく、クラスタで実行されるすべての Spark ジョブに適用されます。

制限事項と要件

クラスタ キャッシュを有効にする

コンソール、Google Cloud CLI または Dataproc API を使用して Managed Service for Apache Spark クラスタを作成する場合は、クラスタ キャッシュを有効にできます。 Google Cloud

Google Cloud コンソール

  1. コンソールで [**クラスタの作成**] ページを開きます。 Google Cloud
  2. [追加構成] をクリックしてセクションを開きます。
  3. [カスタマイズとその他] を編集します。
  4. 表示されたパネルの [クラスタのプロパティ] セクションで、[+ プロパティを追加] をクリックします。
  5. [プレフィックス] リストで [dataproc] を選択し、キー dataproc.cluster.caching.enabled と値 true を追加します。

gcloud CLI

gcloud dataproc clusters create コマンドは、ターミナル ウィンドウでローカルに実行するか、dataproc:dataproc.cluster.caching.enabled=true クラスタ プロパティを使用して Cloud Shell で実行します。

例:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties dataproc:dataproc.cluster.caching.enabled=true \
    --num-master-local-ssds=2 \
    --master-local-ssd-interface=NVME \
    --num-worker-local-ssds=2 \
    --worker-local-ssd-interface=NVME \
    other args ...

REST API

clusters.create リクエストの一部として "dataproc:dataproc.cluster.caching.enabled": "true" クラスタ プロパティを含めるため、SoftwareConfig.properties を設定します。