Hadoop データ ストレージ

Managed Service for Apache Spark を使用すると、Hadoop 分散ファイル システム（HDFS）と Cloud Storage を並行して使用して、ワークロード データを保存して処理できます。プリインストールされた Cloud Storage コネクタを使用すると、ジョブのパフォーマンス要件に合わせて基盤となる VM ディスク ストレージを調整しながら、クラスタとの間でデータを転送できます。

ストレージ オプションと考慮事項

Managed Service for Apache Spark クラスタおよびジョブのコンピューティングとデータ ストレージを選択する際は、次の点に注意する必要があります。

  • HDFS と Cloud Storage: Managed Service for Apache Spark はストレージに Hadoop 分散ファイル システム（HDFS）を使用します。また、Managed Service for Apache Spark は HDFS 互換の Cloud Storage コネクタを自動的にインストールするため、HDFS と並行して Cloud Storage も使用できます。クラスタに対してデータの移動を行うには、HDFS や Cloud Storage へのアップロードとダウンロードを使用します。
  • VM ディスク:
    • デフォルトでは、ローカル SSD がない場合、HDFS データと中間シャッフル データは永続ディスクの VM ブートディスクに保存されます。
    • ローカル SSD を使用する場合、HDFS データと中間シャッフル データは SSD に保存されます。
    • 永続ディスク（PD）のサイズとタイプにより、パフォーマンスと VM サイズが変わります。また、データ ストレージに HDFS または Cloud Storage のどちらを使用するのかも変わります。
    • クラスタが削除されると VM ブートディスクも削除されます。