クラスタの Managed Service for Apache Spark の概要

クラスタ上の Managed Service for Apache Spark を使用すると、オープンソースのデータツールを利用してバッチ処理、クエリ実行、ストリーミング、ML を行えます。クラスタ上の Managed Service for Apache Spark の自動化機能を利用すると、クラスタを速やかに作成し、簡単に管理できます。また、不要なときにはクラスタを無効にして費用を節約できます。管理にかかる時間と費用が削減されるので、自分の仕事とデータに集中できます。

クラスタ上の Managed Service for Apache Spark のメリット

クラスタに含まれるノードの数が 3 から数百である場合、従来のオンプレミス製品および競合するクラウド サービスと比べて、Managed Service for Apache Spark には他に類を見ない数多くのメリットがあります。

  • 低コスト - クラスタ上の Managed Service for Apache Spark の料金は、他に使用する Google Cloud リソースに加えて、クラスタの仮想 CPU ごとに 1 時間あたりわずか 1 セントです。この低料金に加え、Managed Service for Apache Spark クラスタには計算料金が低いプリエンプティブルなインスタンスを含めることができるので、費用をさらに低く抑えることができます。クラスタ上の Managed Service for Apache Spark では、使用時間を直近の時間単位に切り上げるのではなく、実際に使用したものに対してのみ秒単位（最小請求対象期間は 1 分）で課金されます。
  • 超高速 - クラスタ上の Managed Service for Apache Spark を使用しないと、オンプレミスまたは IaaS プロバイダで Spark と Hadoop クラスタを作成するのに 5 ～ 30 分かかる場合があります。これに対し、Managed Service for Apache Spark クラスタは起動、スケーリング、シャットダウンが高速で、こうした各オペレーションに要する時間は平均 90 秒以下です。つまり、クラスタの待機時間を減らし、実際にデータを扱う時間を増やすことができます。
  • 統合 - クラスタ上の Managed Service for Apache Spark には、他の Google Cloud サービス（BigQuery、Cloud Storage、Bigtable、Cloud Logging、Cloud Monitoring など）との統合があらかじめ組み込まれているため、単なる Spark クラスタや Hadoop クラスタではなく完全なデータ プラットフォームが得られます。たとえば、クラスタ上の Managed Service for Apache Spark を使用すると、テラバイト単位の元のログデータを BigQuery に直接取り込んで、ETL 処理によって簡単にビジネス レポートを作成できます。
  • マネージド - 管理者の助けや特別なソフトウェアを必要としないで、Spark クラスタと Hadoop クラスタを使用できます。 Google Cloud コンソール、Cloud SDK、またはクラスタ上の Managed Service for Apache Spark REST API を使用して、クラスタや Spark または Hadoop ジョブを操作できます。クラスタの使用が終了したら、クラスタをオフにするだけで、アイドル状態のクラスタに費用がかからないようにできます。Managed Service for Apache Spark は Cloud Storage、BigQuery、Bigtable と統合されているため、データの損失について心配する必要はありません。
  • 簡単で一般的 - クラスタ上の Managed Service for Apache Spark を使用するために新しいツールや API を学習する必要はなく、開発し直さなくても既存のプロジェクトをクラスタ上の Managed Service for Apache Spark に簡単に移行できます。Spark、Hadoop、Pig、Hive は頻繁に更新されるため、生産性を高めることができます。

クラスタ上の Managed Service for Apache Spark に含まれるもの

クラスタ上の Managed Service for Apache Spark でサポートされているオープンソース（Hadoop、Spark、Hive、Pig）と Google Cloud コネクタのバージョンのリストについては、 Managed Service for Apache Spark クラスタ イメージのバージョン リストをご覧ください。

ご利用にあたって

まず、クラスタ上の Managed Service for Apache Spark のクイックスタートをご覧ください。クラスタ上の Managed Service for Apache Spark には、次の方法でアクセスできます。