クラスタの Managed Service for Apache Spark の概要

クラスタ上の Managed Service for Apache Spark を使用すると、オープンソースのデータツールを利用してバッチ処理、クエリ実行、ストリーミング、ML を行えます。クラスタの Managed Service for Apache Spark の自動化機能を利用すると、クラスタを速やかに作成し、簡単に管理できます。また、不要なときにはクラスタを無効にして費用を節約できます。管理にかかる時間と費用が削減されるので、自分の仕事とデータに集中できます。

クラスタ上の Managed Service for Apache Spark のメリット

従来のオンプレミス プロダクトや競合するクラウド サービスと比較すると、Managed Service for Apache Spark には 3 ノードから数百ノードの規模のクラスタに対して固有の利点があります。

  • 低コスト - クラスタ上の Managed Service for Apache Spark の料金は、他に使用する Google Cloud リソースに加えて、クラスタの仮想 CPU ごとに 1 時間あたりわずか 1 セントです。この低料金に加え、Managed Service for Apache Spark クラスタには計算料金が低いプリエンプティブル インスタンスを含めることができるので、費用をさらに低く抑えることができます。クラスタ上の Managed Service for Apache Spark では、使用量を 1 時間単位に切り上げるのではなく、1 秒単位の課金と 1 分という短い最小課金期間で、実際に使用した分だけが課金されます。
  • 超高速 - クラスタで Managed Service for Apache Spark を使用しないと、オンプレミスや IaaS プロバイダで Spark と Hadoop クラスタを作成するのに 5 ～ 30 分ほどかかります。これに対し、Managed Service for Apache Spark クラスタは起動、スケーリング、シャットダウンが高速で、各オペレーションにかかる時間は平均 90 秒以下です。つまり、クラスタの待機時間を短縮し、データ処理に時間を費やすことができます。
  • 統合 - クラスタ上の Managed Service for Apache Spark には、BigQuery、Cloud Storage、Bigtable、Cloud Logging、Cloud Monitoring などの他の Google Cloud サービスとの統合が組み込まれているため、単なる Spark クラスタや Hadoop クラスタではなく、完全なデータ プラットフォームが得られます。たとえば、クラスタで Managed Service for Apache Spark を使用すると、テラバイト単位の元のログデータを BigQuery に直接取り込んで、ETL 処理によって簡単にビジネス レポートを作成できます。
  • マネージド - 管理者や特別なソフトウェアの支援なしで、Spark クラスタと Hadoop クラスタを使用できます。クラスタと Spark または Hadoop ジョブは、 Google Cloud コンソール、Cloud SDK、またはクラスタの Managed Service for Apache Spark の REST API を介して操作できます。クラスタの使用が完了したら、クラスタをオフにできるため、アイドル状態のクラスタに費用を費やす必要はありません。Managed Service for Apache Spark は Cloud Storage、BigQuery、Bigtable と統合されているため、データの損失を心配する必要はありません。
  • 簡単で一般的 - クラスタで Managed Service for Apache Spark を使用するために新しいツールや API を学習する必要はありません。したがって、再開発せずに既存のプロジェクトをクラスタで Managed Service for Apache Spark に移行できます。Spark、Hadoop、Pig、Hive は頻繁に更新されるため、生産性を高めることができます。

クラスタの Managed Service for Apache Spark には何が含まれていますか？

クラスタで Managed Service for Apache Spark でサポートされているオープンソース（Hadoop、Spark、Hive、Pig）と Google Cloudコネクタのバージョンのリストについては、Managed Service for Apache Spark クラスタ イメージのバージョン リストをご覧ください。

ご利用にあたって

使用を開始するには、クラスタの Managed Service for Apache Spark のクイックスタートをご覧ください。クラスタの Managed Service for Apache Spark には、次の方法でアクセスできます。