Managed Service for Apache Spark のドキュメント
クラスタ上の Managed Service for Apache Spark を使用すると、オープンソースのデータツールを利用して バッチ処理、クエリ実行、ストリーミング、ML を行えます。Managed Service for Apache Spark の自動化機能 を利用すると、クラスタを速やかに作成し、簡単に管理できます。また、不要なときにはクラスタを無効にして費用を節約できます。管理にかかる時間と費用が削減されるので、自分の仕事とデータに集中できます。
Managed Service for Apache Spark サーバーレスを使用すると、 独自のクラスタのプロビジョニングと管理を行うことなく、Spark バッチ ワークロードを実行できます。ワークロード パラメータを指定してから、ワークロードを Managed Service for Apache Spark サービスに送信します。このサービスは、マネージド コンピューティング インフラストラクチャでワークロードを実行し、必要に応じてリソースを自動スケーリングします。Managed Service for Apache Spark の料金は、ワークロードが実行されている時間に対してのみ適用されます。
$300 分の無料クレジットを使用して概念実証を始める
- 最新の生成 AI モデルとツールを使用した開発が可能です。
- Compute Engine や AI API などの 20 以上の人気プロダクトを無料でご利用いただけます。
- 自動請求は行われず、契約も不要です。
常に無料で利用可能な 20 以上のプロダクトを確認する
AI API、VM、データ ウェアハウスなど、一般的なユースケース向けの 20 以上のプロダクトを無料でご利用いただけます。
ドキュメント リソース
関連リソース
Google Kubernetes Engine で Spark ジョブを実行する
Dataproc Jobs API から稼働中の Google Kubernetes Engine クラスタに Spark ジョブを送信します。
Cloud Dataproc の概要: Hadoop および Spark on Google Cloud
このコースでは、講義、デモ、ハンズオンラボを組み合わせて、Dataproc クラスタの作成、Spark ジョブの送信、クラスタのシャットダウンを行います。
Dataproc の Spark を使用した ML
このコースでは、講義、デモ、ハンズオンラボを組み合わせて、Dataproc クラスタで実行する Apache Spark の ML ライブラリを使用してロジスティック回帰を実装し、多変数データセットのデータ用のモデルを作成します。
オンプレミスから Google Cloud へ HDFS データを移行する
オンプレミスの Hadoop 分散ファイル システム（HDFS）から Google Cloud にデータを移動する方法を紹介します。
Apache Spark に関する Java と Scala の依存関係を管理する
Managed Service for Apache Spark クラスタに Spark ジョブを送信する際に依存関係を含めるうえで推奨される方法を紹介します。