GKE 上の Managed Service for Apache Spark の概要

Managed Service for Apache Spark on GKE を使用すると、GKE クラスタで Managed Service for Apache Spark jobs API を使用して Big Data アプリケーションを実行できます。 Google Cloud コンソール、Google Cloud CLI、または Managed Service for Apache Spark API (HTTP リクエストまたは Cloud クライアント ライブラリ)を使用して Managed Service for Apache Spark on GKE 仮想クラスタを作成し、 Spark、PySpark、SparkR、または Spark-SQL ジョブを Managed Service for Apache Spark サービスに送信します。

Managed Service for Apache Spark on GKE では、 Spark 3.5 のバージョンがサポートされています

Managed Service for Apache Spark on GKE の仕組み

Managed Service for Apache Spark on GKE は、GKE クラスタに Managed Service for Apache Spark 仮想 クラスタをデプロイします。 Managed Service for Apache Spark on Compute Engine クラスタとは異なり、 Managed Service for Apache Spark on GKE 仮想クラスタには、個別の マスター VM とワーカー VM が含まれません。代わりに、Managed Service for Apache Spark on GKE 仮想クラスタを作成すると、 Managed Service for Apache Spark on GKE によって GKE クラスタ内にノードプールが作成されます。Managed Service for Apache Spark on GKE ジョブは、こうしたノードプールで Pod として実行されます。ノードプールとノードプール上の Pod のスケジューリングは、GKE が管理します。