"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).
Google uses AI technology to translate content into your preferred language. AI translations can contain errors.
GKE 上の Managed Service for Apache Spark の概要
コレクションでコンテンツを整理
必要に応じて、コンテンツの保存と分類を行います。
Managed Service for Apache Spark on GKE を使用すると、GKE クラスタで Managed Service for Apache Spark jobs API を使用して Big Data アプリケーションを実行できます。 Google Cloud コンソール、Google Cloud CLI、または Managed Service for Apache Spark API（HTTP リクエストまたは Cloud クライアント ライブラリ）を使用して、GKE 仮想クラスタで Managed Service for Apache Spark を作成し、Spark を送信します。その後、PySpark、SparkR、または Spark-SQL ジョブを Managed Service for Apache Spark サービスに対して実行します。
Managed Service for Apache Spark on GKE では、Spark 3.5 のバージョンがサポートされています。
GKE での Managed Service for Apache Spark の仕組み
GKE 上の Managed Service for Apache Spark は、GKE クラスタに Managed Service for Apache Spark の仮想クラスタをデプロイします。Managed Service for Apache Spark on Compute Engine クラスタとは異なり、Managed Service for Apache Spark on GKE 仮想クラスタには、個別のマスター VM とワーカー VM が含まれません。代わりに、Managed Service for Apache Spark on GKE 仮想クラスタを作成すると、Managed Service for Apache Spark on GKE によって GKE クラスタ内にノードプールが作成されます。Managed Service for Apache Spark on GKE ジョブは、こうしたノードプールで Pod として実行されます。ノードプールとノードプール上の Pod のスケジューリングは、GKE が管理します。
