Managed Service for Apache Spark on Google Kubernetes Engine (GKE) 可讓您在 GKE 叢集上,使用 Managed Service for Apache Spark jobs API 執行大數據應用程式。您可以使用 Google Cloud 控制台、Google Cloud CLI 或 Managed Service for Apache Spark API (HTTP 要求或 Cloud 用戶端程式庫),建立 Managed Service for Apache Spark on GKE 虛擬叢集,然後將 Spark、PySpark、SparkR 或 Spark-SQL 工作提交至 Managed Service for Apache Spark 服務。
Managed Service for Apache Spark on GKE 支援 Spark 3.5 版本。
Managed Service for Apache Spark on GKE 的運作方式
Managed Service for Apache Spark on GKE 會在 GKE 叢集上部署 Managed Service for Apache Spark 虛擬叢集。與 Compute Engine 叢集上的 Managed Service for Apache Spark 不同,GKE 虛擬叢集上的 Managed Service for Apache Spark 不包含個別的主要和 worker VM。不過,當您建立 Managed Service for Apache Spark on GKE 虛擬叢集時,Managed Service for Apache Spark on GKE 會在 GKE 叢集中建立節點集區。Managed Service for Apache Spark on GKE 工作會以 Pod 的形式在這些節點集區上執行。節點集區和節點集區中 Pod 的排程由 GKE 管理。