Managed Service for Apache Spark on GKE – Übersicht

Mit Managed Service for Apache Spark in der Google Kubernetes Engine (GKE) können Sie Big-Data-Anwendungen mit der Managed Service for Apache Spark jobs API in GKE-Clustern ausführen. Sie können die Google Cloud Console, die Google Cloud CLI oder die Managed Service for Apache Spark API (HTTP-Anfrage oder Cloud-Clientbibliotheken) verwenden, um einen virtuellen Managed Service for Apache Spark on GKE-Cluster zu erstellen und dann einen Spark-, PySpark-, SparkR- oder Spark-SQL-Job an den Managed Service for Apache Spark-Dienst zu senden.

Managed Service for Apache Spark in der GKE unterstützt Spark 3.5-Versionen.

So funktioniert Managed Service for Apache Spark in der GKE

Managed Service for Apache Spark in der GKE stellt virtuelle Managed Service for Apache Spark-Cluster in einem GKE-Cluster bereit. Im Gegensatz zu Managed Service for Apache Spark in Compute Engine-Clustern enthalten virtuelle Managed Service for Apache Spark in GKE-Cluster keine separaten Master- und Worker-VMs. Stattdessen erstellt Managed Service for Apache Spark on GKE beim Erstellen eines virtuellen Managed Service for Apache Spark on GKE-Clusters Knotenpools innerhalb eines GKE-Cluster. Managed Service for Apache Spark on GKE-Jobs werden als Pods in diesen Knotenpools ausgeführt. Die Knotenpools und die Planung von Pods in den Knotenpools werden von GKE verwaltet.