Managed Service for Apache Spark on GKE – Übersicht

Mit Managed Service for Apache Spark in GKE können Sie Big-Data-Anwendungen mit der Managed Service for Apache Spark jobs API in GKE-Clustern ausführen. Erstellen Sie mit der Google Cloud Console, der Google Cloud CLI oder der Managed Service for Apache Spark API (HTTP-Anfrage oder Cloud-Clientbibliotheken) einen virtuellen Managed Service for Apache Spark in GKE-Cluster, und senden Sie dann einen Spark-, PySpark-, SparkR- oder Spark-SQL-Job an den Managed Service for Apache Spark.

Managed Service for Apache Spark in GKE unterstützt Spark 3.5-Versionen.

Funktionsweise von Managed Service for Apache Spark in GKE

Mit Managed Service for Apache Spark in GKE werden virtuelle Managed Service for Apache Spark-Cluster in einem GKE-Cluster bereitgestellt. Im Gegensatz zu Managed Service for Apache Spark in Compute Engine-Clustern, enthalten virtuelle Managed Service for Apache Spark in GKE-Cluster keine separaten Master- und Worker-VMs. Wenn Sie stattdessen einen virtuellen Managed Service for Apache Spark in GKE-Cluster erstellen, werden von Managed Service for Apache Spark in GKE Knotenpools in einem GKE-Cluster erstellt. Managed Service for Apache Spark in GKE-Jobs werden als Pods in diesen Knotenpools ausgeführt. Die Knotenpools und die Planung von Pods in den Knotenpools werden von GKE verwaltet.