Managed Service for Apache Spark on GKE – Übersicht

Mit Managed Service for Apache Spark on GKE können Sie Big-Data-Anwendungen mit der jobs-API von Managed Service for Apache Spark in GKE-Clustern ausführen. Verwenden Sie die Google Cloud Console, die Google Cloud CLI oder die Managed Service for Apache Spark API (HTTP-Anfrage oder Cloud-Clientbibliotheken), um einen virtuellen Cluster für Managed Service for Apache Spark on GKE zu erstellen und dann einen Spark-, PySpark-, SparkR- oder Spark-SQL-Job an den Managed Service for Apache Spark-Dienst zu senden.

Managed Service for Apache Spark in GKE unterstützt Spark 3.5-Versionen.

Funktionsweise von Managed Service for Apache Spark in GKE

Bei Managed Service for Apache Spark in GKE werden virtuelle Managed Service for Apache Spark-Cluster in einem GKE-Cluster bereitgestellt. Im Gegensatz zu Managed Service for Apache Spark on Compute Engine-Clustern enthalten virtuelle Cluster von Managed Service for Apache Spark on GKE keine separaten Master- und Worker-VMs. Stattdessen werden beim Erstellen eines virtuellen Managed Service for Apache Spark on GKE-Clusters Knotenpools in einem GKE-Cluster erstellt. Managed Service for Apache Spark-Jobs in GKE werden als Pods in diesen Knotenpools ausgeführt. Die Knotenpools und die Planung von Pods in den Knotenpools werden von GKE verwaltet.