Panoramica di Managed Service per Apache Spark su GKE

Managed Service for Apache Spark su Google Kubernetes Engine (GKE) ti consente di eseguire applicazioni per big data utilizzando l'API Managed Service for Apache Spark jobs sui cluster GKE. Puoi utilizzare la console Google Cloud , Google Cloud CLI o l'API Managed Service for Apache Spark (richiesta HTTP o librerie client di Cloud) per creare un cluster virtuale Managed Service for Apache Spark su GKE, quindi inviare un job Spark, PySpark, SparkR o Spark-SQL al servizio Managed Service for Apache Spark.

Managed Service for Apache Spark su GKE supporta le versioni di Spark 3.5.

Come funziona Managed Service for Apache Spark su GKE

Managed Service for Apache Spark su GKE esegue il deployment dei cluster virtuali di Managed Service for Apache Spark su un cluster GKE. A differenza dei cluster Managed Service for Apache Spark su Compute Engine, i cluster virtuali Managed Service for Apache Spark su GKE non includono VM master e worker separate. Quando crei un cluster virtuale Managed Service for Apache Spark su GKE, Managed Service for Apache Spark su GKE crea pool di nodi all'interno di un cluster GKE. I job di Managed Service for Apache Spark su GKE vengono eseguiti come pod in questi node pool. I pool di nodi e la pianificazione dei pod sui pool di nodi sono gestiti da GKE.