Présentation de Managed Service pour Apache Spark sur GKE

Managed Service pour Apache Spark sur Google Kubernetes Engine (GKE) vous permet d'exécuter des applications de big data à l'aide de l'API Managed Service pour Apache Spark jobs sur des clusters GKE. Vous pouvez utiliser la console Google Cloud , la Google Cloud CLI ou l'API Managed Service pour Apache Spark (requête HTTP ou bibliothèques clientes Cloud) pour créer un cluster virtuel Managed Service pour Apache Spark sur GKE, puis envoyer un job Spark, PySpark, SparkR ou Spark-SQL au service Managed Service pour Apache Spark.

Managed Service pour Apache Spark sur GKE est compatible avec les versions de Spark 3.5.

Fonctionnement de Managed Service pour Apache Spark sur GKE

Managed Service pour Apache Spark sur GKE déploie des clusters virtuels Managed Service pour Apache Spark sur un cluster GKE. Contrairement aux clusters Managed Service pour Apache Spark sur Compute Engine, les clusters virtuels Managed Service pour Apache Spark sur GKE n'incluent pas de VM maîtres et de VM de nœuds de calcul distinctes. À la place, lorsque vous créez un cluster virtuel Managed Service pour Apache Spark sur GKE, Managed Service pour Apache Spark sur GKE crée des pools de nœuds dans un cluster GKE. Les jobs Managed Service pour Apache Spark sur GKE sont exécutés en tant que pods sur ces pools de nœuds. Les pools de nœuds et la planification des pods sur les pools de nœuds sont gérés par GKE.