Visão geral do Managed Service for Apache Spark no GKE

O Serviço Gerenciado para Apache Spark no Google Kubernetes Engine (GKE) permite executar aplicativos de Big Data usando a API jobs do Serviço Gerenciado para Apache Spark em clusters do GKE. Use o console do Google Cloud , a Google Cloud CLI ou a API Managed Service for Apache Spark (solicitação HTTP ou bibliotecas de cliente do Cloud) para criar um cluster virtual do Serviço Gerenciado para Apache Spark no GKE e, em seguida, envie um job do Spark, PySpark, SparkR ou Spark-SQL para o Serviço Gerenciado para Apache Spark.

O Serviço Gerenciado para Apache Spark no GKE é compatível com as versões do Spark 3.5.

Como funciona o Serviço Gerenciado para Apache Spark no GKE

O Serviço Gerenciado para Apache Spark no GKE implanta clusters virtuais do Serviço Gerenciado para Apache Spark em um cluster do GKE. Ao contrário dos clusters do Serviço Gerenciado para Apache Spark no Compute Engine, os clusters virtuais do Serviço Gerenciado para Apache Spark no GKE não incluem VMs mestre e de worker separadas. Em vez disso, quando você cria um cluster virtual do Serviço Gerenciado para Apache Spark no GKE, o Serviço Gerenciado para Apache Spark no GKE cria pools de nós em um cluster do GKE. Os jobs do Serviço Gerenciado para Apache Spark no GKE são executados como pods nesses pools de nós. Os pools de nós e a programação de pods neles são gerenciados pelo GKE.