Visão geral do Managed Service for Apache Spark no GKE

O Serviço Gerenciado para Apache Spark no GKE permite executar aplicativos de Big Data usando a API Managed Service for Apache Spark jobs em clusters do GKE. Use o console Google Cloud , a Google Cloud CLI ou a API do Serviço Gerenciado para Apache Spark (solicitação HTTP ou bibliotecas de cliente do Cloud) para criar um cluster virtual do Serviço Gerenciado para Apache Spark no GKE e envie um job do Spark, PySpark, SparkR ou Spark-SQL para o serviço Serviço Gerenciado para Apache Spark.

O Serviço Gerenciado para Apache Spark no GKE é compatível com as versões do Spark 3.5.

Como funciona o Serviço Gerenciado para Apache Spark no GKE

O Serviço Gerenciado para Apache Spark no GKE implanta clusters virtuais do Serviço Gerenciado para Apache Spark em um cluster do GKE. Ao contrário dos clusters do Serviço Gerenciado para Apache Spark no Compute Engine, os clusters virtuais do Serviço Gerenciado para Apache Spark no GKE não incluem VMs mestras e de trabalho separadas. Em vez disso, quando você cria um cluster virtual do Serviço Gerenciado para Apache Spark no GKE, o Serviço Gerenciado para Apache Spark no GKE cria pools de nós em um cluster do GKE. Os jobs do Serviço Gerenciado para Apache Spark no GKE são executados como pods nesses pools de nós. Os pools de nós e o agendamento de pods neles são gerenciados pelo GKE.