Visão geral do Managed Service for Apache Spark no GKE

O Serviço Gerenciado para Apache Spark no GKE permite executar aplicativos de Big Data usando a API jobs do Serviço Gerenciado para Apache Spark em clusters do GKE. Use o Google Cloud console, a Google Cloud CLI ou a API Managed Service for Apache Spark (solicitação HTTP ou bibliotecas de cliente do Cloud) para criar um cluster virtual do Serviço Gerenciado para Apache Spark no GKE, e, em seguida, enviar um job do Spark, PySpark, SparkR ou Spark-SQL para o serviço Managed Service for Apache Spark.

O Serviço Gerenciado para Apache Spark no GKE oferece suporte às versões 3.5 do Spark.

Como o Serviço Gerenciado para Apache Spark no GKE funciona

O Serviço Gerenciado para Apache Spark no GKE implanta clusters virtuais do Serviço Gerenciado para Apache Spark em um cluster do GKE. Ao contrário do Serviço Gerenciado para Apache Spark em clusters do Compute Engine, o Serviço Gerenciado para Apache Spark em clusters virtuais do GKE não inclui VMs principais e de worker separadas. Em vez disso, ao criar um cluster virtual do Serviço Gerenciado para Apache Spark no GKE, o Serviço Gerenciado para Apache Spark no GKE cria pools de nós em um cluster do GKE. Os jobs do Serviço Gerenciado para Apache Spark no GKE são executados como pods nesses pools de nós. Os pools de nós e o agendamento de pods nos pools de nós são gerenciados pelo GKE.