Enviar um job do Spark usando um modelo

Nesta página, mostramos como usar um modelo do APIs Explorer do Google para executar um job simples do Spark em um cluster atual do Managed Service para Apache Spark.

Para conhecer outras maneiras de enviar um job a um cluster do Serviço gerenciado para Apache Spark, consulte:

Antes de começar

Antes de executar um job do serviço gerenciado para Apache Spark, é preciso criar um cluster de uma ou mais máquinas virtuais (VMs) para executá-lo. É possível usar o APIs Explorer, o console do Google Cloud , a ferramenta de linha de comando gcloud da CLI gcloud ou os Guias de início rápido: Como usar as bibliotecas de cliente do Cloud para criar um cluster.

Envie um job

Para enviar um job de amostra do Apache Spark que calcula um valor aproximado para pi, preencha e execute o modelo do APIs Explorer do Google Testar esta API.

  1. Parâmetros de solicitação:

    1. Insira seu projectId.
    2. Especifique a região em que o cluster está localizado (confirme ou substitua "us-central1"). A região do cluster está listada na página Clusters do Managed Service for Apache Spark, no console doGoogle Cloud .

  2. Corpo da solicitação:

    1. job.placement.clusterName: o nome do cluster em que o job será executado (confirme ou substitua "example-cluster").
    2. job.sparkJob.args: "1.000", o número de tarefas do job.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Esse é o caminho do arquivo local no nó mestre do cluster do Managed Service for Apache Spark em que está instalado o jar com o código do job do Spark Scala.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". É o principal método do aplicativo Scala de cálculo do pi do job.

  3. Clique em EXECUTAR. Na primeira vez que você executar o modelo da API, talvez receba solicitação para escolher, fazer login na Conta do Google e autorizar o acesso ao Google APIs Explorer. Se a solicitação for bem-sucedida, a resposta JSON vai mostrar que a solicitação de envio de job está pendente.

  4. Para ver a saída do job, abra a página Jobs do serviço gerenciado para Apache Spark no console Google Cloud e clique no código da tarefa superior (mais recente). Clique em LINE WRAP para ativar e ver as linhas que ultrapassam a margem direita.

    ...
Pi is roughly 3.141804711418047
...

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga as etapas abaixo.

  1. Se você não precisar do cluster para explorar os outros guias de início rápido ou executar outros jobs, use o APIs Explorer, o console doGoogle Cloud , a ferramenta de linha de comando gcloud da CLI gcloud ou as Bibliotecas de cliente do Cloud para excluir o cluster.

A seguir