Invia un job Spark utilizzando un modello

Questa pagina mostra come utilizzare un modello di Explorer API di Google per eseguire un semplice job Spark su un cluster Managed Service per Apache Spark esistente.

Per altri modi per inviare un job a un cluster Managed Service per Apache Spark, vedi:

Prima di iniziare

Prima di poter eseguire un job Managed Service per Apache Spark, devi creare un cluster di una o più macchine virtuali (VM) su cui eseguirlo. Puoi utilizzare Explorer API, la Google Cloud console, lo strumento a riga di comando gcloud CLI gcloud o le guide rapide che utilizzano le librerie client Cloud per creare un cluster.

Invia un job

Per inviare un job Apache Spark di esempio che calcola un valore approssimativo di pi greco, compila ed esegui il modello Prova questa API di Explorer API di Google.

  1. Parametri di richiesta:

    1. Inserisci il tuo projectId.
    2. Specifica la regione in cui si trova il cluster (conferma o sostituisci "us-central1"). La regione del cluster è elencata nella pagina Managed Service per Apache Spark Cluster nella Google Cloud console.

  2. Corpo della richiesta:

    1. job.placement.clusterName: il nome del cluster in cui verrà eseguito il job (conferma o sostituisci "example-cluster").
    2. job.sparkJob.args: "1000", il numero di attività del job.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Questo è il percorso del file locale sul nodo master del cluster Managed Service per Apache Spark in cui è installato il file JAR contenente il codice del job Spark Scala.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". Questo è il metodo principale dell'applicazione Scala per il calcolo di pi greco del job.

  3. Fai clic su EXECUTE. La prima volta che esegui il modello API, potrebbe esserti chiesto di scegliere e accedere al tuo Account Google, quindi di autorizzare Explorer API di Google ad accedere al tuo account. Se la richiesta ha esito positivo, la risposta JSON indica che la richiesta di invio del job è in attesa.

  4. Per visualizzare l'output del job, apri la pagina Job di Managed Service per Apache Spark nella Google Cloud console, quindi fai clic sull'ID job in alto (il più recente). Imposta "LINE WRAP" su ON per visualizzare le righe che superano il margine destro.

    ...
Pi is roughly 3.141804711418047
...

Libera spazio

Per evitare che al tuo Google Cloud account vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  1. Se non hai bisogno del cluster per esplorare le altre guide rapide o per eseguire altri job, utilizza Explorer API, la Google Cloud console, lo strumento a riga di comando gcloud CLI gcloud, o le librerie client Cloud per eliminare il cluster.

Passaggi successivi