Scrittura ed esecuzione di job Spark Scala su Managed Service per Apache Spark

Questo tutorial illustra diversi modi per creare e inviare un job Spark Scala a un cluster Managed Service for Apache Spark, tra cui:

• Scrivere e compilare un'app "Hello World" Spark Scala su una macchina locale dalla riga di comando utilizzando il REPL Scala (Read-Evaluate-Print-Loop o interprete interattivo) o lo strumento di build SBT
• Creare un pacchetto di classi Scala compilate in un file JAR con un manifest
• Inviare il file JAR Scala a un job Spark in esecuzione sul cluster Managed Service for Apache Spark
• Esaminare l'output del job Scala dalla Google Cloud console

Questo tutorial mostra anche come:

• Scrivere ed eseguire un job mapreduce "WordCount" Spark Scala direttamente su un cluster Managed Service for Apache Spark utilizzando spark-shell REPL

• Eseguire esempi Apache Spark e Hadoop preinstallati su un cluster

Tieni presente che, sebbene gli esempi di riga di comando in questo tutorial presuppongano un ambiente terminale Linux, molti o la maggior parte verranno eseguiti anche come scritti in una finestra del terminale macOS o Windows.

Configura un progetto Google Cloud Platform

Se non l'hai già fatto:

1. Configura un progetto
2. Crea un bucket Cloud Storage
3. Crea un cluster Managed Service for Apache Spark

Scrivi e compila il codice Scala in locale

Come semplice esercizio per questo tutorial, scrivi un'app "Hello World" Scala utilizzando lo Scala REPL o l'interfaccia a riga di comando SBT in locale sulla tua macchina di sviluppo.

• Utilizza Scala
• Utilizza SBT

Utilizza Scala

1. Scarica i file binari Scala dalla pagina di installazione di Scala

2. Decomprimi il file, imposta la variabile di ambiente SCALA_HOME e aggiungila al percorso, come mostrato nelle istruzioni di installazione di Scala. Ad esempio:

   export SCALA_HOME=/usr/local/share/scala
   export PATH=$PATH:$SCALA_HOME/
   

3. Avvia Scala REPL

   $ scala
   Welcome to Scala version ...
   Type in expressions to have them evaluated.
   Type :help for more information.
   scala>
   

4. Copia e incolla il codice HelloWorld in Scala REPL

   object HelloWorld {
     def main(args: Array[String]): Unit = {
       println("Hello, world!")
     }
   }

5. Salva HelloWorld.scala ed esci da REPL

   scala> :save HelloWorld.scala
   scala> :q
   

6. Compila con scalac

   $ scalac HelloWorld.scala
   

7. Elenca i file .class compilati

   $ ls HelloWorld*.class
   HelloWorld$.class   HelloWorld.class
   

Utilizza SBT

1. Scarica SBT

2. Crea un progetto "HelloWorld", come mostrato di seguito

   $ mkdir hello
   $ cd hello
   $ echo \
   'object HelloWorld {def main(args: Array[String]) = println("Hello, world!")}' > \
   HelloWorld.scala
   

3. Crea un file di configurazione sbt.build per impostare artifactName (il nome del file JAR che genererai di seguito) su "HelloWorld.jar" (vedi Modifica degli artefatti predefiniti)

   echo \
   'artifactName := { (sv: ScalaVersion, module: ModuleID, artifact: Artifact) =>
   "HelloWorld.jar" }' > \
   build.sbt
   

4. Avvia SBT ed esegui il codice

   $ sbt
   [info] Set current project to hello ...
   > run
   ... Compiling 1 Scala source to .../hello/target/scala-.../classes...
   ... Running HelloWorld
   Hello, world!
   [success] Total time: 3 s ...
   

5. Crea un pacchetto di codice in un file JAR con un manifest che specifica il punto di ingresso della classe principale (HelloWorld), quindi esci

   > package
   ... Packaging .../hello/target/scala-.../HelloWorld.jar ...
   ... Done packaging.
   [success] Total time: ...
   > exit
   

Crea un file JAR

Crea un file JAR con SBT o utilizzando il comando jar.

Scaricare Java? Per eseguire il comando jar, devi aver installato Java SE (Standard Edition) JRE (Java Runtime Environment) sulla tua macchina. Consulta la pagina Download di Java SE.

Crea un file JAR con SBT

Il comando package SBT crea un file JAR (vedi Utilizzare SBT).

Crea un file JAR manualmente

1. Cambia directory (cd) nella directory che contiene i file HelloWorld*.class compilati, quindi esegui il comando seguente per creare un pacchetto dei file di classe in un file JAR con un manifest che specifica il punto di ingresso della classe principale (HelloWorld).

   $ jar cvfe HelloWorld.jar HelloWorld HelloWorld*.class
   added manifest
   adding: HelloWorld$.class(in = 637) (out= 403)(deflated 36%)
   adding: HelloWorld.class(in = 586) (out= 482)(deflated 17%)
   

   La decompressione e l'esame del manifest del file JAR (MANIFEST.MF) mostrano che elenca il punto di ingresso della classe principale HelloWorld:

   Manifest-Version: ...
   Created-By: ...
   Main-Class: HelloWorld
   

Copia il file JAR in Cloud Storage

1. Utilizza Google Cloud CLI per copiare il file JAR in un bucket Cloud Storage nel tuo progetto

Quando passi i nomi dei bucket a Google Cloud CLI, assicurati di specificare solo il nome del bucket dopo il prefisso gs://. Ad esempio, se un progetto contiene un bucket "my-most-unique-bucket-name", come mostrato nello screenshot Google Cloud seguente del browser di archiviazione della console,

il comando seguente elencherà i contenuti di quel bucket:

gcloud storage ls gs://my-most-unique-bucket-name

$ gcloud storage cp HelloWorld.jar gs://<bucket-name>/
Copying file://HelloWorld.jar [Content-Type=application/java-archive]...
Uploading   gs://bucket-name/HelloWorld.jar:         1.46 KiB/1.46 KiB

Invia il file JAR a un job Managed Service for Apache Spark

1. Utilizza la Google Cloud console per inviare il file JAR al job Managed Service for Apache Spark. Compila i campi nella pagina Invia un job come segue:

   • Cluster: seleziona il nome del cluster dall'elenco dei cluster
   • Tipo di prestazione: Spark

   • Classe principale o file JAR: specifica il percorso dell'URI Cloud Storage del tuo file JAR HelloWorld (gs://your-bucket-name/HelloWorld.jar).

     Se il file JAR non include un manifest che specifica il punto di ingresso del codice ("Main-Class: HelloWorld"), il campo "Classe principale o file JAR" deve indicare il nome della classe principale ("HelloWorld") e devi compilare il campo "File JAR" con il percorso dell'URI del file JAR (gs://your-bucket-name/HelloWorld.jar).

2. Fai clic su Invia per avviare il job. Una volta avviato, il job viene aggiunto all'elenco dei job.

3. Fai clic sull'ID job per aprire la pagina Job, dove puoi visualizzare l'output del driver del job.

Scrivi ed esegui il codice Spark Scala utilizzando spark-shell REPL del cluster

Potresti voler sviluppare app Scala direttamente sul cluster Managed Service for Apache Spark. Hadoop e Spark sono preinstallati sui cluster Managed Service for Apache Spark e sono configurati con il connettore Cloud Storage, che consente al codice di leggere e scrivere dati direttamente da e in Cloud Storage.

Questo esempio mostra come connetterti tramite SSH al nodo master del cluster Managed Service for Apache Spark del tuo progetto, quindi utilizzare il spark-shell REPL per creare ed eseguire un'applicazione mapreduce di conteggio delle parole Scala.

1. Connettiti tramite SSH al nodo master del cluster Managed Service for Apache Spark

   1. Vai alla pagina Cluster di Managed Service for Apache Spark del tuo progetto nella Google Cloud console, quindi fai clic sul nome del cluster.

   2. Nella pagina dei dettagli del cluster, seleziona la scheda Istanze VM, quindi fai clic sulla selezione SSH visualizzata a destra della riga del nome del cluster.

      Si apre una finestra del browser nella directory home del nodo master

2. Avvia spark-shell

   $ spark-shell
   ...
   Using Scala version ...
   Type in expressions to have them evaluated.
   Type :help for more information.
   ...
   Spark context available as sc.
   ...
   SQL context available as sqlContext.
   scala>
   

3. Crea un RDD (Resilient Distributed Dataset) da uno snippet di testo di Shakespeare che si trova in Cloud Storage pubblico

   Snippet di testo di Shakespeare:
   

   What's in a name? That which we call a rose
   By any other name would smell as sweet.
   

   scala> val text_file = sc.textFile("gs://pub/shakespeare/rose.txt")
   

4. Esegui un mapreduce di conteggio delle parole sul testo, quindi visualizza il risultato wordcounts

   scala> val wordCounts = text_file.flatMap(line => line.split(" ")).map(word =>
   (word, 1)).reduceByKey((a, b) => a + b)
   scala> wordCounts.collect
   ... Array((call,1), (What's,1), (sweet.,1), (we,1), (as,1), (name?,1), (any,1), (other,1),
   (rose,1), (smell,1), (name,1), (a,2), (would,1), (in,1), (which,1), (That,1), (By,1))
   

5. Salva i conteggi in <bucket-name>/wordcounts-out in Cloud Storage, quindi esci da scala-shell

   scala> wordCounts.saveAsTextFile("gs://<bucket-name>/wordcounts-out/")
   scala> exit
   

6. Utilizza gcloud CLI per elencare i file di output e visualizzare i contenuti dei file

   $ gcloud storage ls gs://bucket-name/wordcounts-out/
   gs://spark-scala-demo-bucket/wordcounts-out/
   gs://spark-scala-demo-bucket/wordcounts-out/_SUCCESS
   gs://spark-scala-demo-bucket/wordcounts-out/part-00000
   gs://spark-scala-demo-bucket/wordcounts-out/part-00001
   

7. Controlla i contenuti di gs://<bucket-name>/wordcounts-out/part-00000

   $ gcloud storage cat gs://bucket-name/wordcounts-out/part-00000
   (call,1)
   (What's,1)
   (sweet.,1)
   (we,1)
   (as,1)
   (name?,1)
   (any,1)
   (other,1)
   

Esecuzione del codice di esempio preinstallato

Il nodo master di Managed Service for Apache Spark contiene file JAR eseguibili con esempi standard di Apache Hadoop e Spark.

Tipo di file JAR	Master node /usr/lib/ location	Origine GitHub	Documenti Apache
Hadoop	hadoop-mapreduce/hadoop-mapreduce-examples.jar	link di origine	Tutorial MapReduce
Spark	spark/lib/spark-examples.jar	link di origine	Esempi di Spark

Invio di esempi al cluster dalla riga di comando

Gli esempi possono essere inviati dalla macchina di sviluppo locale utilizzando lo strumento a riga di comando gcloud di Google Cloud CLI (vedi Utilizzo della Google Cloud console per inviare job dalla Google Cloud console).

Esempio di conteggio delle parole Hadoop

gcloud dataproc jobs submit hadoop --cluster=cluster-name \
    --region=region \
    --jars=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
    --class=org.apache.hadoop.examples.WordCount \
    -- URI of input file URI of output file

Esempio di conteggio delle parole Spark

gcloud dataproc jobs submit spark --cluster=cluster-name \
    --region=region \
    --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
    --class=org.apache.spark.examples.JavaWordCount \
    -- URI of input file

Arresta il cluster

Per evitare addebiti continui, arresta il cluster ed elimina le risorse Cloud Storage (bucket e file Cloud Storage) utilizzate per questo tutorial.

Per arrestare un cluster:

gcloud dataproc clusters delete cluster-name \
    --region=region

Per eliminare il file JAR Cloud Storage:

gcloud storage rm gs://bucket-name/HelloWorld.jar

Puoi eliminare un bucket e tutte le relative cartelle e file con il comando seguente:

gcloud storage rm gs://bucket-name/ --recursive

Passaggi successivi

• Leggi Gestire le dipendenze Java per le applicazioni Apache Spark su Managed Service for Apache Spark.

• Vedi i suggerimenti per l'ottimizzazione del job Spark