Utilizzo di Dataproc Hub

Obiettivi

  1. Utilizza Dataproc Hub per creare un ambiente di notebook JupyterLab a utente singolo in esecuzione su un cluster Managed Service for Apache Spark.

  2. Crea un notebook ed esegui un job Spark sul cluster Managed Service for Apache Spark.

  3. Elimina il cluster e conserva il notebook in Cloud Storage.

Prima di iniziare

  1. L'amministratore deve concederti l'autorizzazione notebooks.instances.use (vedi Impostare i ruoli di Identity and Access Management (IAM)).

Crea un cluster Dataproc JupyterLab da Dataproc Hub

  1. Seleziona la scheda Notebook gestiti dall'utente nella pagina Dataproc→Workbench nella Google Cloud console.

  2. Fai clic su Apri JupyterLab nella riga che elenca l'istanza di Dataproc Hub creata dall'amministratore.

    1. Se non hai accesso alla Google Cloud console, inserisci l'URL dell'istanza di Dataproc Hub che un amministratore ha condiviso con te nel browser web.

  3. Nella pagina Jupyterhub→Opzioni Dataproc, seleziona una configurazione del cluster e una zona. Se abilitata, specifica eventuali personalizzazioni, quindi fai clic su Crea.

    Dopo aver creato il cluster Managed Service for Apache Spark, viene visualizzata l'interfaccia di JupyterLab in esecuzione sul cluster.

Crea un notebook ed esegui un job Spark

  1. Nel riquadro a sinistra dell'interfaccia di JupyterLab, fai clic su GCS (Cloud Storage).

  2. Crea un notebook PySpark dal launcher di JupyterLab.

  3. Il kernel PySpark inizializza uno SparkContext (utilizzando la variabile sc). Puoi esaminare lo SparkContext ed eseguire un job Spark dal notebook.

    rdd = (sc.parallelize(['lorem', 'ipsum', 'dolor', 'sit', 'amet', 'lorem'])
       .map(lambda word: (word, 1))
       .reduceByKey(lambda a, b: a + b))
print(rdd.collect())

  4. Assegna un nome al notebook e salvalo. Il notebook viene salvato e rimane in Cloud Storage dopo l'eliminazione del cluster Managed Service for Apache Spark.

Arresta il cluster Dataproc

  1. Dall'interfaccia di JupyterLab, seleziona File→Pannello di controllo hub per aprire la pagina Jupyterhub.

  2. Fai clic su Arresta il mio cluster per arrestare (eliminare) il server JupyterLab, che elimina il cluster Managed Service for Apache Spark.

Passaggi successivi