Usar Dataproc Hub

Crea un clúster de Dataproc JupyterLab desde Dataproc Hub

  1. Selecciona la pestaña Notebooks administrados por el usuario en la página Dataproc→Workbench de la consola de Google Cloud .

  2. Haz clic en Abrir JupyterLab en la fila que enumera la instancia de Dataproc Hub creada por el administrador.

    1. Si no tienes acceso a la consola de Google Cloud , ingresa en tu navegador web la URL de la instancia de Dataproc Hub que un administrador compartió contigo.

  3. En la página Jupyterhub→Opciones de Dataproc, selecciona una configuración y una zona del clúster. Si está habilitada, especifica las personalizaciones y, luego, haz clic en Crear.

    Después de crear el clúster de Dataproc, se te redireccionará a la interfaz de JupyterLab que se ejecuta en el clúster.

Crea un notebook y ejecuta un trabajo de Spark

  1. En el panel izquierdo de la interfaz de JupyterLab, haz clic en GCS (Cloud Storage).

  2. Crea un notebook de PySpark desde el selector de JupyterLab.

  3. El kernel de PySpark inicializa un SparkContext (mediante la variable sc). Puedes examinar SparkContext y ejecutar un trabajo de Spark desde el notebook.

    rdd = (sc.parallelize(['lorem', 'ipsum', 'dolor', 'sit', 'amet', 'lorem'])
       .map(lambda word: (word, 1))
       .reduceByKey(lambda a, b: a + b))
print(rdd.collect())

  4. Asigna un nombre y guarda el notebook. El notebook se guarda y permanece en Cloud Storage después de que se borra el clúster de Dataproc.

Cierra el clúster de Dataproc

  1. En la interfaz de JupyterLab, selecciona Archivo→Panel de control de Hub para abrir la página Jupyterhub.

  2. Haz clic en Detener mi clúster para cerrar (borrar) el servidor de JupyterLab, que borra el clúster de Dataproc.