Dataproc-Hub verwenden

Dataproc JupyterLab-Cluster über Dataproc Hub erstellen

  1. Wählen Sie in der Google Cloud Console auf der Seite Dataproc → Workbench den Tab Nutzerverwaltete Notebooks aus.

  2. Klicken Sie in der Zeile, in der die vom Administrator erstellte Dataproc Hub-Instanz aufgeführt ist, auf JupyterLab öffnen.

    1. Wenn Sie keinen Zugriff auf die Google Cloud Console haben, geben Sie in Ihrem Webbrowser die Dataproc Hub-Instanz-URL ein, die ein Administrator für Sie freigegeben hat.

  3. Wählen Sie auf der Seite Jupyterhub → Dataproc-Optionen eine Clusterkonfiguration und -zone aus. Falls aktiviert, nehmen Sie die gewünschten Anpassungen vor und klicken Sie auf Erstellen.

    Nachdem der Dataproc-Cluster erstellt wurde, werden Sie zur JupyterLab-Oberfläche weitergeleitet, die im Cluster ausgeführt wird.

Notebook erstellen und einen Spark-Job ausführen

  1. Klicken Sie im linken Bereich der JupyterLab-Benutzeroberfläche auf GCS (Cloud Storage).

  2. Erstellen Sie ein PySpark-Notebook über den JupyterLab-Launcher.

  3. Der PySpark-Kernel initialisiert einen SparkContext mithilfe der Variable sc. Sie können den SparkContext untersuchen und einen Spark-Job aus dem Notebook ausführen.

    rdd = (sc.parallelize(['lorem', 'ipsum', 'dolor', 'sit', 'amet', 'lorem'])
       .map(lambda word: (word, 1))
       .reduceByKey(lambda a, b: a + b))
print(rdd.collect())

  4. Benennen Sie das Notebook und speichern Sie es. Das Notebook wird gespeichert und verbleibt in Cloud Storage, nachdem der Dataproc-Cluster gelöscht wurde.

Dataproc-Cluster herunterfahren

  1. Wählen Sie in der JupyterLab-Benutzeroberfläche Datei → Hub-Steuerfeld aus, um die Seite Jupyterhub zu öffnen.

  2. Klicken Sie auf Stop My Cluster, um den JupyterLab-Server zu beenden (löschen), wodurch der Dataproc-Cluster gelöscht wird.