Dataproc Hub の使用

Dataproc Hub と Vertex AI Workbench ユーザー管理ノートブックは非推奨になりました。2025 年 1 月 30 日にユーザー管理ノートブックのサポートが終了し、ユーザー管理ノートブック インスタンスを作成する機能が削除されます。 Google Cloudでの代替ノートブック ソリューションについては、以下をご覧ください。

• Dataproc クラスタに Jupyter コンポーネントをインストールする。
• Dataproc が有効になっている Vertex AI Workbench インスタンスを作成します。

Dataproc Hub から Dataproc JupyterLab クラスタを作成する

1. Google Cloud コンソールの [Dataproc] → [ワークベンチ] ページで、[ユーザー管理のノートブック] タブを選択します。

2. 管理者が作成した Dataproc Hub インスタンスが一覧表示される行の [JupyterLab を開く] をクリックします。

   1. Google Cloud コンソールへのアクセス権がない場合は、管理者が共有している Dataproc Hub インスタンスの URL をウェブブラウザで入力します。

3. [Jupyterhub] → [Dataproc Options] ページで、クラスタ構成とゾーンを選択します。有効である場合は、カスタマイズを指定して、[Create] をクリックします。

   

   Dataproc クラスタが作成されると、クラスタ上で実行されている JupyterLab インターフェースにリダイレクトされます。

ノートブックを作成して Spark ジョブを実行する

1. JupyterLab インターフェースの左パネルで GCS（Cloud Storage）をクリックします。

2. JupyterLab ランチャーから PySpark ノートブックを作成します。

   

3. PySpark カーネルは（sc 変数を使用して）SparkContext を初期化します。SparkContext を調べて、ノートブックから Spark ジョブを実行できます。

   rdd = (sc.parallelize(['lorem', 'ipsum', 'dolor', 'sit', 'amet', 'lorem'])
          .map(lambda word: (word, 1))
          .reduceByKey(lambda a, b: a + b))
   print(rdd.collect())
   

   

4. ノートブックに名前を付けて保存します。ノートブックが保存され、Dataproc クラスタの削除後も Cloud Storage に残ります。

Dataproc クラスタをシャットダウンする

1. JupyterLab インターフェースから、[File] → [Hub Control Panel] を選択して、[Jupyterhub] ページを開きます。

   Dataproc イメージ バージョン 1.4 以前を使用している場合は、/hub/home に移動して [Jupyterhub] ページにアクセスします。

2. [Stop My Cluster] をクリックして、JupyterLab サーバーをシャットダウン（削除）し、Dataproc クラスタを削除します。

   サーバーを停止してクラスタを削除しても、Dataproc Hub インスタンスは削除されません。[JupyterHub]（Hub Control Panel）ページの [Start my server] をクリックするか、 Google Cloud コンソールの [Dataproc] → [ワークベンチ] → [ユーザー管理のノートブック] ページで Dataproc Hub インスタンスの [JupyterLab を開く] リンクを選択して、構成を開いて別の Dataproc JupyterLab クラスタを作成します。