クラスタに Jupyter ノートブックをインストールして実行する

目標

このチュートリアルでは、新しいクラスタに Managed Service for Apache Spark Jupyter コンポーネント をインストールし、Managed Service for Apache Spark コンポーネント ゲートウェイを使用して、ローカル ブラウザから クラスタ上で実行されている Jupyter ノートブック UI に接続する方法を示します。

**注:** このチュートリアルを実行すると、 Google Cloud の料金が発生します。詳しくは、 Managed Service for Apache Spark の料金をご覧ください。

費用

このドキュメントでは、 の次の課金対象コンポーネントを使用します Google Cloud：

• Managed Service for Apache Spark
• Cloud Storage

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを生成できます。

新規の Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。

始める前に

Google Cloud プロジェクトと Cloud Storage バケットをまだ作成していない場合は、作成します。

1. プロジェクトを設定する

   アカウントにログインします。 Google Cloud を初めて使用する場合は、 アカウントを作成して、 実際のシナリオでプロダクトがどのように機能するかを評価してください。 Google Cloud新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   Google Cloud CLI をインストールします。

   外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

   gcloud CLI を初期化するには、次のコマンドを実行します:

   gcloud init

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   Google Cloud CLI をインストールします。

   外部 ID プロバイダ（IdP）を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

   gcloud CLI を初期化するには、次のコマンドを実行します:

   gcloud init

2. プロジェクトに Cloud Storage バケット を作成 して、このチュートリアルで作成するノートブックを保存します。

   1. コンソールで、Cloud Storage の Google Cloud [バケット] ページに移動します。

      [バケット] に移動

   2. [ [Create]] をクリックします。
   3. [バケットの作成] ページでユーザーのバケット情報を入力します。次のステップに進むには、[続行] をクリックします。
      1. [スタートガイド] セクションで、次の操作を行います。
         • バケット名の要件を満たす、グローバルに一意の名前を入力します。
         • バケットラベルを追加するには、[ラベル] セクション（）を開き、[ラベルを追加] をクリックして、key と value を指定します。
      2. [データの保存場所の選択] セクションで、次の操作を行います。
         1. ロケーション タイプを選択してください。
         2. [Location type] プルダウン メニューから、バケットのデータが永続的に保存されるロケーションを選択します。
            • ロケーション タイプとして [デュアルリージョン] を選択した場合は、関連するチェックボックスを使用して [ターボ レプリケーション] を有効にすることもできます。
         3. クロスバケット レプリケーションを設定するには、 [Storage Transfer Service 経由でクロスバケット レプリケーションを追加する] を選択し、 次の手順を実施します:

            クロスバケット レプリケーションを設定する

            1. [バケット] メニューで、バケットを選択します。

            2. [レプリケーション設定] セクションで、[構成] をクリックして、レプリケーション ジョブの設定を構成します。

               [**クロスバケット レプリケーションを構成する**] ペインが表示されます。

               • オブジェクト名の接頭辞で複製するオブジェクトをフィルタするには、 オブジェクトを追加または除外する接頭辞を入力し、 [接頭辞を追加] をクリックします。
               • 複製されたオブジェクトのストレージ クラスを設定するには、 [Storage class] メニューからストレージ クラスを選択します。 この手順をスキップすると、複製されたオブジェクトはデフォルトで宛先バケットのストレージ クラスを使用します。
               • [完了] をクリックします。
      3. [データの保存場所の選択] セクションで、次の操作を行います。
         1. バケットのデフォルトのストレージ クラスを選択するか、バケットデータのストレージ クラスを自動的に管理するAutoclassを選択します。
         2. 階層名前空間を有効にするには、 [データ量が多いワークロード向けにストレージを最適化] セクションで、 [このバケットで階層的な名前空間を有効にする] を選択します。
            注: 既存の バケットで階層名前空間を有効にすることはできません。
      4. In the [オブジェクトへのアクセスを制御する方法を選択する] セクションで、バケットに 公開アクセスの防止 を適用するかどうかを選択し、バケットのオブジェクトに使用する アクセス制御方法 を選択します。
         **注:** 組織のポリシーでこの設定が適用されている場合、[**公開アクセスの防止**] 設定を変更することはできません。
      5. [オブジェクト データを保護する方法を選択する] セクションで、次の操作を行います。
         • [**データ保護**] で、バケットに設定するオプションを選択します。
           • 削除（復元可能）を有効にするには、 [削除（復元可能）ポリシー（データ復旧用）] チェックボックスをオンにして、 削除後にオブジェクトを保持する日数を指定します。
           • オブジェクトのバージョニングを設定するには、 [オブジェクトのバージョニング（バージョン管理用）] チェックボックスをオンにして、 オブジェクトごとの最大バージョン数と、非現行バージョンが期限切れになるまでの日数を指定します。
           • オブジェクトとバケットの保持ポリシーを有効にするには、[保持（コンプライアンス用）] チェックボックスをオンにして、次の操作を行います。
             • [オブジェクト保持ロック]を有効にするには、 [オブジェクト保持を有効にする]チェックボックスをオンにします。
             • [Bucket Lock] を有効にするには、[バケット保持ポリシーを設定する] チェックボックスをオンにして、保持期間の単位と保持期間を選択します。
         • オブジェクト データの暗号化方法を選択するには、 [データ暗号化] セクション（）を開き、 [データの暗号化] 方法を選択します。
   4. [作成] をクリックします。
   ノートブックは Cloud Storage の gs://bucket-name/notebooks/jupyterに保存されます。

クラスタを作成して Jupyter コンポーネントをインストールする

Jupyter コンポーネントがインストールされたクラスタを作成します。

注: クラスタを作成するときに、 始める前にの手順 2 で作成したバケットの名前（ バケットの名前のみを指定）を Managed Service for Apache Spark staging bucket として指定します（ Dataproc のステージング バケットと一時バケット でステージング バケットの設定手順を参照してください）。ノートブックは Cloud Storage の gs://bucket-name/notebooks/jupyter に保存されます。

Jupyter と JupyterLab の UI を開く

Google Cloud コンソールで Google Cloud コンソール コンポーネント ゲートウェイのリンクをクリックして、クラスタで実行されている Jupyter ノートブックまたは JupyterLab の UI を開きます。

Jupyter インスタンスに表示される最上位ディレクトリは、Cloud Storage バケットまたはローカル ファイル システムの内容を表示できる仮想ディレクトリです。Cloud Storage の場合は [GCS] リンク、クラスタ内のマスターノードのローカル ファイル システムの場合は [ローカル ディスク] をクリックして、いずれかの場所を選択できます。

1. [GCS] リンクをクリックします。Jupyter ノートブックのウェブ UI には、このチュートリアルで作成したノートブックを含め、Cloud Storage バケットに保存されているノートブックが表示されます。

クリーンアップ

チュートリアルが終了したら、作成したリソースをクリーンアップして、割り当ての使用を停止し、課金されないようにできます。次のセクションで、リソースを削除または無効にする方法を説明します。

プロジェクトの削除

課金されないようにする最も簡単な方法は、チュートリアル用に作成したプロジェクトを削除することです。

プロジェクトを削除するには:

注意 : プロジェクトを削除すると、次の影響があります。

• プロジェクト内のすべてのものが削除されます。既存のプロジェクトを使用してこのドキュメントのタスクを行った場合、そのプロジェクトを削除すると、プロジェクト内で行った他の作業もすべて削除されます。
• カスタム プロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタム プロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（例: appspot.com）を保持するには、プロジェクト全体ではなく、プロジェクト内の選択したリソースだけを削除します。

複数のアーキテクチャ、チュートリアル、クイックスタートを実施する予定がある場合は、プロジェクトを再利用すると プロジェクトの割り当て上限を超えないようにすることができます。

1. コンソールで [**リソースの管理**] ページに移動します。 Google Cloud

   [リソースの管理] に移動

2. プロジェクト リストで、削除するプロジェクトを選択し、[削除] をクリックします。
3. ダイアログでプロジェクト ID を入力し、 [Shut down] をクリックしてプロジェクトを削除します。

クラスタの削除

• クラスタを削除するには:

  gcloud dataproc clusters delete cluster-name \
      --region=${REGION}
  

バケットを削除する

• バケットに保存されているノートブックを含め、始める前にの手順 2 で作成した Cloud Storage バケットを削除するには:

  gcloud storage rm gs://${BUCKET_NAME} --recursive
  

次のステップ

• Jupyter ノートブック、IPython ノートブックのクイックスタート ガイドを確認する