インタラクティブ セッションとセッション テンプレートを作成する

このページでは、Apache Spark 向け Serverless のインタラクティブ セッションとセッション テンプレートを作成する方法について説明します。セッション テンプレートを使用すると、セッション テンプレートの構成に基づいて複数のインタラクティブ セッションを作成できます。

注: Apache Spark 向け Serverless のインタラクティブ セッションは、インタラクティブ ノートブックに関連付けられています。Jupyter ノートブックでのセッションの使用例については、サーバーレス バッチとインタラクティブ ノートブックのセッションに Dataproc JupyterLab プラグインを使用するをご覧ください。BigQuery Studio ノートブックでのセッションの使用例については、BigQuery Studio ノートブックで PySpark コードを実行するをご覧ください。

インタラクティブ セッションを作成する

Google Cloud CLI または Dataproc API を使用して、Serverless for Apache Spark のインタラクティブ セッションを作成できます。

gcloud

gcloud beta dataproc sessions create command SESSION_NAME を使用して、Apache Spark 向け Serverless のインタラクティブ セッションを作成できます。

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

以下を置き換えるか追加します。

• SESSION_ID: 必須。セッションの ID。

• REGION: 必須。セッションを配置する使用可能なリージョン。

• --version:（省略可）。サポートされている Spark ランタイム バージョン。このフラグを使用してバージョンを指定しない場合、現在のデフォルトの Spark ランタイム バージョンが使用されます。

• --container-image:（省略可）。セッションで使用するカスタム コンテナ イメージ。

• --property:（省略可）。セッションの 1 つ以上の Spark プロパティ（カンマ区切り）。

• --service-account:（省略可）。セッションに使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。

• --subnet:（省略可）。セッション リージョン内のサブネットの名前。指定しない場合、Apache Spark 向け Serverless はセッション リージョンの default サブネットを使用します。Apache Spark 向けサーバーレスは、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Google Cloud Apache Spark 用サーバーレス ネットワーク構成をご覧ください。

REST

Dataproc sessions.create API を使用して、Apache Spark 向け Serverless のインタラクティブ セッションを作成できます。

注:

• name: 必須。セッション名。

• version:（省略可）。セッションでサポートされている Spark ランタイム バージョンのいずれか。バージョンを指定しない場合、現在のデフォルト バージョンが使用されます。

• containerImage:（省略可）。セッションで使用するカスタム コンテナ イメージ。

• properties:（省略可）。セッション プロパティ名と値のマッピング。Spark プロパティをご覧ください。

• serviceAccount:（省略可）。セッションの実行に使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。

• subnetworkUri:（省略可）。セッション リージョン内のサブネットの名前。指定しない場合、Apache Spark 向け Serverless はセッション リージョンの default サブネットを使用します。Apache Spark 向けサーバーレスは、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Google Cloud Apache Spark 用サーバーレス ネットワーク構成をご覧ください。

セッション テンプレートを作成する

Apache Spark 向け Serverless セッション テンプレートは、1 つ以上の Apache Spark 向け Serverless インタラクティブ セッションを作成するための構成設定を定義します。 Google Cloud コンソール、gcloud CLI、または Dataproc API を使用して、Jupyter セッションまたは Spark Connect セッション用の Apache Spark セッション テンプレートのサーバーレスを作成できます。

注: BigQuery Studio ノートブックで、Serverless for Apache Spark セッション テンプレートからセッションを作成できます。このセクションでは、BigQuery Studio ノートブックで使用するようにテンプレートを構成する方法について説明します。

コンソール

Google Cloud コンソールを使用して Serverless for Apache Spark セッション テンプレートを作成するには、次の操作を行います。

1. Google Cloud コンソールで、[セッション テンプレート] ページに移動します。

   [セッション テンプレート] に移動

   1. [作成] をクリックします。

2. [セッション テンプレートの作成] ページで、テンプレート構成設定を入力または確認します。次の点にご注意ください。

   • テンプレート ランタイム ID: 必須。デフォルトの ID（名前）を使用するか、テンプレート ランタイム名を指定します。
   • Region: 必須。デフォルトのリージョンをそのまま使用するか、テンプレート セッションの使用可能なリージョンを指定します。
   • ランタイム バージョン: 省略可。選択可能なセッション ランタイムは、Apache Spark 向け Serverless のランタイム バージョンに対応しています。
     • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブックの Spark Connect セッションで使用するテンプレートを作成する場合は、Spark ランタイム バージョン 2.3 以降を使用する必要があります。
   • テンプレート構成タイプ: 必須。タイプを選択します。Jupyter を選択した場合は、表示名を指定し、Jupyter カーネルタイプを選択します。Apache Spark 向け Serverless で Jupyter ノートブックを起動するもご覧ください。
     • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッションでは、テンプレート構成タイプとして Spark Connect を指定する必要があります。
   • サービス アカウント: 省略可。テンプレート化されたセッションの実行に使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。
   • カスタム コンテナ イメージ: 省略可。テンプレート セッションで使用するカスタム コンテナ イメージ。
   • プロパティ: 省略可。テンプレート セッションに設定するプロパティごとに [アイテムを追加] をクリックします。詳細については、Spark プロパティをご覧ください。
   • ネットワーク構成: * 必須。セッション リージョンでサブネットワークを選択します。Apache Spark 向けサーバーレスは、指定されたサブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Google Cloud Apache Spark 用サーバーレス ネットワーク構成をご覧ください。

3. [送信] をクリックしてセッション テンプレートを作成します。

gcloud

gcloud CLI を使用して Serverless for Apache Spark セッション テンプレートを直接作成することはできませんが、gcloud beta dataproc session-templates import コマンドを使用して既存のセッション テンプレートをインポートできます。インポートしたテンプレートを編集し、gcloud beta dataproc session-templates export コマンドを使用してエクスポートできます。

REST

Dataproc sessionTemplates.create API を使用して、Apache Spark 用 Serverless セッション テンプレートを作成できます。

注:

• name: 必須。セッション テンプレート名。

• version:（省略可）。テンプレート化されたセッションでサポートされている Spark ランタイム バージョンのいずれか。バージョンを指定しない場合、デフォルトのバージョンが使用されます。

  • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブックの Spark Connect セッションで使用するテンプレートを作成する場合は、Spark ランタイム バージョン 2.3 以降を使用する必要があります。

• sessionConfig: jupyter_session または spark_connect_session のいずれかを指定します。jupyter_session を指定する場合は、JupyterConfig.display_name と JupyterConfig.kernel も指定します。Apache Spark 向け Serverless で Jupyter ノートブックを起動するもご覧ください。

  • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッションでは、テンプレート構成タイプとして Spark Connect を指定する必要があります。

• containerImage:（省略可）。テンプレート セッションで使用するカスタム コンテナ イメージ。

• properties:（省略可）。セッション プロパティ名と値のマッピング。Spark プロパティをご覧ください。

• serviceAccount:（省略可）。テンプレート化されたセッションの実行に使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。

• subnetworkUri:（省略可）。セッション リージョン内のサブネットの名前。指定しない場合、Apache Spark 向け Serverless はセッション リージョンの default サブネットを使用します。Apache Spark 向けサーバーレスは、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Google Cloud Apache Spark 用サーバーレス ネットワーク構成をご覧ください。