インタラクティブ セッションとセッション テンプレートを作成する

このページでは、Serverless for Apache Spark インタラクティブ セッションと セッション テンプレートを作成する方法について説明します。セッション テンプレートを使用すると、セッション テンプレートの構成に基づいて複数の インタラクティブ セッションを作成できます。

注: Serverless for Apache Spark インタラクティブ セッションは、 インタラクティブ ノートブックに関連付けられています。Jupyter ノートブックでのセッションの使用例については、 サーバーレス バッチとインタラクティブ ノートブックのセッションに Dataproc JupyterLab プラグインを使用するをご覧ください。BigQuery Studio ノートブックでのセッションの使用例については、BigQuery Studio ノートブックで PySpark コードを実行するをご覧ください。

インタラクティブ セッションを作成する

Google Cloud CLI または Dataproc API を使用して、Serverless for Apache Spark インタラクティブ セッションを作成できます。

gcloud

gcloud beta dataproc sessions create command SESSION_NAME を使用して Serverless for Apache Spark インタラクティブ セッションを作成できます。

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

以下を置き換えるか、追加します。

• SESSION_ID: 必須。セッションの ID。

• REGION: 必須。セッションを配置する使用可能なリージョン 。

• --version: 省略可。サポートされている Spark ランタイム バージョン。 このフラグを使用してバージョンを指定しない場合は、現在のデフォルト Spark ランタイム バージョンが使用されます。

• --container-image: 省略可。セッションに使用するカスタム コンテナ イメージ 。

• --property: 省略可。セッションの 1 つ以上のカンマ区切りの Spark プロパティ 。

• --service-account: 省略可。セッションに使用するサービス アカウント 。指定しない場合は、 Compute Engine のデフォルトのサービス アカウント が使用されます。

• --subnet: 省略可。セッション リージョンのサブネットの名前。指定しない場合、 Serverless for Apache Spark はセッション リージョンの default サブネットを使用します。Serverless for Apache Spark は、サブネットで プライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、 Google Cloud Serverless for Apache Spark のネットワーク構成をご覧ください。

REST

Dataproc sessions.create API を使用して、Serverless for Apache Spark インタラクティブ セッションを作成できます。

注:

• name: 必須。セッション名。

• version: 省略可。セッションでサポートされている Spark ランタイム バージョン 。バージョンを指定しない場合は、現在のデフォルト バージョンが使用されます。

• containerImage: 省略可。セッションに使用するカスタム コンテナ イメージ 。

• properties: 省略可。セッション プロパティ名と値のマッピング。 Spark プロパティをご覧ください。

• serviceAccount: 省略可。セッションの実行に使用する サービス アカウント 。指定しない場合は、 Compute Engine のデフォルトのサービス アカウント が使用されます。

• subnetworkUri: 省略可。セッション リージョンのサブネットの名前。指定しない場合、 Serverless for Apache Spark はセッション リージョンの default サブネットを使用します。Serverless for Apache Spark は、サブネットで プライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、 Google Cloud Serverless for Apache Spark のネットワーク構成をご覧ください。

セッション テンプレートを作成する

Serverless for Apache Spark セッション テンプレートは、1 つ以上の Serverless for Apache Spark インタラクティブ セッションを作成するための構成設定を定義します。コンソール、gcloud CLI、または Dataproc API を使用して、Jupyter または Spark Connect セッションの Serverless for Apache Spark セッション テンプレートを作成できます。 Google Cloud

注: Serverless for Apache Spark セッション テンプレートから BigQuery Studio ノートブックでセッションを作成できます。このセクションでは BigQuery Studio ノートブックで使用するようにテンプレートを構成する方法について説明します。

Console

コンソールを使用して Serverless for Apache Spark セッション テンプレートを作成するには、次の操作を行います。 Google Cloud

1. コンソールで、[セッション テンプレート] ページに移動します。 Google Cloud

   [セッション テンプレート] に移動

   1. [Create] をクリックします。

2. [セッション テンプレートを作成] ページで、テンプレート構成設定を入力または確認します。次の点にご留意ください。

   • テンプレート ランタイム ID: 必須。デフォルトの ID（名前）を使用するか、 テンプレート ランタイム名を指定します。
   • リージョン: 必須。デフォルトのリージョンを使用するか、テンプレート セッションに使用可能なリージョンを指定します。
   • ランタイム バージョン: 省略可。選択可能なセッション ランタイムは、 Serverless for Apache Spark ランタイム バージョンに対応しています。
     • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブックの Spark Connect セッションで使用するテンプレートを作成する場合は、Spark ランタイム バージョン 2.3 以降を使用する必要があります。
   • テンプレート構成タイプ: 必須。タイプを選択します。 `Jupyter` を選択した場合は、**表示名** を指定し、**Jupyter カーネルタイプ** を選択します。 Serverless for Apache Spark で Jupyter ノートブックを起動するもご覧ください。
     • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッション では、テンプレート構成タイプとして Spark Connect を指定する必要があります。
   • サービス アカウント: 省略可。テンプレート化されたセッションの実行に使用する サービス アカウント。指定しない場合は、 Compute Engine のデフォルトのサービス アカウント が使用されます。
   • カスタム コンテナ イメージ: 省略可。テンプレート化されたセッションに使用する カスタム コンテナ イメージ 。
   • プロパティ: 省略可。テンプレート化されたセッションに設定するプロパティごとに [**項目を追加**] をクリックします。詳細については、 Spark プロパティをご覧ください。
   • ネットワーク構成: * 必須。セッション リージョンでサブネットワーク を選択します。Serverless for Apache Spark は、 プライベート Google アクセス（PGA）を指定されたサブネットで有効にします。ネットワーク接続の要件については、 Google Cloud Serverless for Apache Spark のネットワーク構成をご覧ください。

3. [**送信**] をクリックして、セッション テンプレートを作成します。

gcloud

gcloud CLI を使用して Serverless for Apache Spark セッション テンプレートを直接作成することはできませんが、gcloud beta dataproc session-templates import コマンドを使用して既存のセッション テンプレートをインポートできます。インポートしたテンプレートを編集し、 gcloud beta dataproc session-templates export コマンドを使用してエクスポートできます。

REST

Dataproc sessionTemplates.create API を使用して、Serverless for Apache Spark セッション テンプレートを作成できます。

注:

• name: 必須。セッション テンプレート名。

• version: 省略可。テンプレート化されたセッションでサポートされている Spark ランタイム バージョン 。バージョンを指定しない場合は、デフォルト バージョンが使用されます。

  • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブックの Spark Connect セッションで使用するテンプレートを作成する場合は、Spark ランタイム バージョン 2.3 以降を使用する必要があります。

• sessionConfig: jupyter_session または spark_connect_session を指定します。 jupyter_session を指定する場合は、 JupyterConfig.display_name と JupyterConfig.kernel も指定します。 Serverless for Apache Spark で Jupyter ノートブックを起動する もご覧ください。

  • BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッションでは、テンプレート構成タイプとして Spark Connectを指定する必要があります。

• containerImage: 省略可。テンプレート化されたセッションに使用するカスタム コンテナ イメージ 。

• properties: 省略可。セッション プロパティ名と値のマッピング。 Spark プロパティをご覧ください。

• serviceAccount: 省略可。テンプレート化されたセッションの実行に使用する サービス アカウント 。指定しない場合は、 Compute Engine のデフォルトのサービス アカウント が使用されます。

• subnetworkUri: 省略可。セッション リージョンのサブネットの名前。指定しない場合、 Serverless for Apache Spark はセッション リージョンの default サブネットを使用します。Serverless for Apache Spark は、サブネットで プライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、 Google Cloud Serverless for Apache Spark のネットワーク構成をご覧ください。