このページでは、Managed Service for Apache Spark のインタラクティブ セッションとセッション テンプレートを作成する方法について説明します。セッション テンプレートを使用すると、セッション テンプレートの構成に基づいて複数のインタラクティブ セッションを作成できます。
インタラクティブ セッションを作成する
Managed Service for Apache Spark のインタラクティブ セッションを作成するには、Google Cloud CLI または Managed Service for Apache Spark API を使用します。
gcloud
gcloud beta dataproc sessions create command SESSION_NAME を使用して、Managed Service for Apache Spark のインタラクティブ セッションを作成できます。
gcloud beta dataproc sessions create spark SESSION_ID \ --location=REGION \ optional flags ...
次のように置き換えるか追加します。
SESSION_ID: 必須。セッションの ID。
REGION: 必須。セッションを配置する使用可能なリージョン。
--version:（省略可）。サポートされている Spark ランタイム バージョン。このフラグを使用してバージョンを指定しない場合は、現在のデフォルトの Spark ランタイム バージョンが使用されます。--container-image:（省略可）。セッションで使用するカスタム コンテナ イメージ。--property:（省略可）。セッションの 1 つ以上の Spark プロパティ（カンマ区切り）。--service-account:（省略可）。セッションに使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。--subnet:（省略可）。セッション リージョン内のサブネットの名前。指定しない場合、Managed Service for Apache Spark はセッション リージョンのdefaultサブネットを使用します。Managed Service for Apache Spark は、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Managed Service for Apache Spark のネットワーク構成をご覧ください。
REST
Managed Service for Apache Spark sessions.create API を使用して、Managed Service for Apache Spark のインタラクティブ セッションを作成できます。
注:
name: 必須。セッション名。version:（省略可）。セッションでサポートされている Spark ランタイム バージョンのいずれか。バージョンを指定しない場合、現在のデフォルト バージョンが使用されます。containerImage:（省略可）。セッションで使用するカスタム コンテナ イメージ。properties:（省略可）。セッション プロパティ名と値のマッピング。Spark プロパティをご覧ください。serviceAccount:（省略可）。セッションの実行に使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。subnetworkUri:（省略可）。セッション リージョン内のサブネットの名前。指定しない場合、Managed Service for Apache Spark はセッション リージョンのdefaultサブネットを使用します。Managed Service for Apache Spark は、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Managed Service for Apache Spark のネットワーク構成をご覧ください。
セッション テンプレートを作成する
Managed Service for Apache Spark セッション テンプレートは、1 つ以上の Managed Service for Apache Spark インタラクティブ セッションを作成するための構成設定を定義します。 Google Cloud コンソール、gcloud CLI、または Managed Service for Apache Spark API を使用して、Jupyter セッションまたは Spark Connect セッションの Managed Service for Apache Spark セッション テンプレートを作成できます。
コンソール
Google Cloud コンソールを使用して Managed Service for Apache Spark セッション テンプレートを作成するには、次の操作を行います。
Google Cloud コンソールで、[セッション テンプレート] ページに移動します。
- [作成] をクリックします。
[セッション テンプレートの作成] ページで、テンプレート構成の設定を入力または確認します。次の点にご注意ください。
- テンプレート ランタイム ID: 必須。デフォルトの ID（名前）をそのまま使用するか、テンプレート ランタイム名を指定します。
- リージョン: 必須。デフォルトのリージョンをそのまま使用するか、テンプレート セッションの使用可能なリージョンを指定します。
- ランタイム バージョン: 省略可。選択可能なセッション ランタイムは、Managed Service for Apache Spark ランタイム バージョンに対応しています。
- BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブックの Spark Connect セッションで使用するテンプレートを作成する場合は、Spark ランタイム バージョン 2.3 以降を使用する必要があります。
- テンプレート構成タイプ: 必須。タイプを選択します。
Jupyterを選択した場合は、表示名を指定し、Jupyter カーネルタイプを選択します。Managed Service for Apache Spark で Jupyter ノートブックを起動するもご覧ください。- BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッションでは、テンプレート構成タイプとして Spark Connect を指定する必要があります。
- サービス アカウント: 省略可。テンプレート化されたセッションの実行に使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。
- カスタム コンテナ イメージ: 省略可。テンプレート化されたセッションで使用するカスタム コンテナ イメージ。
- プロパティ: 省略可。テンプレート セッションに設定するプロパティごとに [アイテムを追加] をクリックします。詳細については、Spark プロパティをご覧ください。
- ネットワーク構成: * 必須。セッション リージョンのサブネットワークを選択します。Managed Service for Apache Spark は、指定されたサブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Managed Service for Apache Spark のネットワーク構成をご覧ください。
[送信] をクリックしてセッション テンプレートを作成します。
gcloud
gcloud CLI を使用して Managed Service for Apache Spark セッション テンプレートを直接作成することはできませんが、gcloud beta dataproc session-templates import コマンドを使用して既存のセッション テンプレートをインポートできます。インポートしたテンプレートを編集してから、gcloud beta dataproc session-templates export コマンドを使用してエクスポートできます。
REST
Managed Service for Apache Spark sessionTemplates.create API を使用して、Managed Service for Apache Spark セッション テンプレートを作成できます。
注:
name: 必須。セッション テンプレート名。version:（省略可）。テンプレート化されたセッションでサポートされている Spark ランタイム バージョンのいずれか。バージョンを指定しない場合、デフォルトのバージョンが使用されます。- BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブックの Spark Connect セッションで使用するテンプレートを作成する場合は、Spark ランタイム バージョン 2.3 以降を使用する必要があります。
sessionConfig:jupyter_sessionまたはspark_connect_sessionを指定します。jupyter_sessionを指定する場合は、JupyterConfig.display_nameとJupyterConfig.kernelも指定します。Managed Service for Apache Spark で Jupyter ノートブックを起動するもご覧ください。- BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッションでは、テンプレート構成タイプとして Spark Connect を指定する必要があります。
containerImage:（省略可）。テンプレート セッションで使用するカスタム コンテナ イメージ。properties:（省略可）。セッション プロパティ名と値のマッピング。Spark プロパティをご覧ください。serviceAccount:（省略可）。テンプレート化されたセッションの実行に使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。subnetworkUri:（省略可）。セッション リージョン内のサブネットの名前。指定しない場合、Managed Service for Apache Spark はセッション リージョンのdefaultサブネットを使用します。Managed Service for Apache Spark は、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Managed Service for Apache Spark のネットワーク構成をご覧ください。