このページでは、Managed Service for Apache Spark のインタラクティブ セッションとセッション テンプレートを作成する方法について説明します。セッション テンプレートを使用すると、セッション テンプレート構成に基づいて複数のインタラクティブ セッションを作成できます。
インタラクティブ セッションを作成する
Google Cloud CLI または Managed Service for Apache Spark API を使用して、Managed Service for Apache Spark インタラクティブ セッションを作成できます。
gcloud
gcloud beta dataproc sessions create command SESSION_NAME を使用して、Managed Service for Apache Spark インタラクティブ セッションを作成できます。
gcloud beta dataproc sessions create spark SESSION_ID \ --location=REGION \ optional flags ...
以下を置き換えるか追加します。
SESSION_ID: 必須。セッションの ID。
REGION: 必須。セッションを配置する使用可能なリージョン 。
--version: 省略可。サポートされている Spark ランタイム バージョン。 このフラグを使用してバージョンを指定しない場合は、現在のデフォルトの Spark ランタイム バージョンが使用されます。--container-image: 省略可。セッションで使用するカスタム コンテナ イメージ 。--property: 省略可。セッションの 1 つ以上のカンマ区切りの Spark プロパティ 。--service-account: 省略可。セッションで使用するサービス アカウント 。指定しない場合は、 Compute Engine のデフォルト サービス アカウント が使用されます。--subnet: 省略可。セッション リージョンのサブネットの名前。指定しない場合、Managed Service for Apache Spark はセッション リージョンのdefaultサブネットを使用します。Managed Service for Apache Spark は、サブネットで プライベート Google アクセス(PGA)を有効にします。ネットワーク接続の要件については、 Managed Service for Apache Spark のネットワーク構成をご覧ください。
REST
Managed Service for Apache Spark
sessions.create
API を使用して、Managed Service for Apache Spark インタラクティブ セッションを作成できます。
注:
name: 必須。セッション名。version: 省略可。セッションでサポートされている Spark ランタイム バージョン 。バージョンを指定しない場合は、現在のデフォルト バージョンが使用されます。containerImage: 省略可。セッションで使用するカスタム コンテナ イメージ 。properties: 省略可。セッション プロパティ名と値のマッピング。 Spark プロパティをご覧ください。serviceAccount: 省略可。セッションの実行に使用する サービス アカウント 。指定しない場合は、 Compute Engine のデフォルト サービス アカウント が使用されます。subnetworkUri: 省略可。セッション リージョンのサブネットの名前。指定しない場合、Managed Service for Apache Spark はセッション リージョンのdefaultサブネットを使用します。Managed Service for Apache Spark は、サブネットで プライベート Google アクセス(PGA)を有効にします。ネットワーク接続の要件については、 Managed Service for Apache Spark のネットワーク構成をご覧ください。
セッション テンプレートを作成する
Managed Service for Apache Spark セッション テンプレートは、1 つ以上の Managed Service for Apache Spark インタラクティブ セッションを作成するための構成設定を定義します。コンソール、gcloud CLI、または Managed Service for Apache Spark API を使用して、Jupyter または Spark Connect セッション用の Managed Service for Apache Spark セッション テンプレートを作成できます。 Google Cloud
コンソール
コンソールを使用して Managed Service for Apache Spark セッション テンプレートを作成するには、次の操作を行います。 Google Cloud
コンソールで、[セッション テンプレート] ページに移動します。 Google Cloud
- [作成] をクリックします。
[セッション テンプレートを作成] ページで、テンプレート構成設定を入力または確認します。次の点にご注意ください。
- テンプレート ランタイム ID: 必須。デフォルトの ID(名前)を使用するか、テンプレート ランタイム名を指定します。
- リージョン: 必須。デフォルトのリージョンを使用するか、テンプレート セッションに使用可能なリージョンを指定します。
- ランタイム バージョン: 省略可。選択可能なセッション ランタイムは、 Managed Service for Apache Spark ランタイム バージョンに対応しています。
- テンプレート構成タイプ: 必須。タイプを選択します。
Jupyterを選択した場合は、表示名 を指定し、Jupyter カーネルタイプ を選択します。Managed Service for Apache Spark で Jupyter ノートブックを起動する もご覧ください。- BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッション では、テンプレート構成タイプとして Spark Connect を指定する必要があります。
- サービス アカウント: 省略可。テンプレート化されたセッションの実行に使用する サービス アカウント。指定しない場合は、 Compute Engine のデフォルト サービス アカウント が使用されます。
- カスタム コンテナ イメージ: 省略可。テンプレート化されたセッションで使用する カスタム コンテナ イメージ 。
- プロパティ: 省略可。テンプレート化されたセッションに設定するプロパティごとに [項目を追加] をクリックします。詳細については、 Spark プロパティをご覧ください。
- ネットワーク構成: 必須。 *セッション リージョンでサブネットワーク を選択します。Managed Service for Apache Spark は、 プライベート Google アクセス(PGA)を 指定されたサブネットで有効にします。ネットワーク接続の要件については、 Managed Service for Apache Spark のネットワーク構成をご覧ください。
[送信] をクリックして、セッション テンプレートを作成します。
gcloud
gcloud CLI を使用して Managed Service for Apache Spark セッション テンプレートを直接作成することはできませんが、gcloud beta dataproc session-templates import コマンドを使用して既存のセッション テンプレートをインポートできます。インポートしたテンプレートを編集し、gcloud beta dataproc session-templates export コマンドを使用してエクスポートできます。
REST
Managed Service for Apache Spark
sessionTemplates.create
API を使用して、Managed Service for Apache Spark セッション テンプレートを作成できます。
注:
name: 必須。セッション テンプレート名。version: 省略可。テンプレート化されたセッションでサポートされている Spark ランタイム バージョン 。バージョンを指定しない場合は、デフォルト バージョンが使用されます。sessionConfig:jupyter_sessionまたはspark_connect_sessionを指定します。jupyter_sessionを指定する場合は、JupyterConfig.display_nameとJupyterConfig.kernelも指定します。 Managed Service for Apache Spark で Jupyter ノートブックを起動する もご覧ください。- BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッションでは、テンプレート構成タイプとして Spark Connectを指定する必要があります。
containerImage: 省略可。テンプレート化されたセッションで使用するカスタム コンテナ イメージ 。properties: 省略可。セッション プロパティ名と値のマッピング。 Spark プロパティをご覧ください。serviceAccount: 省略可。テンプレート化されたセッションの実行に使用する サービス アカウント 。指定しない場合は、 Compute Engine のデフォルト サービス アカウント が使用されます。subnetworkUri: 省略可。セッション リージョンのサブネットの名前。指定しない場合、Managed Service for Apache Spark はセッション リージョンのdefaultサブネットを使用します。Managed Service for Apache Spark は、サブネットで プライベート Google アクセス(PGA)を有効にします。ネットワーク接続の要件については、 Managed Service for Apache Spark のネットワーク構成をご覧ください。