Membuat sesi interaktif dan template sesi

Halaman ini menunjukkan cara membuat sesi interaktif Managed Service untuk Apache Spark dan template sesi. Template sesi dapat digunakan untuk membuat beberapa sesi interaktif berdasarkan konfigurasi template sesi.

Catatan: Sesi interaktif Managed Service untuk Apache Spark dikaitkan dengan notebook interaktif. Untuk contoh penggunaan sesi dengan notebook Jupyter, lihat Menggunakan plugin JupyterLab Managed Service untuk Apache Spark untuk sesi notebook interaktif dan batch serverless. Untuk contoh penggunaan sesi di notebook BigQuery Studio, lihat Menjalankan kode PySpark di notebook BigQuery Studio.

Membuat sesi interaktif

Anda dapat menggunakan Google Cloud CLI atau Managed Service untuk Apache Spark API untuk membuat sesi interaktif Managed Service untuk Apache Spark.

gcloud

Anda dapat menggunakan gcloud beta dataproc sessions create command SESSION_NAME untuk membuat sesi interaktif Managed Service untuk Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Ganti atau tambahkan kode berikut:

• SESSION_ID: Wajib diisi. ID untuk sesi.

• REGION: Wajib diisi. Region yang tersedia untuk menemukan sesi Anda.

• --version: Opsional. Versi runtime Spark yang didukung. Jika Anda tidak menggunakan tanda ini untuk menentukan versi, versi runtime Spark default saat ini akan digunakan.

• --container-image: Opsional. Image container kustom yang akan digunakan untuk sesi Anda.

• --property: Opsional. Satu atau beberapa properti Spark yang dipisahkan koma untuk sesi Anda.

• --service-account: Opsional. Akun layanan yang akan digunakan untuk sesi Anda. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.

• --subnet: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Managed Service untuk Apache Spark akan menggunakan subnet default di region sesi. Managed Service untuk Apache Spark mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.

REST

Anda dapat menggunakan Managed Service untuk Apache Spark sessions.create API untuk membuat sesi interaktif Managed Service untuk Apache Spark.

Catatan:

• name: Wajib diisi. Nama sesi.

• version: Opsional. Salah satu versi runtime Spark yang didukung untuk sesi Anda. Jika Anda tidak menentukan versi, versi default saat ini akan digunakan.

• containerImage: Opsional. Image container kustom yang akan digunakan untuk sesi Anda.

• properties: Opsional. Pemetaan nama properti sesi ke nilai. Lihat Properti Spark.

• serviceAccount: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi Anda. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.

• subnetworkUri: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Managed Service untuk Apache Spark akan menggunakan subnet default di region sesi. Managed Service untuk Apache Spark mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.

Membuat template sesi

Template sesi Managed Service untuk Apache Spark menentukan setelan konfigurasi untuk membuat satu atau beberapa sesi interaktif Managed Service untuk Apache Spark. Anda dapat menggunakan konsol Google Cloud , gcloud CLI, atau Managed Service untuk Apache Spark API untuk membuat template sesi Managed Service untuk Apache Spark untuk sesi Jupyter atau Spark Connect.

Catatan: Anda dapat membuat sesi di notebook BigQuery Studio dari template sesi Managed Service untuk Apache Spark. Bagian ini menjelaskan cara mengonfigurasi template untuk menggunakannya di notebook BigQuery Studio.

Konsol

Untuk membuat template sesi Managed Service untuk Apache Spark menggunakan Google Cloud konsol, selesaikan langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Session Templates.

   Buka Template Sesi

   1. Klik Create.

2. Di halaman Create session template, masukkan atau konfirmasi setelan konfigurasi template. Perhatikan hal berikut:

   • ID runtime template: Wajib diisi. Terima ID (nama) default atau tentukan nama runtime template.
   • Wilayah: Wajib. Terima wilayah default atau tentukan wilayah yang tersedia untuk sesi template.
   • Versi runtime: Opsional. Runtime sesi yang dapat dipilih sesuai dengan versi runtime Managed Service untuk Apache Spark.
     • Persyaratan sesi notebook BigQuery Studio: Jika Anda membuat template untuk digunakan pada sesi Spark Connect notebook BigQuery Studio, template tersebut harus menggunakan Spark runtime versi 2.3+.
   • Jenis konfigurasi template: Wajib diisi. Pilih jenis. Jika Anda memilih Jupyter, tentukan Nama tampilan dan pilih Jenis kernel Jupyter. Lihat juga Meluncurkan notebook Jupyter di Managed Service untuk Apache Spark.
     • Persyaratan sesi notebook BigQuery Studio: Sesi notebook BigQuery Studio harus menentukan Spark Connect sebagai jenis konfigurasi template.
   • Akun layanan: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi yang dibuat dari template. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.
   • Image container kustom: Opsional. Image container kustom yang akan digunakan untuk sesi yang dibuat dengan template.
   • Properti: Opsional. Klik Tambahkan Item untuk setiap properti yang akan ditetapkan untuk sesi berbasis template Anda. Untuk mengetahui informasi selengkapnya, lihat Properti Spark.
   • Konfigurasi jaringan: * Wajib. Pilih subnetwork di region sesi. Managed Service untuk Apache Spark mengaktifkan Akses Google Pribadi (PGA) di subnet yang ditentukan. Untuk persyaratan konektivitas jaringan, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.

3. Klik Submit untuk membuat template sesi.

gcloud

Anda tidak dapat membuat template sesi Managed Service untuk Apache Spark secara langsung menggunakan gcloud CLI, tetapi Anda dapat menggunakan perintah gcloud beta dataproc session-templates import untuk mengimpor template sesi yang ada. Anda dapat mengedit template yang diimpor, lalu mengekspornya menggunakan perintah gcloud beta dataproc session-templates export.

REST

Anda dapat menggunakan Managed Service untuk Apache Spark sessionTemplates.create API untuk membuat template sesi Managed Service untuk Apache Spark.

Catatan:

• name: Wajib. Nama template sesi.

• version: Opsional. Salah satu versi runtime Spark yang didukung untuk sesi yang dibuat dari template. Jika Anda tidak menentukan versi, versi default akan digunakan.

  • Persyaratan sesi notebook BigQuery Studio: Jika Anda membuat template untuk digunakan pada sesi Spark Connect notebook BigQuery Studio, template tersebut harus menggunakan Spark runtime versi 2.3+.

• sessionConfig: Tentukan jupyter_session atau spark_connect_session. Jika Anda menentukan jupyter_session, tentukan juga JupyterConfig.display_name dan JupyterConfig.kernel. Lihat juga Meluncurkan notebook Jupyter di Managed Service untuk Apache Spark.

  • Persyaratan sesi notebook BigQuery Studio: Sesi notebook BigQuery Studio harus menentukan Spark Connect sebagai jenis konfigurasi template.

• containerImage: Opsional. Image container kustom yang akan digunakan untuk sesi yang dibuat dengan template.

• properties: Opsional. Pemetaan nama properti sesi ke nilai. Lihat Properti Spark.

• serviceAccount: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi yang dibuat dari template. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.

• subnetworkUri: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Managed Service untuk Apache Spark akan menggunakan subnet default di region sesi. Managed Service untuk Apache Spark mengaktifkan Akses Google Pribadi (PGA) di subnet. Untuk persyaratan konektivitas jaringan, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.