Membuat sesi interaktif dan template sesi

Halaman ini menunjukkan cara membuat sesi interaktif dan template sesi Managed Service untuk Apache Spark. Template sesi dapat digunakan untuk membuat beberapa sesi interaktif berdasarkan konfigurasi template sesi.

Catatan: Sesi interaktif Managed Service untuk Apache Spark dikaitkan dengan notebook interaktif. Untuk mengetahui contoh penggunaan sesi dengan notebook Jupyter, lihat Menggunakan plugin JupyterLab Managed Service untuk Apache Spark untuk sesi notebook interaktif dan batch serverless. Untuk mengetahui contoh penggunaan sesi di notebook BigQuery Studio, lihat Menjalankan kode PySpark di notebook BigQuery Studio.

Membuat sesi interaktif

Anda dapat menggunakan Google Cloud CLI atau Managed Service untuk Apache Spark API untuk membuat sesi interaktif Managed Service untuk Apache Spark.

gcloud

Anda dapat menggunakan gcloud beta dataproc sessions create command SESSION_NAME untuk membuat sesi interaktif Managed Service untuk Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Ganti atau tambahkan hal berikut:

• SESSION_ID: Wajib diisi. ID untuk sesi.

• REGION: Wajib diisi. Region yang tersedia untuk menemukan sesi Anda.

• --version: Opsional. Versi runtime Spark yang didukung . Jika Anda tidak menggunakan flag ini untuk menentukan versi, versi runtime Spark default saat ini akan digunakan.

• --container-image: Opsional. Image container kustom yang akan digunakan untuk sesi Anda.

• --property: Opsional. Satu atau beberapa properti Spark yang dipisahkan koma untuk sesi Anda.

• --service-account: Opsional. Akun layanan yang akan digunakan untuk sesi Anda. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.

• --subnet: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Managed Service untuk Apache Spark akan menggunakan subnet default di region sesi. Managed Service untuk Apache Spark mengaktifkan Private Google Access (PGA) di subnet. Untuk mengetahui persyaratan konektivitas jaringan, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.

REST

Anda dapat menggunakan Managed Service untuk Apache Spark sessions.create API untuk membuat sesi interaktif Managed Service untuk Apache Spark.

Catatan:

• name: Wajib diisi. Nama sesi.

• version: Opsional. Versi runtime Spark yang didukung untuk sesi Anda. Jika Anda tidak menentukan versi, versi default saat ini akan digunakan.

• containerImage: Opsional. Image container kustom yang akan digunakan untuk sesi Anda.

• properties: Opsional. Pemetaan nama properti sesi ke nilai. Lihat Properti Spark.

• serviceAccount: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi Anda. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.

• subnetworkUri: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Managed Service untuk Apache Spark akan menggunakan subnet default di region sesi. Managed Service untuk Apache Spark mengaktifkan Private Google Access (PGA) di subnet. Untuk mengetahui persyaratan konektivitas jaringan, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.

Membuat template sesi

Template sesi Managed Service untuk Apache Spark menentukan setelan konfigurasi untuk membuat satu atau beberapa sesi interaktif Managed Service untuk Apache Spark. Anda dapat menggunakan konsol Google Cloud , gcloud CLI, atau Managed Service untuk Apache Spark API untuk membuat template sesi Managed Service untuk Apache Spark untuk sesi Jupyter atau Spark Connect.

Catatan: Anda dapat membuat sesi di notebook BigQuery Studio dari template sesi Managed Service untuk Apache Spark. Bagian ini menjelaskan cara mengonfigurasi template untuk menggunakannya di notebook BigQuery Studio.

Konsol

Untuk membuat template sesi Managed Service untuk Apache Spark menggunakan Google Cloud konsol, selesaikan langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman Session Templates.

   Buka Session Templates

   1. Klik Create.

2. Di halaman Create session template, masukkan atau konfirmasi setelan konfigurasi template. Perhatikan hal berikut:

   • Template runtime ID: Wajib diisi. Terima ID (nama) default atau tentukan nama runtime template.
   • Region: Wajib diisi. Terima region default atau tentukan region yang tersedia untuk sesi template.
   • Runtime version: Opsional. Runtime sesi yang dapat dipilih sesuai dengan versi runtime Managed Service untuk Apache Spark.
     • Persyaratan sesi notebook BigQuery Studio: Jika Anda membuat template untuk digunakan untuk sesi Spark Connect notebook BigQuery Studio, template tersebut harus menggunakan versi runtime Spark 2.3+.
   • Template configuration type: Wajib diisi. Pilih jenis. Jika Anda memilih Jupyter, tentukan Display name dan pilih Jupyter kernel type. Lihat juga Meluncurkan notebook Jupyter di Managed Service untuk Apache Spark.
     • Persyaratan sesi notebook BigQuery Studio: Sesi notebook BigQuery Studio harus menentukan Spark Connect sebagai jenis konfigurasi template.
   • Service account: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi yang dibuat dari template. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.
   • Custom container image: Opsional. Image container kustom yang akan digunakan untuk sesi yang dibuat dari template.
   • Properties: Opsional. Klik Add Item untuk setiap properti yang akan ditetapkan untuk sesi yang dibuat dari template. Untuk mengetahui informasi selengkapnya, lihat Properti Spark.
   • Network configuration: * Wajib diisi. Pilih subnetwork di region sesi. Managed Service untuk Apache Spark mengaktifkan Private Google Access (PGA) di subnet yang ditentukan. Untuk mengetahui persyaratan konektivitas jaringan, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.

3. Klik Submit untuk membuat template sesi.

gcloud

Anda tidak dapat langsung membuat template sesi Managed Service untuk Apache Spark menggunakan gcloud CLI, tetapi Anda dapat menggunakan perintah gcloud beta dataproc session-templates import untuk mengimpor template sesi yang ada. Anda dapat mengedit template yang diimpor, lalu mengekspornya menggunakan perintah gcloud beta dataproc session-templates export.

REST

Anda dapat menggunakan Managed Service untuk Apache Spark sessionTemplates.create API untuk membuat template sesi Managed Service untuk Apache Spark.

Catatan:

• name: Wajib diisi. Nama template sesi.

• version: Opsional. Versi runtime Spark yang didukung untuk sesi yang dibuat dari template. Jika Anda tidak menentukan versi, versi default akan digunakan.

  • Persyaratan sesi notebook BigQuery Studio: Jika Anda membuat template untuk digunakan untuk sesi Spark Connect notebook BigQuery Studio, template tersebut harus menggunakan versi runtime Spark 2.3+.

• sessionConfig: Tentukan jupyter_session atau spark_connect_session. Jika Anda menentukan jupyter_session, tentukan juga JupyterConfig.display_name dan JupyterConfig.kernel. Lihat juga Meluncurkan notebook Jupyter di Managed Service untuk Apache Spark.

  • Persyaratan sesi notebook BigQuery Studio: Sesi notebook BigQuery Studio harus menentukan Spark Connect sebagai jenis konfigurasi template.

• containerImage: Opsional. Image container kustom yang akan digunakan untuk sesi yang dibuat dari template.

• properties: Opsional. Pemetaan nama properti sesi ke nilai. Lihat Properti Spark.

• serviceAccount: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi yang dibuat dari template. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.

• subnetworkUri: Opsional. Nama subnet di region sesi. Jika tidak ditentukan, Managed Service untuk Apache Spark akan menggunakan subnet default di region sesi. Managed Service untuk Apache Spark mengaktifkan Private Google Access (PGA) di subnet. Untuk mengetahui persyaratan konektivitas jaringan, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.