Menggunakan ekstensi JupyterLab untuk mengembangkan workload Spark serverless

Dokumen ini menjelaskan cara menginstal dan menggunakan ekstensi JupyterLab di mesin atau VM yang dikelola sendiri yang memiliki akses ke layanan Google. Panduan ini juga menjelaskan cara mengembangkan dan men-deploy kode notebook Spark serverless.

Instal ekstensi dalam hitungan menit untuk memanfaatkan fitur berikut:

  • Luncurkan notebook Spark & BigQuery serverless untuk mengembangkan kode dengan cepat
  • Menjelajahi dan melihat pratinjau set data BigQuery di JupyterLab
  • Mengedit file Cloud Storage di JupyterLab
  • Menjadwalkan notebook di Composer

Menggunakan Google Cloud Data Agent Kit: Selain JupyterLab, Anda juga dapat mengembangkan dan mengelola workload Managed Service untuk Apache Spark di VS Code menggunakan Data Agent Kit. Data Agent Kit memungkinkan Anda mengelola seluruh siklus proses workload data di IDE atau menggunakan CLI agentic yang didukung, termasuk membangun pipeline data.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that you have the permissions required to complete this guide.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Dataproc API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  6. Install the Google Cloud CLI.

  7. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  8. To initialize the gcloud CLI, run the following command: 

    gcloud init

  9. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  10. Verify that you have the permissions required to complete this guide.

  11. Verify that billing is enabled for your Google Cloud project.

  12. Enable the Dataproc API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  13. Install the Google Cloud CLI.

  14. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

  15. To initialize the gcloud CLI, run the following command: 

    gcloud init

Peran yang diperlukan

Peran IAM tertentu diperlukan untuk menjalankan contoh di halaman ini. Bergantung pada kebijakan organisasi, peran ini mungkin sudah diberikan. Untuk memeriksa pemberian peran, lihat Apakah Anda perlu memberikan peran?.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran pengguna

Untuk mendapatkan izin yang Anda perlukan untuk membuat sesi notebook interaktif, minta administrator untuk memberi Anda peran IAM berikut:

Peran akun layanan

Untuk memastikan bahwa akun layanan default Compute Engine memiliki izin yang diperlukan untuk membuat sesi interaktif, minta administrator Anda untuk memberikan peran IAM Dataproc Worker (roles/dataproc.worker) ke akun layanan default Compute Engine di project.

Menginstal ekstensi JupyterLab

Anda dapat menginstal dan menggunakan ekstensi JupyterLab di mesin atau VM yang memiliki akses ke layanan Google, seperti mesin lokal atau instance VM Compute Engine.

Untuk menginstal ekstensi, ikuti langkah-langkah berikut:

  1. Download dan instal Python versi 3.11 atau yang lebih baru dari python.org/downloads.

    • Verifikasi penginstalan Python 3.11+. 
      python3 --version

  2. Membuat virtualisasi lingkungan Python. 

    pip3 install pipenv

    • Buat folder penginstalan. 
      mkdir jupyter
    • Ubah ke folder penginstalan. 
      cd jupyter
    • Membuat lingkungan virtual. 
      pipenv shell

  3. Instal JupyterLab di lingkungan virtual. 

    pipenv install jupyterlab

  4. Instal ekstensi JupyterLab. 

    pipenv install bigquery-jupyter-plugin

  5. Mulai JupyterLab. 

    jupyter lab

    1. Halaman Launcher JupyterLab akan terbuka di browser Anda. Halaman ini berisi bagian Dataproc Jobs and Sessions. Bagian ini juga dapat berisi bagian Dataproc Serverless Notebooks dan Dataproc Cluster Notebooks jika Anda memiliki akses ke notebook atau cluster Managed Service untuk Apache Spark dengan komponen opsional Jupyter yang berjalan di project Anda.

      Halaman browser peluncur JupyterLab

    2. Secara default, sesi interaktif Anda berjalan dalam project dan region yang Anda tetapkan saat menjalankan gcloud init di Sebelum memulai. Anda dapat mengubah setelan project dan region untuk sesi Anda dari JupyterLab Settings > Google Cloud Settings > Google Cloud Project Settings.

      Anda harus memulai ulang ekstensi agar perubahan diterapkan.

Membuat template runtime Managed Service untuk Apache Spark

Template runtime Managed Service untuk Apache Spark (disebut profil runtime di halaman Runtime Profiles di konsolGoogle Cloud dan template sesi di Google Cloud CLI dan Dataproc API) berisi setelan konfigurasi untuk mengeksekusi kode Spark dalam sesi. Anda dapat membuat dan mengelola template runtime menggunakan JupyterLab, konsolGoogle Cloud , atau Google Cloud CLI.

JupyterLab

  1. Klik kartu New runtime template di bagian Dataproc Serverless Notebooks di halaman Launcher JupyterLab.

  2. Isi formulir Runtime template.

    • Info Template:

      • Display name, Runtime ID, dan Description: Terima atau isi nama tampilan template, ID runtime template, dan deskripsi template.

    • Execution Configuration: Pilih User Account untuk menjalankan notebook dengan identitas pengguna, bukan identitas akun layanan Dataproc.

      • Service Account: Jika Anda tidak menentukan akun layanan, akun layanan default Compute Engine akan digunakan.
      • Runtime version: Konfirmasi atau pilih versi runtime 2.3.
      • Image container kustom: Secara opsional, tentukan URI image container kustom.
      • Staging Bucket: Anda dapat menentukan nama bucket staging Cloud Storage untuk digunakan oleh Managed Service untuk Apache Spark.
      • Repositori paket Python: Secara default, paket Python didownload dan diinstal dari cache pull-through PyPI saat pengguna menjalankan perintah penginstalan pip di notebook mereka. Anda dapat menentukan repositori artefak pribadi organisasi Anda untuk paket Python yang akan digunakan sebagai repositori paket Python default.

    • Encryption: Terima Google-owned and Google-managed encryption key default atau pilih Customer-managed encryption key (CMEK). Jika CMEK, pilih atau berikan informasi kunci.

    • Network Configuration: Pilih subnetwork dalam project atau yang dibagikan dari project host (Anda dapat mengubah project dari JupyterLab Settings > Google Cloud Settings > Google Cloud setelan project. Anda dapat menentukan tag jaringan untuk diterapkan ke jaringan yang ditentukan. Perhatikan bahwa Managed Service untuk Apache Spark mengaktifkan Akses Google Pribadi (PGA) di subnet yang ditentukan. Untuk persyaratan konektivitas jaringan, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.

    • Konfigurasi Sesi: Anda dapat mengisi kolom ini untuk membatasi durasi sesi yang dibuat dengan template.

      • Waktu tidak ada aktivitas maksimum: Waktu tidak ada aktivitas maksimum sebelum sesi dihentikan. Rentang yang diizinkan: 10 menit hingga 336 jam (14 hari).
      • Waktu sesi maksimum: Masa aktif maksimum sesi sebelum sesi dihentikan. Rentang yang diizinkan: 10 menit hingga 336 jam (14 hari).

    • Metastore: Untuk menggunakan layanan Dataproc Metastore dengan sesi Anda, pilih project ID dan layanan metastore.

    • Persistent History Server: Anda dapat memilih Persistent Spark History Server yang tersedia untuk memungkinkan Anda mengakses log sesi selama dan setelah sesi.

    • Properti Spark: Anda dapat memilih, lalu menambahkan properti Alokasi Resource, Penskalaan Otomatis, atau GPU Spark. Klik Add Property untuk menambahkan properti Spark lainnya. Untuk mengetahui informasi selengkapnya, lihat Properti Spark.

    • Label: Klik Tambahkan Label untuk setiap label yang akan ditetapkan pada sesi yang dibuat dengan template.

  3. Klik Save untuk membuat template.

  4. Untuk melihat atau menghapus template runtime.

    1. Klik Setelan > Google Cloud Setelan.

    2. Bagian Dataproc Settings > Serverless Runtime Templates menampilkan daftar template runtime.

      Daftar template runtime

      • Klik nama template untuk melihat detail template.
      • Anda dapat menghapus template dari menu Action untuk template tersebut.

  5. Buka dan muat ulang halaman Launcher JupyterLab untuk melihat kartu template notebook yang disimpan di halaman Launcher JupyterLab.

gcloud

  1. Buat file YAML dengan konfigurasi template runtime Anda.

    YAML Sederhana

    environmentConfig:
  executionConfig:
    networkUri: default
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
description: Team A Development Environment

    YAML Kompleks

    description: Example session template
environmentConfig:
  executionConfig:
    serviceAccount: sa1
    # Choose either networkUri or subnetworkUri
    networkUri:
    subnetworkUri: default
    networkTags:
     - tag1
    kmsKey: key1
    idleTtl: 3600s
    ttl: 14400s
    stagingBucket: staging-bucket
  peripheralsConfig:
    metastoreService: projects/my-project-id/locations/us-central1/services/my-metastore-id
    sparkHistoryServerConfig:
      dataprocCluster: projects/my-project-id/regions/us-central1/clusters/my-cluster-id
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
runtimeConfig:
  version: "2.3"
  containerImage: gcr.io/my-project-id/my-image:1.0.1
  properties:
    "p1": "v1"
description: Team A Development Environment

  2. Buat template sesi (profil runtime) dari file YAML Anda dengan menjalankan perintah gcloud beta dataproc session-templates import berikut secara lokal atau di Cloud Shell: 

    gcloud beta dataproc session-templates import TEMPLATE_ID \
    --source=YAML_FILE \
    --project=PROJECT_ID \
    --location=REGION

Meluncurkan dan mengelola notebook

Setelah menginstal ekstensi JupyterLab Managed Service untuk Apache Spark, Anda dapat mengklik kartu template di halaman Peluncur JupyterLab untuk:

Meluncurkan notebook Jupyter

Bagian Dataproc Serverless Notebooks di halaman Peluncur JupyterLab menampilkan kartu template notebook yang dipetakan ke template runtime Managed Service untuk Apache Spark (lihat Membuat template runtime Managed Service untuk Apache Spark).

  1. Klik kartu untuk membuat sesi Managed Service untuk Apache Spark dan meluncurkan notebook. Setelah pembuatan sesi selesai dan kernel notebook siap digunakan, status kernel akan berubah dari Starting menjadi Idle (Ready).

  2. Menulis dan menguji kode notebook.

    1. Salin dan tempel kode PySpark Pi estimation berikut di sel notebook PySpark, lalu tekan Shift+Return untuk menjalankan kode. 

      import random
    
def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1
    
count = sc.parallelize(range(0, 10000)) .filter(inside).count()
print("Pi is roughly %f" % (4.0 * count / 10000))

      Hasil notebook:

  3. Setelah membuat dan menggunakan notebook, Anda dapat menghentikan sesi notebook dengan mengklik Shut Down Kernel dari tab Kernel.

    • Untuk menggunakan kembali sesi, buat notebook baru dengan memilih Notebook dari menu File>>New. Setelah notebook baru dibuat, pilih sesi yang ada dari dialog pemilihan kernel. Notebook baru akan menggunakan kembali sesi dan mempertahankan konteks sesi dari notebook sebelumnya.

  4. Jika Anda tidak menghentikan sesi, Managed Service untuk Apache Spark akan menghentikan sesi saat timer tidak ada aktivitas sesi berakhir. Anda dapat mengonfigurasi waktu tidak ada aktivitas sesi di konfigurasi template runtime. Waktu tidak ada aktivitas sesi default adalah satu jam.

Meluncurkan notebook di cluster

Jika Anda membuat cluster Jupyter Managed Service untuk Apache Spark, halaman Peluncur JupyterLab berisi bagian Notebook Cluster Dataproc dengan kartu kernel yang telah diinstal sebelumnya.

Untuk meluncurkan notebook Jupyter di cluster Managed Service untuk Apache Spark di Compute Engine:

  1. Klik kartu di bagian Dataproc Cluster Notebook.

  2. Saat status kernel berubah dari Starting menjadi Idle (Ready), Anda dapat mulai menulis dan mengeksekusi kode notebook.

  3. Setelah membuat dan menggunakan notebook, Anda dapat menghentikan sesi notebook dengan mengklik Shut Down Kernel dari tab Kernel.

Mengelola file input dan output di Cloud Storage

Menganalisis data eksplorasi dan membangun model ML sering kali melibatkan input dan output berbasis file. Managed Service untuk Apache Spark mengakses file ini di Cloud Storage.

  • Untuk mengakses browser Cloud Storage, klik ikon browser Cloud Storage di sidebar halaman Peluncur JupyterLab, lalu klik dua kali folder untuk melihat kontennya.

  • Anda dapat mengklik jenis file yang didukung Jupyter untuk membuka dan mengeditnya. Saat Anda menyimpan perubahan pada file, perubahan tersebut akan ditulis ke Cloud Storage.

  • Untuk membuat folder Cloud Storage baru, klik ikon folder baru, lalu masukkan nama folder.

  • Untuk mengupload file ke bucket atau folder Cloud Storage, klik ikon upload, lalu pilih file yang akan diupload.

Mengembangkan kode notebook Spark

Setelah menginstal ekstensi JupyterLab, Anda dapat meluncurkan notebook Jupyter dari halaman Peluncur JupyterLab untuk mengembangkan kode aplikasi.

Pengembangan kode PySpark dan Python

Cluster Managed Service untuk Apache Spark mendukung kernel PySpark dan Python.

Pengembangan kode SQL

Untuk membuka notebook PySpark guna menulis dan mengeksekusi kode SQL, di halaman Launcher JupyterLab, di bagian Dataproc Serverless Notebooks atau Dataproc Cluster Notebook, klik kartu kernel PySpark.

Spark SQL magic: Karena kernel PySpark yang meluncurkan Dataproc Serverless Notebooks telah dimuat sebelumnya dengan Spark SQL magic, Anda dapat mengetik %%sparksql magic di bagian atas sel, lalu mengetik pernyataan SQL di sel, alih-alih menggunakan spark.sql('SQL STATEMENT').show() untuk menggabungkan pernyataan SQL.

BigQuery SQL: Konektor BigQuery Spark memungkinkan kode notebook Anda memuat data dari tabel BigQuery, melakukan analisis di Spark, lalu menulis hasilnya ke tabel BigQuery.

Managed Service untuk Apache Spark 2.2 dan runtime yang lebih baru menyertakan konektor BigQuery Spark. Jika Anda menggunakan runtime yang lebih lama untuk meluncurkan notebook Managed Service untuk Apache Spark, Anda dapat menginstal Spark BigQuery Connector dengan menambahkan properti Spark berikut ke template runtime Managed Service untuk Apache Spark:

spark.jars: gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.25.2.jar

Pengembangan kode Scala

Cluster Managed Service untuk Apache Spark yang dibuat dengan versi image 2.0 dan yang lebih baru menyertakan Apache Toree, kernel Scala untuk platform Jupyter Notebook yang menyediakan akses interaktif ke Spark.

  • Klik kartu Apache Toree di bagian Dataproc cluster Notebook di halaman Launcher JupyterLab untuk membuka notebook untuk pengembangan kode Scala.

    Gambar 1. Kartu kernel Apache Toree di halaman JupyterLab Launcher.

Mengembangkan kode dengan ekstensi Visual Studio Code

Anda dapat menggunakan ekstensi Google Cloud Visual Studio Code (VS Code) untuk melakukan hal berikut:

  • Mengembangkan dan menjalankan kode Spark di notebook Managed Service untuk Apache Spark.

  • Membuat dan mengelola profil runtime Managed Service untuk Apache Spark (template sesi), sesi interaktif, dan workload batch.

Ekstensi Visual Studio Code ini gratis, tetapi Anda akan dikenai biaya untuk setiap layananGoogle Cloud , termasuk Managed Service untuk Apache Spark, Managed Service untuk Apache Spark, dan resource Cloud Storage yang Anda gunakan.

Menggunakan VS Code dengan BigQuery: Anda juga dapat menggunakan VS Code dengan BigQuery untuk melakukan hal berikut:

  • Mengembangkan dan menjalankan notebook BigQuery.
  • Menjelajahi, memeriksa, dan melihat pratinjau set data BigQuery.

Sebelum memulai

  1. Download dan instal VS Code.
  2. Buka VS Code, lalu di panel aktivitas, klik Extensions.

  3. Dengan menggunakan kotak penelusuran, temukan ekstensi Jupyter, lalu klik Install. Ekstensi Jupyter dari Microsoft adalah dependensi yang diperlukan.

    Daftar ekstensi Jupyter di konsol VS Code.

Menginstal ekstensi Google Cloud

  1. Buka VS Code, lalu di panel aktivitas, klik Extensions.

  2. Dengan menggunakan kotak penelusuran, temukan ekstensi Google Cloud Code, lalu klik Install.

    Ekstensi Google Cloud Code di konsol VS Code.

  3. Jika diminta, mulai ulang VS Code.

Ikon Google Cloud Code kini terlihat di activity bar VS Code.

Mengonfigurasi ekstensi

  1. Buka VS Code, lalu di panel aktivitas, klik Google Cloud Code.
  2. Buka bagian Dataproc.
  3. Klik Login to Google Cloud. Anda akan dialihkan untuk login dengan kredensial Anda.
  4. Gunakan taskbar aplikasi tingkat atas untuk membuka Code > Settings > Settings > Extensions.
  5. Temukan Google Cloud Code, lalu klik ikon Manage untuk membuka menu.
  6. Pilih Setelan.
  7. Di kolom Project dan Managed Service for Apache Spark Region, masukkan nama project Google Cloud dan region yang akan digunakan untuk mengembangkan notebook dan mengelola resource Managed Service untuk Apache Spark.

Mengembangkan notebook

  1. Buka VS Code, lalu di panel aktivitas, klik Google Cloud Code.
  2. Buka bagian Notebooks, lalu klik New Serverless Spark Notebook.
  3. Pilih atau buat profil runtime baru (template sesi) yang akan digunakan untuk sesi notebook.

  4. File .ipynb baru yang berisi kode contoh akan dibuat dan dibuka di editor.

    Notebook Serverless Spark baru di konsol VS Code.

    Sekarang Anda dapat menulis dan mengeksekusi kode di notebook Managed Service untuk Apache Spark.

Membuat dan mengelola resource

  1. Buka VS Code, lalu di panel aktivitas, klik Google Cloud Code.

  2. Buka bagian Dataproc, lalu klik nama resource berikut:

    • Cluster: Membuat dan mengelola cluster dan tugas.

    • Serverless: Membuat dan mengelola workload batch dan sesi interaktif.

    • Template Runtime Spark: Membuat dan mengelola profil runtime (template sesi).

    Resource Dataproc yang tercantum di konsol VS Code.

Penjelajah set data

Gunakan penjelajah Set Data JupyterLab untuk melihat set data metastore BigLake.

Untuk membuka JupyterLab Dataset Explorer, klik ikonnya di sidebar.

Anda dapat menelusuri database, tabel, atau kolom di Dataset explorer. Klik nama database, tabel, atau kolom untuk melihat metadata terkait.

Men-deploy kode Anda

Setelah menginstal ekstensi JupyterLab, Anda dapat menggunakan JupyterLab untuk:

  • Menjalankan kode notebook Anda di infrastruktur Managed Service untuk Apache Spark

  • Menjadwalkan eksekusi notebook di Managed Service untuk Apache Airflow

  • Mengirim tugas batch ke infrastruktur Managed Service untuk Apache Spark atau ke cluster Managed Service untuk Apache Spark Anda.

Menjadwalkan eksekusi notebook di Managed Airflow

Selesaikan langkah-langkah berikut untuk menjadwalkan kode notebook Anda di Managed Airflow agar berjalan sebagai tugas batch di Managed Service untuk Apache Spark atau di cluster Managed Service untuk Apache Spark.

  1. Membuat lingkungan Managed Airflow.

  2. Klik tombol Job Scheduler di kanan atas notebook.

  3. Isi formulir Create A Scheduled Job untuk memberikan informasi berikut:

    • Nama unik untuk tugas eksekusi notebook
    • Lingkungan Managed Airflow yang akan digunakan untuk men-deploy notebook
    • Parameter input jika notebook diparameterisasi
    • Template runtime serverless atau cluster Managed Service untuk Apache Spark yang akan digunakan untuk menjalankan notebook
      • Jika cluster dipilih, apakah akan menghentikan cluster setelah notebook selesai dieksekusi di cluster
    • Jumlah percobaan ulang dan penundaan percobaan ulang dalam menit jika eksekusi notebook gagal pada percobaan pertama
    • Notifikasi eksekusi yang akan dikirim dan daftar penerima. Notifikasi dikirim menggunakan konfigurasi SMTP Airflow.
    • Jadwal eksekusi notebook

  4. Klik Create.

  5. Setelah notebook berhasil dijadwalkan, nama tugas akan muncul dalam daftar tugas terjadwal di lingkungan Managed Airflow.

Mengirim tugas batch ke Managed Service untuk Apache Spark

  • Klik kartu Serverless di bagian Dataproc Jobs and Sessions pada halaman Launcher JupyterLab.

  • Klik tab Batch, lalu klik Create Batch dan isi kolom Batch Info.

  • Klik Submit untuk mengirimkan tugas.

Mengirim tugas batch ke cluster Managed Service untuk Apache Spark

  • Klik kartu Clusters di bagian Dataproc Jobs and Sessions pada halaman Launcher JupyterLab.

  • Klik tab Jobs, lalu klik Submit Job.

  • Pilih Cluster, lalu isi kolom Job.

  • Klik Submit untuk mengirimkan tugas.

Melihat dan mengelola resource

Setelah menginstal ekstensi JupyterLab, Anda dapat melihat dan mengelola Managed Service untuk Apache Spark dan Managed Service untuk Apache Spark dari bagian Dataproc Jobs and Sessions di halaman Launcher JupyterLab.

Klik bagian Dataproc Jobs and Sessions untuk menampilkan kartu Clusters dan Serverless.

Untuk melihat dan mengelola sesi Managed Service untuk Apache Spark:

  1. Klik kartu Serverless.
  2. Klik tab Sessions, lalu ID sesi untuk membuka halaman Session details guna melihat properti sesi, melihat log Google Cloud di Logs Explorer, dan menghentikan sesi. Catatan: Sesi Managed Service untuk Apache Spark yang unik dibuat untuk meluncurkan setiap notebook Managed Service untuk Apache Spark.

Untuk melihat dan mengelola batch Managed Service untuk Apache Spark:

  1. Klik tab Batches untuk melihat daftar batch Managed Service untuk Apache Spark di project dan region saat ini. Klik ID batch untuk melihat detail batch.

Untuk melihat dan mengelola cluster Managed Service untuk Apache Spark:

  1. Klik kartu Clusters. Tab Clusters dipilih untuk mencantumkan cluster Managed Service untuk Apache Spark yang aktif di project dan region saat ini. Anda dapat mengklik ikon di kolom Actions untuk memulai, menghentikan, atau memulai ulang cluster. Klik nama cluster untuk melihat detail cluster. Anda dapat mengklik ikon di kolom Actions untuk meng-clone, menghentikan, atau menghapus tugas.

Untuk melihat dan mengelola tugas Managed Service untuk Apache Spark:

  1. Klik kartu Jobs untuk melihat daftar tugas dalam project saat ini. Klik ID pekerjaan untuk melihat detail tugas.