Menggunakan Dataproc Hub

Notebook yang dikelola pengguna Dataproc Hub dan Vertex AI Workbench tidak digunakan lagi. Pada 30 Januari 2025, dukungan untuk notebook yang dikelola pengguna akan berakhir dan kemampuan untuk membuat instance notebook yang dikelola pengguna akan dihapus. Untuk solusi notebook alternatif di Google Cloud, lihat:

• Menginstal komponen Jupyter di cluster Managed Service untuk Apache Spark.
• Membuat instance Vertex AI Workbench yang mendukung Managed Service untuk Apache Spark.

Tujuan

1. Menggunakan Dataproc Hub untuk membuat lingkungan notebook JupyterLab satu pengguna yang berjalan di cluster Managed Service untuk Apache Spark.

2. Membuat notebook dan menjalankan tugas Spark di cluster Managed Service untuk Apache Spark.

3. Menghapus cluster dan menyimpan notebook di Cloud Storage.

Sebelum memulai

1. Administrator harus memberi Anda izin notebooks.instances.use (lihat Menetapkan peran Identity and Access Management (IAM)).

Membuat cluster Dataproc JupyterLab dari Dataproc Hub

1. Pilih tab User-Managed Notebooks di halaman Dataproc→Workbench di Google Cloud konsol.

2. Klik Open JupyterLab di baris yang mencantumkan instance Dataproc Hub yang dibuat oleh administrator.

   1. Jika Anda tidak memiliki akses ke Google Cloud konsol, masukkan URL instance Dataproc Hub yang dibagikan administrator kepada Anda di browser web.

3. Di halaman Jupyterhub→Dataproc Options, pilih konfigurasi cluster dan zona. Jika diaktifkan, tentukan penyesuaian apa pun, lalu klik Create.

   

   Setelah cluster Managed Service untuk Apache Spark dibuat, Anda akan dialihkan ke antarmuka JupyterLab yang berjalan di cluster.

Membuat notebook dan menjalankan tugas Spark

1. Di panel kiri antarmuka JupyterLab, klik GCS (Cloud Storage).

2. Buat notebook PySpark dari peluncur JupyterLab.

   

3. Kernel PySpark menginisialisasi SparkContext (menggunakan variabel sc). Anda dapat memeriksa SparkContext dan menjalankan tugas Spark dari notebook.

   rdd = (sc.parallelize(['lorem', 'ipsum', 'dolor', 'sit', 'amet', 'lorem'])
          .map(lambda word: (word, 1))
          .reduceByKey(lambda a, b: a + b))
   print(rdd.collect())
   

   

4. Beri nama dan simpan notebook. Notebook akan disimpan dan tetap berada di Cloud Storage setelah cluster Managed Service untuk Apache Spark dihapus.

Matikan cluster Dataproc

1. Dari antarmuka JupyterLab, pilih File→Hub Control Panel untuk membuka halaman Jupyterhub.

   Saat menggunakan Managed Service untuk Apache Spark versi image 1.4 atau yang lebih lama, buka /hub/home untuk mengakses halaman Jupyterhub.

2. Klik Stop My Cluster untuk menonaktifkan (menghapus) server JupyterLab, yang akan menghapus cluster Managed Service untuk Apache Spark.

   Menghentikan server dan menghapus cluster tidak akan menghapus instance Dataproc Hub. Anda dapat mengklik Start my server di halaman Jupyterhub (Hub Control Panel) atau memilih link Open JupyterLab untuk instance Dataproc Hub Anda di halaman Dataproc→Workbench→User-Managed Notebooks di Google Cloud konsol untuk membuka, mengonfigurasi, dan membuat cluster Managed Service untuk Apache Spark JupyterLab lainnya.

Langkah berikutnya

• Pelajari Spark dan Jupyter Notebooks di Dataproc di GitHub.