Menginstal dan menjalankan notebook Jupyter di cluster Dataproc

Tujuan

Tutorial ini menunjukkan cara menginstal komponen Jupyter Dataproc pada cluster baru, lalu terhubung ke UI notebook Jupyter yang berjalan di cluster dari browser lokal menggunakan Component Gateway Dataproc.

Catatan: Menjalankan tutorial ini akan dikenai biaya Google Cloud —lihat Harga Dataproc.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

• Dataproc
• Cloud Storage

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Sebelum memulai

Jika Anda belum melakukannya, buat Google Cloud project dan bucket Cloud Storage.

1. Menyiapkan project

   Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   Instal Google Cloud CLI.

   Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

   Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

   gcloud init

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   Instal Google Cloud CLI.

   Jika Anda menggunakan penyedia identitas (IdP) eksternal, Anda harus login ke gcloud CLI dengan identitas gabungan Anda terlebih dahulu.

   Untuk melakukan inisialisasi gcloud CLI, jalankan perintah berikut:

   gcloud init

2. Membuat bucket Cloud Storage di project Anda untuk menyimpan notebook yang Anda buat dalam tutorial ini.

   1. Di konsol Google Cloud , buka halaman Buckets Cloud Storage.

      Buka Buckets

   2. Klik Create.
   3. Di halaman Buat bucket, masukkan informasi bucket Anda. Untuk melanjutkan ke langkah berikutnya, klik Lanjutkan.
      1. Di bagian Mulai, lakukan tindakan berikut:
         • Masukkan nama yang unik secara global yang memenuhi persyaratan penamaan bucket.
         • Untuk menambahkan label bucket, luaskan bagian Label (), klik Tambahkan label, lalu tentukan key dan value untuk label Anda.
      2. Di bagian Pilih tempat untuk menyimpan data Anda, lakukan tindakan berikut:
         1. Pilih Jenis lokasi.
         2. Pilih lokasi tempat data bucket Anda disimpan secara permanen dari menu drop-down Location type.
            • Jika memilih jenis lokasi dual-region, Anda juga dapat memilih untuk mengaktifkan replikasi turbo dengan menggunakan kotak centang yang relevan.
         3. Untuk menyiapkan replikasi lintas bucket, pilih Add cross-bucket replication via Storage Transfer Service dan ikuti langkah-langkah berikut:

            Menyiapkan replikasi lintas bucket

            1. Di menu Bucket, pilih bucket.

            2. Di bagian Setelan replikasi, klik Konfigurasi untuk mengonfigurasi setelan bagi tugas replikasi.

               Panel Konfigurasi replikasi lintas bucket akan muncul.

               • Untuk memfilter objek yang akan direplikasi menurut awalan nama objek, masukkan awalan yang ingin Anda sertakan atau kecualikan objeknya, lalu klik Tambahkan awalan.
               • Untuk menetapkan kelas penyimpanan bagi objek yang direplikasi, pilih kelas penyimpanan dari menu Kelas penyimpanan. Jika Anda melewati langkah ini, objek yang direplikasi akan menggunakan kelas penyimpanan bucket tujuan secara default.
               • Klik Done.
      3. Di bagian Choose how to store your data, lakukan tindakan berikut:
         1. Pilih kelas penyimpanan default untuk bucket atau Autoclass untuk pengelolaan kelas penyimpanan otomatis untuk data bucket Anda.
         2. Untuk mengaktifkan namespace hierarkis, di bagian Optimalkan penyimpanan untuk beban kerja intensif data, pilih Aktifkan namespace hierarkis di bucket ini.
            Catatan: Anda tidak dapat mengaktifkan namespace hierarkis di bucket yang ada.
      4. Di bagian Pilih cara mengontrol akses ke objek, pilih apakah bucket Anda menerapkan pencegahan akses publik atau tidak, lalu pilih metode kontrol akses untuk objek bucket Anda.
         Catatan: Anda tidak dapat mengubah setelan Prevent public access jika setelan ini diterapkan di kebijakan organisasi.
      5. Di bagian Pilih cara melindungi data objek, lakukan tindakan berikut:
         • Pilih salah satu opsi di bagian Perlindungan data yang ingin Anda tetapkan untuk bucket Anda.
           • Untuk mengaktifkan penghapusan sementara, klik kotak centang Kebijakan penghapusan sementara (Untuk pemulihan data), dan tentukan jumlah hari Anda ingin mempertahankan objek setelah penghapusan.
           • Untuk menyetel Pembuatan Versi Objek, klik kotak centang Pembuatan versi objek (Untuk kontrol versi), dan tentukan jumlah maksimum versi per objek dan jumlah hari setelah versi lama berakhir.
           • Untuk mengaktifkan kebijakan retensi pada objek dan bucket, klik kotak centang Retensi (Untuk kepatuhan), lalu lakukan hal berikut:
             • Untuk mengaktifkan Penguncian Retensi Objek, centang kotak Aktifkan retensi objek.
             • Untuk mengaktifkan Bucket Lock, centang kotak Setel kebijakan retensi bucket, lalu pilih satuan waktu dan durasi untuk periode retensi data Anda.
         • Untuk memilih cara mengenkripsi data objek Anda, luaskan bagian Enkripsi data (), lalu pilih metode Enkripsi data.
   4. Klik Create.
   Notebook Anda akan disimpan di Cloud Storage di bagian gs://bucket-name/notebooks/jupyter.

Membuat cluster dan menginstal komponen Jupyter

Buat cluster dengan komponen Jupyter yang diinstal.

Catatan: Saat membuat cluster, tentukan nama bucket yang Anda buat di Sebelum memulai, langkah 2 (hanya tentukan nama bucket) sebagai staging bucket Dataproc (lihat Bucket staging dan sementara Dataproc untuk mengetahui petunjuk tentang cara menyetel bucket staging). Notebook Anda akan disimpan di Cloud Storage dalam gs://bucket-name/notebooks/jupyter.

Membuka UI Jupyter dan JupyterLab

Klik link Component Gateway konsolGoogle Cloud di konsol Google Cloud untuk membuka UI notebook Jupyter atau JupyterLab yang berjalan di cluster Anda

Direktori tingkat teratas yang ditampilkan oleh instance Jupyter Anda adalah direktori virtual yang memungkinkan Anda melihat konten bucket Cloud Storage atau sistem file lokal Anda. Anda dapat memilih salah satu lokasi dengan mengklik link GCS untuk Cloud Storage atau Local Disk untuk sistem file lokal node master di cluster Anda.

1. Klik link GCS. UI web notebook Jupyter menampilkan notebook yang disimpan di bucket Cloud Storage Anda, termasuk notebook yang Anda buat dalam tutorial ini.

Pembersihan

Setelah menyelesaikan tutorial, Anda dapat membersihkan resource yang dibuat agar tidak lagi menggunakan kuota dan menimbulkan tagihan. Bagian berikut menjelaskan cara menghapus atau menonaktifkan resource ini.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus cluster

• Untuk menghapus cluster Anda:

  gcloud dataproc clusters delete cluster-name \
      --region=${REGION}
  

Menghapus bucket

• Untuk menghapus bucket Cloud Storage yang Anda buat di bagian Sebelum memulai, langkah 2, termasuk notebook yang disimpan dalam bucket:

  gcloud storage rm gs://${BUCKET_NAME} --recursive
  

Langkah berikutnya

• Lihat Panduan Memulai Cepat Jupyter/IPython Notebook