Menggunakan plugin JupyterLab BigQuery

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Untuk meminta masukan atau dukungan terkait fitur ini, kirim email ke [e-mail].

Dengan plugin BigQuery JupyterLab, Anda dapat menjelajahi set data dan menggunakan BigQuery DataFrames API langsung dari lingkungan pengembangan lokal Anda. Dengan mengintegrasikan plugin ini ke dalam alur kerja, Anda dapat mengelola notebook, mengembangkan dengan Apache Spark, dan men-deploy kode ke Managed Service untuk Apache Airflow.

Plugin JupyterLab BigQuery mencakup semua fungsi plugin JupyterLab Managed Service untuk Apache Spark.

Menginstal plugin JupyterLab BigQuery

Untuk menginstal dan menggunakan plugin JupyterLab BigQuery, ikuti langkah-langkah berikut:

1. Di terminal lokal, pastikan Anda telah menginstal Python 3.8 atau yang lebih baru di sistem:

   python3 --version
   

2. Menginstal gcloud CLI.

3. Di terminal lokal Anda, lakukan inisialisasi gcloud CLI:

   gcloud init
   

4. Instal Pipenv, alat lingkungan virtual Python:

   pip3 install pipenv
   

5. Buat lingkungan virtual baru:

   pipenv shell
   

6. Instal JupyterLab di lingkungan virtual baru:

   pipenv install jupyterlab
   

7. Instal plugin JupyterLab BigQuery:

   pipenv install bigquery-jupyter-plugin
   

8. Jika versi JupyterLab yang Anda instal lebih lama dari 4.0.0, aktifkan ekstensi plugin:

   jupyter server extension enable bigquery_jupyter_plugin
   

9. Luncurkan JupyterLab:

   jupyter lab
   

   JupyterLab akan terbuka di browser Anda.

Catatan: Di macOS, jika Anda menerima error SSL: CERTIFICATE_VERIFY_FAILED di terminal saat meluncurkan JupyterLab, update sertifikat SSL Python Anda dengan menjalankan /Applications/Python 3.11/Install Certificates.command. File ini terletak di direktori utama Python.

Memperbarui setelan project dan region

Secara default, sesi Anda berjalan di project dan region yang Anda tetapkan saat menjalankan gcloud init. Untuk mengubah setelan project dan region untuk sesi Anda, lakukan hal berikut:

• Di menu JupyterLab, klik Settings > Google BigQuery Settings.

Anda harus memulai ulang plugin agar perubahan diterapkan.

Jelajahi data

Untuk menggunakan data BigQuery di JupyterLab, lakukan hal berikut:

1. Di sidebar JupyterLab, buka panel Dataset Explorer: klik ikon set data .

2. Untuk meluaskan project, di panel Dataset Explorer, klik panah peluas di samping nama project.

   

   Panel Dataset Explorer menampilkan semua set data dalam project yang berada di region BigQuery yang Anda konfigurasi untuk sesi tersebut. Anda dapat berinteraksi dengan project dan set data dengan berbagai cara:

   • Untuk melihat informasi tentang set data, klik nama set data.
   • Untuk menampilkan semua tabel dalam set data, klik panah peluas di samping set data.
   • Untuk melihat informasi tentang tabel, klik nama tabel.
   • Untuk mengubah project atau region BigQuery, perbarui setelan Anda.

Menjalankan notebook

Untuk mengkueri data BigQuery dari JupyterLab, lakukan hal berikut:

1. Untuk membuka halaman peluncur, klik File > New Launcher.
2. Di bagian BigQuery Notebooks, klik kartu BigQuery DataFrames. Notebook baru akan terbuka dan menunjukkan cara memulai BigQuery DataFrames.

Notebook BigQuery DataFrames mendukung pengembangan Python di kernel Python lokal. Operasi BigQuery DataFrames dijalankan dari jarak jauh di BigQuery, tetapi kode lainnya dijalankan secara lokal di komputer Anda. Saat operasi dijalankan di BigQuery, ID tugas kueri dan link ke tugas akan muncul di bawah sel kode.

• Untuk melihat tugas di konsol Google Cloud , klik Open Job.

Men-deploy notebook BigQuery DataFrames

Anda dapat men-deploy notebook BigQuery DataFrames ke Managed Airflow menggunakan template runtime Serverless Managed Service untuk Apache Spark. Anda harus menggunakan runtime versi 2.1 atau yang lebih baru.

1. Di notebook JupyterLab Anda, klik calendar_monthJob Scheduler.
2. Untuk Job name, masukkan nama unik untuk tugas Anda.
3. Untuk Environment, masukkan nama lingkungan Managed Airflow tempat Anda ingin men-deploy tugas.
4. Jika notebook Anda diparameterisasi, tambahkan parameter.
5. Masukkan nama Serverless runtime template.
6. Untuk menangani kegagalan eksekusi notebook, masukkan bilangan bulat untuk Retry count dan nilai (dalam menit) untuk Retry delay.

7. Pilih notifikasi eksekusi yang akan dikirim, lalu masukkan penerima.

   Notifikasi dikirim menggunakan konfigurasi SMTP Airflow.

8. Pilih jadwal untuk notebook.

9. Klik Create.

Setelah berhasil menjadwalkan notebook, notebook tersebut akan muncul dalam daftar tugas terjadwal di lingkungan Managed Airflow yang Anda pilih.

Langkah berikutnya

• Coba panduan memulai BigQuery DataFrames.
• Pelajari lebih lanjut Python API BigQuery DataFrames.
• Gunakan JupyterLab untuk sesi notebook dan batch serverless dengan Managed Service untuk Apache Spark.