Membuat dan menjalankan notebook menggunakan galeri notebook

Membuat dan menjalankan notebook menggunakan galeri notebook

Mulai analisis data menggunakan galeri notebook di BigQuery Studio.

Sebelum memulai

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

1. Aktifkan BigQuery API.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan peran IAM Service Usage Admin (roles/serviceusage.serviceUsageAdmin), yang berisi izin serviceusage.services.enable. Pelajari cara memberikan peran.

   Mengaktifkan API

   Untuk project baru, BigQuery API diaktifkan secara otomatis.

2. Opsional: Aktifkan penagihan untuk project. Jika Anda tidak ingin mengaktifkan penagihan atau memberikan kartu kredit, langkah-langkah dalam dokumen ini tetap berfungsi. BigQuery menyediakan sandbox untuk melakukan langkah-langkah tersebut. Untuk mengetahui informasi selengkapnya, lihat Mengaktifkan sandbox BigQuery.
   Catatan: Jika project Anda memiliki akun penagihan dan Anda ingin menggunakan sandbox BigQuery, nonaktifkan penagihan untuk project Anda.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat notebook yang dijalankan, minta administrator untuk memberi Anda peran IAM berikut pada project:

• BigQuery Read Session User (roles/bigquery.readSessionUser)
• BigQuery Studio User (roles/bigquery.studioUser)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Jika Anda baru menggunakan notebook di BigQuery, lihat izin yang diperlukan di halaman Buat notebook.

Galeri notebook

Galeri notebook adalah hub pusat untuk menemukan dan menggunakan template notebook bawaan. Template ini memungkinkan Anda melakukan tugas umum seperti penyiapan data, analisis data, dan visualisasi. Template notebook juga membantu Anda menjelajahi fitur BigQuery Studio, mengelola alur kerja, dan mempromosikan praktik terbaik.

Anda dapat menggunakan template galeri notebook untuk menyederhanakan seluruh alur kerja niat-ke-insight di setiap tahap siklus proses data, mulai dari penyerapan dan eksplorasi hingga analisis lanjutan dan BigQuery ML.

Galeri notebook menyediakan template untuk setiap tingkat keahlian. Galeri ini mencakup template dasar untuk SQL, Python, Apache Spark, dan DataFrame. Anda juga dapat mempelajari topik seperti AI generatif dan analisis data multimodal di BigQuery.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan template galeri notebook, lihat Membuat notebook menggunakan galeri notebook.

Membuat notebook dari template galeri notebook

Contoh berikut menggunakan template Pengantar notebook di BigQuery Studio. Notebook ini menunjukkan cara melakukan tugas-tugas berikut:

• Membuat kueri data: Jalankan kueri menggunakan sel SQL.
• Memvisualisasikan hasil kueri: Buat visualisasi tanpa kode menggunakan Sel visualisasi.
• Membersihkan dan mengubah data: Urutkan, hapus duplikat, dan filter data Anda menggunakan BigQuery DataFrames (pandas) API.
• Menjalankan prediksi AI: Buat prediksi menggunakan (fungsi AI.FORECAST) di BigQuery DataFrames. Fungsi AI.FORECAST menggunakan model dasar TimesFM untuk menghasilkan prediksi langsung dari set data tanpa memerlukan pelatihan model.
• Plot data: Plot data menggunakan library visualisasi bawaan Python. Anda membuat plot data menggunakan library visualisasi DataFrame BigQuery, yang didukung oleh Matplotlib dan Pandas.

Untuk menggunakan notebook, Anda membuka template, mengonversinya menjadi notebook yang dapat dijalankan, terhubung ke lingkungan runtime notebook, lalu menjalankan notebook.

Buka template dan konversikan menjadi notebook yang dapat dijalankan

Sebelum dapat menggunakan notebook yang dibuat dari template galeri notebook, Anda harus mengonversi template menjadi notebook yang dapat dijalankan.

Untuk membuka template Pengantar notebook di BigQuery Studio di galeri notebook, dan untuk mengonversinya menjadi notebook yang dapat dijalankan, ikuti langkah-langkah berikut:

1. Buka halaman Studio.

   Buka Studio

2. Klik drop-down panah , lalu pilih Notebook > Semua template.

3. Atau, dari halaman beranda BigQuery Studio, klik Lihat galeri notebook.

   

4. Klik kartu Pengantar notebook di BigQuery Studio atau telusuri di galeri.

5. Setelah template terbuka, klik Gunakan template ini untuk mengonversi template menjadi notebook yang dapat dijalankan.

Menghubungkan ke runtime default

Sebelum dapat menjalankan notebook, Anda harus menghubungkannya ke runtime Vertex AI. Runtime adalah resource komputasi yang menjalankan kode di notebook Anda. Runtime harus berada di region yang sama dengan notebook Anda.

Untuk mengetahui informasi selengkapnya tentang runtime, lihat Runtime dan template runtime. Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi setelan regional, lihat Menetapkan region default untuk aset kode.

Catatan: Jika Anda menggunakan Kontrol Layanan VPC, pastikan Anda telah mengonfigurasi Akses Google Pribadi dengan Kontrol Layanan VPC sebelum terhubung ke runtime. Jika tidak, layanan akan menampilkan error Failed to connect to Runtime Network projects/projectid/global/networks/default' was not found.

Dalam tutorial ini, Anda akan menggunakan runtime default. Runtime default adalah runtime preset yang memerlukan penyiapan minimal. Untuk terhubung ke runtime default, ikuti langkah-langkah berikut:

1. Setelah notebook Anda terbuka, klik Connect.

   Mungkin perlu waktu beberapa menit untuk terhubung ke runtime default jika Anda belum memiliki runtime yang aktif.

2. Setelah runtime siap, Anda akan melihat tanda centang dengan grafik RAM dan disk ditampilkan. Jika mengarahkan kursor ke grafik, Anda akan melihat jenis runtime dan konfigurasi runtime.

   

Jalankan notebook

Pengantar notebook di BigQuery Studio berisi teks, SQL, visualisasi, dan sel kode. Sel selain sel teks dapat dijalankan satu per satu, atau Anda dapat menjalankan semua sel secara berurutan dari yang pertama hingga yang terakhir.

Dalam tutorial ini, Anda akan menjalankan setiap sel di notebook satu per satu sehingga Anda dapat melihat hasilnya secara bertahap. Untuk menjalankan notebook:

1. Di bagian Buat kueri data Anda menggunakan sel SQL, arahkan kursor ke sel SQL, lalu klik Jalankan sel.

   

   Sel SQL ini mengkueri tabel bigquery-public-data.epa_historical_air_quality.pm25_frm_daily_summary dalam set data publik Kualitas Udara Historis dan menampilkan rata-rata harian PM2.5 (metrik kualitas udara umum) untuk San Francisco selama beberapa tahun terakhir.

2. Lihat hasilnya. Hasil kueri ditampilkan dalam DataFrame.

   

   Catatan: Untuk menghapus atau menyalin hasil, klik Tindakan output sel kode.

3. Di bagian Visualisasikan data, arahkan kursor ke sel visualisasi, lalu klik Jalankan sel.

4. Lihat visualisasi yang dihasilkan.

   

   Hasilnya menampilkan diagram deret waktu yang memetakan nilai PM2.5 rata-rata harian dalam DataFrame df yang Anda buat sebelumnya. Diagram ini menunjukkan tren tingkat PM2.5 dari waktu ke waktu.

5. Di bagian Clean the data, arahkan kursor ke sel kode, lalu klik Run cell.

6. Lihat hasilnya. Hasilnya ditampilkan dalam DataFrame.

   

   Kode tersebut melakukan hal berikut:

   • Impor library bigframes.pandas.
   • Pastikan kolom date_local adalah stempel waktu.
   • Urutkan hasil menurut tanggal, yang diperlukan untuk perkiraan.
   • Hapus baris duplikat.
   • Menghapus baris dengan avg_pm25 yang berupa null.
   • Memfilter pencilan.
   • Tampilkan hasil dalam DataFrame BigQuery bernama df_cleaned.

7. Di bagian Prediksi nilai menggunakan AI.FORECAST, arahkan kursor ke sel SQL, lalu klik Jalankan sel.

8. Lihat hasilnya. Hasil kueri ditampilkan dalam DataFrame.

   

   Sel SQL ini menjalankan kueri yang menggunakan fungsi AI.FORECAST untuk memperkirakan PM2.5 harian rata-rata di masa mendatang menggunakan DataFrame df_cleaned yang Anda buat sebelumnya.

9. Di bagian Visualize data using Python, arahkan kursor ke sel kode, lalu klik Run cell.

10. Lihat hasilnya. Hasilnya ditampilkan dalam diagram.

    

    Kode Python melakukan hal berikut:

    • Impor modul datetime.
    • Plot data historis terlebih dahulu dan dapatkan sumbu.
    • Petakan data perkiraan pada sumbu yang sama.
    • Petakan interval keyakinan.

    Visualisasi ini menyerupai plot Python standar, tetapi df_cleaned.plot adalah perintah BigQuery DataFrames. Perintah ini hanya mengambil data yang diperlukan (sampel) untuk merender diagram, bukan seluruh set data.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Perhatian: Penghapusan project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika Anda menggunakan project yang ada untuk mengerjakan tugas di dokumen ini, saat Anda menghapusnya, pekerjaan lain dalam project tersebut juga akan dihapus.
• Project ID kustom akan hilang. Saat membuat project ini, Anda mungkin juga membuat project ID kustom yang masih ingin digunakan pada masa mendatang. Agar tidak kehilangan URL yang menggunakan project ID tersebut, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. Di Konsol Google Cloud , buka halaman Manage resources.

   Buka Kelola resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Atau, untuk mempertahankan project dan menghapus resource yang digunakan dalam tutorial ini, ikuti langkah-langkah berikut:

1. Buka halaman Studio.

   Buka Studio

2. Di panel kiri, luaskan project Anda, lalu klik Notebooks.

3. Untuk notebook yang Anda hapus, klik Buka tindakan > Hapus.

4. Di dialog Hapus notebook, klik Hapus untuk mengonfirmasi.

Langkah berikutnya

Untuk menjalankan template notebook contoh lainnya di galeri notebook, lihat:

• Mulai menggunakan notebook untuk pengguna SQL
• Mulai menggunakan notebook untuk pengguna Python

Untuk mempelajari DataFrame lebih lanjut, lihat:

• Pengantar BigQuery DataFrames
• Referensi BigQuery DataFrames API

Untuk mempelajari lebih lanjut fungsi AI generatif dan ML di BigQuery, lihat Ringkasan AI generatif.