Notebook dan alat analisis terprogram

Meskipun SQL adalah bahasa kueri yang andal, bahasa pemrograman seperti Python, Java, atau R menyediakan sintaksis dan fungsi statistik yang dapat lebih ekspresif untuk tugas analisis data. Lingkungan notebook menawarkan alternatif yang sangat fleksibel untuk spreadsheet dalam eksplorasi data yang kompleks dan alur kerja machine learning (ML).

BigQuery menyediakan integrasi notebook bawaan serta dukungan untuk beberapa solusi analisis terprogram lainnya.

Notebook Colab Enterprise

Anda dapat menggunakan notebook Colab Enterprise di BigQuery untuk menjalankan alur kerja data science dan ML menyeluruh dalam satu antarmuka terintegrasi. Tidak seperti editor SQL standar, notebook memungkinkan Anda menggabungkan kueri SQL dengan kode Python, rich text, dan visualisasi untuk menceritakan kisah yang komprehensif dengan data Anda. Notebook Colab Enterprise ideal untuk kasus penggunaan berikut:

  • Alur kerja ML menyeluruh: membangun, mengevaluasi, dan men-deploy model BigQuery ML dalam satu antarmuka.
  • Eksplorasi data: bersihkan dan analisis set data besar menggunakan BigQuery DataFrames.
  • Riset kolaboratif: lacak histori versi dan bagikan notebook kepada kolega menggunakan Identity and Access Management (IAM).

Notebook Colab Enterprise menawarkan manfaat berikut:

  • Pengembangan yang didukung AI: manfaatkan Gemini Enterprise Agent Platform untuk pengembangan kode pendukung.
  • Integrasi Python yang lancar: gunakan BigQuery DataFrames API tanpa penyiapan tambahan.
  • Fitur editor yang sudah dikenal: manfaatkan pelengkapan otomatis SQL yang mirip dengan editor SQL BigQuery.
  • Visualisasi terintegrasi: gunakan visualisasi DataFrame interaktif atau library seperti matplotlib dan seaborn langsung di alur kerja Anda.
  • Interoperabilitas SQL-Python: jalankan SQL di sel yang mereferensikan variabel Python.

Memahami sel

Notebook terdiri dari sel yang dapat Anda edit. Jenis sel berikut didukung di notebook Colab Enterprise:

  • Sel teks: gunakan sel teks untuk menambahkan penjelasan dan gambar ke notebook Anda dalam Markdown.

  • Code cell: gunakan sel kode untuk menambahkan Python ke notebook Anda. Anda dapat menjalankan setiap sel kode satu per satu. Sel kode dapat merujuk ke variabel apa pun yang dibuat di sel lain yang telah Anda jalankan.

  • Sel SQL: gunakan sel SQL untuk menjalankan kueri GoogleSQL. Output kueri akan otomatis disimpan sebagai DataFrame dengan nama yang sama dengan judul sel. Anda dapat menjalankan beberapa pernyataan SQL dalam satu sel SQL, tetapi hanya hasil pernyataan terakhir yang disimpan ke DataFrame.

    Anda dapat merujuk ke variabel Python dalam ekspresi atau menggunakan BigQuery DataFrames sebagai tabel dalam kueri dengan mengapit nama variabel dalam tanda kurung kurawal ({ }):

    # Refer to the Python variable my_threshold in a SQL expression.
SELECT * FROM my_dataset.my_table WHERE x > {my_threshold};

# Reference previous query results to iterate on your queries.
SELECT * FROM {df};

  • Sel visualisasi: gunakan sel visualisasi untuk otomatis membuat visualisasi DataFrame apa pun di notebook Anda. Anda dapat mengubah kolom yang ditampilkan dan memilih dari berbagai jenis diagram dan agregasi. Anda juga dapat memilih warna kustom, label data, dan judul.

Galeri notebook adalah hub pusat untuk menemukan dan menggunakan template notebook bawaan. Notebook ini mencakup template dasar untuk SQL, Python, Apache Spark, dan DataFrame guna membantu Anda melakukan tugas umum seperti persiapan, analisis, dan visualisasi data.

Pengelolaan dan keamanan runtime

Notebook menggunakan runtime Colab Enterprise, yang merupakan virtual machine Compute Engine yang dialokasikan untuk pengguna tertentu guna mengaktifkan eksekusi kode. Akses ke notebook dikontrol menggunakan peran IAM. Untuk mendeteksi kerentanan dalam paket Python yang digunakan di notebook, Anda dapat menginstal dan menggunakan Notebook Security Scanner.

Pemantauan dan region

Semua aset kode di BigQuery Studio disimpan di region default, dan memperbarui setelan ini akan mengubah region untuk aset kode yang baru dibuat. Notebook Colab Enterprise tersedia di semua region tempat BigQuery Studio tersedia.

Untuk memantau penggunaan slot notebook, Anda dapat melihat laporan Penagihan Cloud dan menerapkan filter untuk label goog-bq-feature-type dengan nilai BQ_STUDIO_NOTEBOOK.

Kemampuan notebook hanya tersedia di konsol Google Cloud .

Harga

Untuk mengetahui informasi harga tentang notebook Colab Enterprise, lihat Harga runtime notebook.

BigQuery DataFrames

BigQuery DataFrames adalah serangkaian library Python open source yang memungkinkan Anda memanfaatkan pemrosesan data BigQuery menggunakan Python API yang sudah dikenal. BigQuery DataFrames mengimplementasikan API pandas dan scikit-learn dengan mendorong pemrosesan ke BigQuery melalui konversi SQL. Desain ini memungkinkan Anda menggunakan BigQuery untuk mengeksplorasi dan memproses terabyte data serta melatih model ML, semuanya dengan Python API.

BigQuery DataFrames menawarkan manfaat berikut:

  • Lebih dari 750 API pandas dan scikit-learn yang diimplementasikan melalui konversi SQL transparan ke BigQuery dan BigQuery ML API.
  • Eksekusi kueri yang ditangguhkan untuk meningkatkan performa.
  • Memperluas transformasi data dengan fungsi Python yang ditentukan pengguna untuk memungkinkan Anda memproses data di cloud. Fungsi ini di-deploy secara otomatis sebagai fungsi jarak jauh BigQuery.
  • Integrasi dengan Gemini Enterprise Agent Platform untuk memungkinkan Anda menggunakan model Gemini untuk pembuatan teks.

Solusi analisis terprogram lainnya

Selain Colab Enterprise dan BigQuery DataFrames, BigQuery terintegrasi dengan beberapa solusi terprogram lainnya:

  • Jupyter Notebook dan JupyterLab: Anda dapat berinteraksi dengan BigQuery langsung dari Jupyter Notebook menggunakan IPython Magics untuk BigQuery atau library klien BigQuery. Anda dapat men-deploy lingkungan di Google Cloud menggunakan instance Vertex AI Workbench atau Managed Service untuk Apache Spark.
  • Apache Zeppelin: Anda dapat men-deploy notebook Apache Zeppelin berbasis web untuk analisis data dengan menginstal komponen opsional Zeppelin di Managed Service untuk Apache Spark.
  • Apache Hadoop, Spark, dan Hive: Managed Service for Apache Spark terintegrasi dengan konektor BigQuery open source. Konektor ini menggunakan BigQuery Storage API untuk mengalirkan data secara paralel langsung dari BigQuery melalui gRPC.
  • Apache Beam & Dataflow: Apache Beam adalah framework open source yang menyediakan beragam rangkaian dasar windowing dan analisis sesi, serta ekosistem konektor, termasuk konektor untuk BigQuery. Dataflow adalah layanan terkelola sepenuhnya yang memungkinkan Anda menjalankan tugas Apache Beam ini dalam skala besar.

Resource lainnya

BigQuery menawarkan beberapa library klien dalam bahasa seperti Java, Go, Python, JavaScript, PHP, dan Ruby. Framework analisis data tertentu seperti pandas menyediakan plugin untuk berinteraksi langsung dengan BigQuery, dan bagi yang lebih menyukai lingkungan shell, tersedia alat command line bq.