Notebook dan alat analisis terprogram

Meskipun SQL adalah bahasa kueri yang andal, bahasa pemrograman seperti Python, Java, atau R menyediakan sintaksis dan fungsi statistik yang dapat lebih ekspresif untuk tugas analisis data. Lingkungan notebook menawarkan alternatif yang sangat fleksibel untuk spreadsheet dalam eksplorasi data yang kompleks dan alur kerja machine learning (ML).

BigQuery menyediakan integrasi notebook bawaan serta dukungan untuk beberapa solusi analisis terprogram lainnya.

Notebook Colab Enterprise

Anda dapat menggunakan notebook Colab Enterprise di BigQuery untuk menjalankan alur kerja ML dan data science end-to-end dalam satu antarmuka terintegrasi. Tidak seperti editor SQL standar, notebook memungkinkan Anda menggabungkan kueri SQL dengan kode Python, teks kaya, dan visualisasi untuk menceritakan kisah yang komprehensif dengan data Anda. Notebook Colab Enterprise ideal untuk kasus penggunaan berikut:

  • Alur kerja ML end-to-end: bangun, evaluasi, dan deploy model BigQuery ML dalam satu antarmuka.
  • Eksplorasi data: bersihkan dan analisis set data besar menggunakan BigQuery DataFrames.
  • Riset kolaboratif: lacak histori versi dan bagikan notebook kepada rekan kerja menggunakan Identity and Access Management (IAM).

Notebook Colab Enterprise menawarkan manfaat berikut:

  • Pengembangan yang didukung AI: manfaatkan Gemini Enterprise Agent Platform untuk pengembangan kode pendukung.
  • Integrasi Python yang lancar: gunakan BigQuery DataFrames API tanpa penyiapan tambahan.
  • Fitur editor yang sudah dikenal: manfaatkan pelengkapan otomatis SQL yang mirip dengan editor SQL BigQuery.
  • Visualisasi terintegrasi: gunakan visualisasi DataFrame interaktif atau library seperti matplotlib dan seaborn langsung dalam alur kerja Anda.
  • Interoperabilitas SQL-Python: jalankan SQL dalam sel yang mereferensikan variabel Python.

Galeri notebook adalah hub pusat untuk menemukan dan menggunakan template notebook bawaan. Template ini mencakup template dasar untuk SQL, Python, Apache Spark, dan DataFrame untuk membantu Anda melakukan tugas umum seperti penyiapan, analisis, dan visualisasi data.

Pengelolaan dan keamanan runtime

Notebook menggunakan runtime Colab Enterprise, yang merupakan mesin virtual Compute Engine yang dialokasikan kepada pengguna tertentu untuk mengaktifkan eksekusi kode. Akses ke notebook dikontrol menggunakan peran IAM. Untuk mendeteksi kerentanan dalam paket Python yang digunakan di notebook Anda, Anda dapat menginstal dan menggunakan Notebook Security Scanner.

Pemantauan dan region

Semua aset kode di BigQuery Studio disimpan di region default, dan mengupdate setelan ini akan mengubah region untuk aset kode yang baru dibuat. Notebook Colab Enterprise tersedia di semua region tempat BigQuery Studio tersedia.

Untuk memantau penggunaan slot notebook, Anda dapat melihat laporan Penagihan Cloud dan menerapkan filter untuk label goog-bq-feature-type dengan nilai BQ_STUDIO_NOTEBOOK.

Kemampuan notebook hanya tersedia di konsol Google Cloud .

Harga

Untuk mengetahui informasi harga tentang notebook Colab Enterprise, lihat Harga runtime notebook.

BigQuery DataFrames

BigQuery DataFrames adalah sekumpulan library Python open source yang memungkinkan Anda memanfaatkan pemrosesan data BigQuery menggunakan API Python yang sudah dikenal. BigQuery DataFrames menerapkan API pandas dan scikit-learn dengan mendorong pemrosesan ke BigQuery melalui konversi SQL. Desain ini memungkinkan Anda menggunakan BigQuery untuk menjelajahi dan memproses data berukuran terabyte serta melatih model ML, semuanya dengan Python API.

BigQuery DataFrame menawarkan manfaat berikut:

  • Lebih dari 750 API pandas dan scikit-learn diimplementasikan melalui konversi SQL transparan ke BigQuery dan BigQuery ML API.
  • Penundaan eksekusi kueri untuk meningkatkan performa.
  • Memperluas transformasi data dengan fungsi Python yang ditentukan pengguna untuk memungkinkan Anda memproses data di cloud. Fungsi ini di-deploy secara otomatis sebagai fungsi jarak jauh BigQuery.
  • Integrasi dengan Gemini Enterprise Agent Platform agar Anda dapat menggunakan model Gemini untuk pembuatan teks.

Solusi analisis terprogram lainnya

Selain Colab Enterprise dan BigQuery DataFrames, BigQuery terintegrasi dengan beberapa solusi terprogram lainnya:

  • Notebook Jupyter dan JupyterLab: Anda dapat berinteraksi dengan BigQuery langsung dari Notebook Jupyter menggunakan IPython Magics untuk BigQuery atau library klien BigQuery. Anda dapat men-deploy lingkungan di Google Cloud menggunakan instance Vertex AI Workbench atau Managed Service untuk Apache Spark.
  • Apache Zeppelin: Anda dapat men-deploy notebook Apache Zeppelin berbasis web untuk analisis data dengan menginstal komponen opsional Zeppelin di Managed Service untuk Apache Spark.
  • Apache Hadoop, Spark, dan Hive: Managed Service untuk Apache Spark terintegrasi dengan konektor BigQuery open source. Konektor ini menggunakan BigQuery Storage API untuk melakukan streaming data secara paralel langsung dari BigQuery melalui gRPC.
  • Apache Beam & Dataflow: Apache Beam adalah framework open source yang menyediakan serangkaian dasar windowing dan analisis sesi yang lengkap, serta ekosistem konektor, termasuk konektor untuk BigQuery. Dataflow adalah layanan terkelola sepenuhnya yang memungkinkan Anda menjalankan tugas Apache Beam ini dalam skala besar.

Resource lainnya

BigQuery menawarkan beberapa library klien dalam bahasa seperti Java, Go, Python, JavaScript, PHP, dan Ruby. Framework analisis data tertentu seperti pandas menyediakan plugin untuk berinteraksi langsung dengan BigQuery, dan bagi mereka yang lebih memilih lingkungan shell, alat command line bq tersedia.