Pengantar BigQuery DataFrames

Library BigQuery DataFrames open source memungkinkan Anda memproses data berukuran terabyte dan melatih model AI dan machine learning (ML) menggunakan Python API yang sudah dikenal. Anda dapat menggunakan API pandas dan scikit-learn untuk membangun pipeline data dan menganalisis set data yang sangat besar langsung di BigQuery tanpa memindahkan data ke mesin klien Anda.

Manfaat BigQuery DataFrames

BigQuery DataFrames melakukan hal berikut:

  • Menawarkan lebih dari 750 API pandas dan scikit-learn yang diimplementasikan melalui konversi SQL ke BigQuery dan BigQuery ML API.
  • Menunda eksekusi kueri untuk meningkatkan performa.
  • Memperluas transformasi data dengan fungsi Python yang ditentukan pengguna agar Anda dapat memproses data di Google Cloud. Fungsi ini di-deploy secara otomatis sebagai fungsi jarak jauh BigQuery.
  • Terintegrasi dengan Gemini Enterprise Agent Platform agar Anda dapat menggunakan model Gemini untuk pembuatan teks.

Pemberian Lisensi

BigQuery DataFrames didistribusikan dengan lisensi Apache-2.0.

BigQuery DataFrames juga berisi kode yang berasal dari paket pihak ketiga berikut:

Untuk mengetahui detailnya, lihat direktori third_party/bigframes_vendored di repositori GitHub BigQuery DataFrames.

Kuota dan batas

  • Kuota BigQuery berlaku untuk BigQuery DataFrames, termasuk komponen hardware, software, dan jaringan.
  • Subset API pandas dan scikit-learn didukung. Untuk mengetahui informasi selengkapnya, lihat API pandas yang didukung.
  • Anda harus secara eksplisit membersihkan fungsi Cloud Run Functions yang dibuat secara otomatis sebagai bagian dari pembersihan sesi. Untuk mengetahui informasi selengkapnya, lihat API pandas yang didukung.

Harga

  • BigQuery DataFrames adalah serangkaian library Python open source yang tersedia untuk didownload tanpa biaya tambahan.
  • BigQuery DataFrames menggunakan BigQuery, Cloud Run Functions, Agent Platform, dan layananGoogle Cloud lainnya, yang dikenai biaya tersendiri.
  • Selama penggunaan reguler, BigQuery DataFrames menyimpan data sementara, seperti hasil perantara, dalam tabel BigQuery. Tabel ini bertahan selama tujuh hari secara default, dan Anda akan dikenai biaya untuk data yang disimpan di dalamnya. Tabel dibuat dalam set data _anonymous_ di project Google Cloud yang Anda tentukan dalam opsi bf.options.bigquery.project.

Kasus penggunaan

Jika sudah memahami pandas, Anda dapat menggunakan BigQuery DataFrames untuk menangani data BigQuery dengan perubahan minimal pada kode Anda. Misalnya, Anda dapat menggunakan metode pandas yang sudah dikenal untuk menganalisis data dari tabel BigQuery:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

Anda dapat menggunakan BigQuery DataFrames untuk kasus penggunaan analisis dan machine learning berikut:

Contoh kode dan dokumentasi referensi

Pelajari contoh kode, notebook, dan dokumentasi referensi untuk BigQuery DataFrames:

Langkah berikutnya