BigQuery DataFrames 簡介

您可以使用開放原始碼 BigQuery DataFrames 程式庫，透過熟悉的 Python API 處理數 TB 的資料，並訓練 AI 和機器學習 (ML) 模型。您可以使用 pandas 和 scikit-learn API 建構資料管道，並直接在 BigQuery 中分析大量資料集，不必將資料移至用戶端機器。

BigQuery DataFrames 的優點

BigQuery DataFrames 會執行下列操作：

  • 提供超過 750 個 pandas 和 scikit-learn API，透過 SQL 轉換為 BigQuery 和 BigQuery ML API 實作。
  • 延遲執行查詢，提升效能。
  • 使用使用者定義的 Python 函式擴充資料轉換功能，以便在 Google Cloud中處理資料。這些函式會自動部署為 BigQuery 遠端函式。
  • 與 Gemini Enterprise Agent Platform 整合，可讓您使用 Gemini 模型生成文字。

授權

BigQuery DataFrames 採用 Apache-2.0 授權。

BigQuery DataFrames 也包含衍生自下列第三方套件的程式碼：

詳情請參閱 BigQuery DataFrames GitHub 存放區中的 third_party/bigframes_vendored 目錄。

配額與限制

  • BigQuery 配額適用於 BigQuery DataFrames，包括硬體、軟體和網路元件。
  • 支援部分 pandas 和 scikit-learn API。詳情請參閱「支援的 pandas API」。
  • 您必須在清除工作階段時，明確清除所有自動建立的 Cloud Run 函式。詳情請參閱「支援的 pandas API」。

定價

  • BigQuery DataFrames 是一組開放原始碼 Python 程式庫，可不需額外付費下載。
  • BigQuery DataFrames 會使用 BigQuery、Cloud Run functions、Agent Platform 和其他Google Cloud 服務，這些服務會產生各自的費用。
  • 在一般使用情況下，BigQuery DataFrames 會將臨時資料 (例如中繼結果) 儲存在 BigQuery 資料表中。根據預設，這些資料表會保留七天，系統會向您收取儲存資料的費用。系統會在您透過 bf.options.bigquery.project 選項指定的 Google Cloud 專案中，建立_anonymous_資料集內的資料表。

用途

如果您熟悉 pandas，可以使用 BigQuery DataFrames 處理 BigQuery 資料，只需稍微修改程式碼即可。例如，您可以使用熟悉的 pandas 方法，分析 BigQuery 資料表中的資料：

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

BigQuery DataFrames 可用於下列數據分析和機器學習用途：

程式碼範例和參考文件

探索 BigQuery DataFrames 的程式碼範例、筆記本和參考文件：

後續步驟