BigQuery DataFrames 簡介

BigQuery DataFrames 是一組開放原始碼 Python 程式庫，可讓您使用熟悉的 Python API，充分運用 BigQuery 資料處理功能。BigQuery DataFrames 提供由 BigQuery 引擎驅動的 Pythonic DataFrame，並透過 SQL 轉換將處理作業下推至 BigQuery，實作 pandas 和 scikit-learn API。因此您可以使用 BigQuery 探索及處理 TB 級資料，還能訓練機器學習 (ML) 模型，所有作業都可透過 Python API 完成。

下圖說明 BigQuery DataFrames 的工作流程：

BigQuery DataFrames 工作流程

BigQuery DataFrames 的優點

BigQuery DataFrames 的功能如下：

  • 透過透明的 SQL 轉換，實作超過 750 個 pandas 和 scikit-learn API，並轉換為 BigQuery 和 BigQuery ML API。
  • 延後執行查詢，以提升效能。
  • 使用 Python 使用者定義函式擴充資料轉換作業，以便在 Google Cloud中處理資料。這些函式會自動部署為 BigQuery 遠端函式。
  • 與 Vertex AI 整合，可使用 Gemini 模型生成文字。

授權

BigQuery DataFrames 採用 Apache-2.0 授權發布。

BigQuery DataFrames 也包含衍生自下列第三方套件的程式碼：

詳情請參閱 BigQuery DataFrames GitHub 存放區中的 third_party/bigframes_vendored 目錄。

配額與限制

  • BigQuery 配額適用於 BigQuery DataFrames，包括硬體、軟體和網路元件。
  • 支援部分 pandas 和 scikit-learn API。詳情請參閱「支援的 pandas API」。
  • 您必須明確清除自動建立的 Cloud Run 函式，這是清除工作階段的一部分。詳情請參閱「支援的 pandas API」。

定價

  • BigQuery DataFrames 是一組開放原始碼 Python 程式庫，可免費下載。
  • BigQuery DataFrames 會使用 BigQuery、Cloud Run functions、Vertex AI 和其他Google Cloud 服務，這些服務會產生各自的費用。
  • 在一般使用期間，BigQuery DataFrames 會將中繼結果等臨時資料儲存在 BigQuery 資料表中。根據預設，這些資料表會保留七天，且您需要為儲存在其中的資料付費。資料表會建立在您在 bf.options.bigquery.project 選項中指定的 Google Cloud 專案的 _anonymous_ 資料集中。

後續步驟