BigQuery 連接器

您可以使用 BigQuery 連接器,啟用 BigQuery 的程式讀取/寫入存取權。這個方式很適合用來處理儲存在 BigQuery 中的資料。不提供指令列存取權。 BigQuery 連接器是程式庫,可讓 Spark 和 Hadoop 應用程式使用原生術語,處理 BigQuery 中的資料,並將資料寫入 BigQuery。

定價

使用連接器時,費用包括 BigQuery 使用費。您可能也需要支付下列服務專屬費用:

  • Cloud Storage:連接器會在工作執行前或執行期間,將資料下載到 Cloud Storage bucket。工作順利完成後,就會從 Cloud Storage 中刪除資料。系統將根據 Cloud Storage 定價向您收取相關費用。為了避免產生過多費用,請檢查您的 Cloud Storage 帳戶,並移除不需要的臨時檔案。
  • BigQuery Storage API:為提升效能,這個連結器會使用 BigQuery Storage API 讀取資料。我們會根據 BigQuery Storage API 價格,向您收取這類使用量的費用。

可用的連接器

您可以在 Hadoop 生態系統中使用下列 BigQuery 連接器:

  1. Spark BigQuery 連接器會新增 Spark 資料來源,讓 DataFrame 能使用 Spark 的 readwrite 作業,直接與 BigQuery 資料表互動。
  2. Hive BigQuery 連接器會新增儲存空間處理常式,讓 Apache Hive 使用 HiveQL 語法直接與 BigQuery 資料表互動。
  3. Hadoop BigQuery 連接器可讓 Hadoop 對映器和縮減器使用 InputFormatOutputFormat 類別的摘要版本,與 BigQuery 表格互動。

使用連接器

如要快速開始使用 BigQuery 連接器,請參閱下列範例:

後續步驟