BigQuery 連接器

您可以使用 BigQuery 連接器,啟用 BigQuery 的程式輔助讀取和寫入存取權。這個方式很適合用來處理儲存在 BigQuery 中的資料。指令列存取權不會公開。 BigQuery 連接器是一種程式庫,可讓 Spark 和 Hadoop 應用程式使用原生術語,處理 BigQuery 的資料,以及將資料寫入 BigQuery。

定價

使用連接器時,費用包括 BigQuery 使用費。您可能也需要支付下列服務專屬費用:

  • Cloud Storage:連接器會在工作執行前或執行期間,將資料下載到 Cloud Storage bucket。工作完成後,資料就會從 Cloud Storage 中刪除。您必須依據 Cloud Storage 定價支付這個儲存空間的費用。為避免產生過多費用,請檢查您的 Cloud Storage 帳戶,並移除不需要的臨時檔案。
  • BigQuery Storage API:為提升效能,這個連結器會使用 BigQuery Storage API 讀取資料。我們會根據 BigQuery Storage API 定價,向您收取這類使用費。

可用的連接器

您可以在 Hadoop 生態系統中使用下列 BigQuery 連接器:

  1. Spark BigQuery 連接器會新增 Spark 資料來源,讓 DataFrame 得以使用 Spark 的 readwrite 作業,直接與 BigQuery 資料表互動。
  2. Hive BigQuery 連接器會新增儲存空間處理常式,讓 Apache Hive 使用 HiveQL 語法直接與 BigQuery 資料表互動。
  3. Hadoop BigQuery 連接器可讓 Hadoop 對應工具和縮減工具,使用 InputFormatOutputFormat 類別的摘要版本,與 BigQuery 資料表互動。

使用連接器

如要快速開始使用 BigQuery 連接器,請參閱下列範例:

後續步驟