您可以使用 BigQuery 連接器,啟用 BigQuery 的程式輔助讀取和寫入存取權。這個方式很適合用來處理儲存在 BigQuery 中的資料。指令列存取權不會公開。 BigQuery 連接器是一種程式庫,可讓 Spark 和 Hadoop 應用程式使用原生術語,處理 BigQuery 的資料,以及將資料寫入 BigQuery。
定價
使用連接器時,費用包括 BigQuery 使用費。您可能也需要支付下列服務專屬費用:
- Cloud Storage:連接器會在工作執行前或執行期間,將資料下載到 Cloud Storage bucket。工作完成後,資料就會從 Cloud Storage 中刪除。您必須依據 Cloud Storage 定價支付這個儲存空間的費用。為避免產生過多費用,請檢查您的 Cloud Storage 帳戶,並移除不需要的臨時檔案。
- BigQuery Storage API:為提升效能,這個連結器會使用 BigQuery Storage API 讀取資料。我們會根據 BigQuery Storage API 定價,向您收取這類使用費。
可用的連接器
您可以在 Hadoop 生態系統中使用下列 BigQuery 連接器:
- Spark BigQuery 連接器會新增 Spark 資料來源,讓 DataFrame 得以使用 Spark 的
read和write作業,直接與 BigQuery 資料表互動。 - Hive BigQuery 連接器會新增儲存空間處理常式,讓 Apache Hive 使用 HiveQL 語法直接與 BigQuery 資料表互動。
- Hadoop BigQuery 連接器可讓 Hadoop 對應工具和縮減工具,使用 InputFormat 和 OutputFormat 類別的摘要版本,與 BigQuery 資料表互動。
使用連接器
如要快速開始使用 BigQuery 連接器,請參閱下列範例:
後續步驟
- 進一步瞭解 BigQuery。
- 依循 Spark 的 BigQuery 範例
- 進一步瞭解 Hive BigQuery 連接器。
- 依循 Java MapReduce 的 BigQuery 範例。