資料載入簡介

本文說明如何將資料載入 BigQuery。資料整合的兩種常見方法是擷取、載入及轉換 (ELT)，或是擷取、轉換及載入 (ETL) 資料。

如要瞭解 ELT 和 ETL 方法的總覽，請參閱載入、轉換及匯出資料簡介。

載入或存取外部資料的方法

在 BigQuery 頁面的「新增資料」對話方塊中，您可以查看所有可用的方法，將資料載入 BigQuery 或從 BigQuery 存取資料。根據用途和資料來源，選擇下列其中一個選項：

載入方法 說明
批次載入 這個方法適合從各種來源批次載入大量資料。

如要從 Cloud Storage 和其他支援的資料來源批次或增量載入資料，建議使用 BigQuery 資料移轉服務。

使用 BigQuery 資料移轉服務，您可以排定載入工作，自動將資料載入管道移至 BigQuery。您可以安排一次性或批次資料移轉作業，並設定定期執行間隔 (例如每日或每月)。為確保 BigQuery 資料一律為最新狀態，您可以監控及記錄移轉作業。

如要查看 BigQuery 資料移轉服務支援的資料來源清單，請參閱「支援的資料來源」。
串流負荷 這個方法可從訊息傳遞系統近乎即時載入資料。

如要將資料串流至 BigQuery，您可以在 Pub/Sub 中使用 BigQuery 訂閱項目。Pub/Sub 可處理大量資料，並載入 BigQuery。支援即時資料串流，可在資料產生時載入。詳情請參閱 BigQuery 訂閱項目。
變更資料擷取 (CDC) 這個方法可將資料從資料庫複製到 BigQuery，且近乎即時。

Datastream 可將資料從資料庫串流至 BigQuery 資料，並以近乎即時的方式複製資料。Datastream 會運用 CDC 功能，追蹤及複製資料來源的資料列層級變更。

如需 Datastream 支援的資料來源清單，請參閱「來源」。
與外部資料來源整合 這個方法可存取外部資料，不必將資料載入 BigQuery。

BigQuery 支援透過 Cloud Storage 和聯合查詢，存取特定外部資料來源。這個方法的優點是，您不需要先載入資料，再轉換資料以供後續使用。您可以對外部資料執行 SELECT 陳述式，進行轉換。

您也可以使用下列程式輔助方法載入資料：

載入方法 說明
批次載入 您可以建立載入工作，從 Cloud Storage 或本機檔案載入資料。

如果來源資料不常變更，或您不需要持續更新的結果，載入工作就是將資料載入 BigQuery 的經濟實惠方式，且不會耗用大量資源。

載入的資料可以是 Avro、CSV、JSON、ORC 或 Parquet 格式。如要建立載入工作，您也可以使用 LOAD DATA SQL 陳述式。

熱門的開放原始碼系統 (例如 Spark) 和各種 ETL 合作夥伴，也支援將資料批次載入 BigQuery。

如要最佳化資料表批次載入作業，避免達到每日載入上限，請參閱「最佳化載入工作」。
串流負荷 如需支援自訂串流資料來源，或在將資料以高輸送量串流至 BigQuery 前預先處理資料，請使用 Dataflow。

如要進一步瞭解如何從 Dataflow 載入至 BigQuery，請參閱「從 Dataflow 寫入至 BigQuery」。

您也可以直接使用 BigQuery Storage Write API。

如要最佳化資料表串流，避免達到每日載入上限，請參閱「最佳化載入工作」。

Cloud Data Fusion 可協助您簡化 ETL 程序。BigQuery 也與第三方合作夥伴合作，將資料轉換並載入至 BigQuery。

BigQuery 可讓您建立外部連線，查詢儲存在 BigQuery 以外的資料，例如 Cloud Storage 或 Spanner 等 Google Cloud 服務，或是 Amazon Web Services (AWS) 或 Microsoft Azure 等第三方來源。這些外部連結會使用 BigQuery Connection API。詳情請參閱「連線簡介」。

其他取得資料的方式

您可以對資料執行查詢，不必自行將資料載入 BigQuery。以下各節將說明一些替代方案。

以下列出部分替代方案：

查詢公開資料

公開資料集是儲存在 BigQuery 中並與大眾共用的資料集。詳情請參閱 BigQuery 公開資料集。

對共用資料執行查詢

如要查詢他人與您共用的 BigQuery 資料集，請參閱「BigQuery sharing (舊稱 Analytics Hub) 簡介」。「共用」是資料交換平台，可進行資料共用。

使用記錄資料執行查詢

您可以在記錄檔上執行查詢，不必建立額外的載入作業：

後續步驟