資料載入簡介

本文說明如何將資料載入 BigQuery。資料整合的兩種常見方法是擷取、載入和轉換 (ELT) 資料，或擷取、轉換、載入 (ETL) 資料。

如要瞭解 ELT 和 ETL 方法，請參閱「載入、轉換及匯出資料簡介」。

載入或存取外部資料的方法

在 BigQuery 頁面的「Add data」(新增資料) 對話方塊中，您可以查看所有可用的方法，將資料載入 BigQuery 或從 BigQuery 存取資料。請根據您的用途和資料來源，選擇下列其中一個選項：

載入方法 說明
批次載入 這個方法適合從各種來源批次載入大量資料。

如要從 Cloud Storage 和其他支援的資料來源批次或遞增載入資料，建議使用 BigQuery 資料移轉服務。

BigQuery 資料移轉服務可讓您排定載入工作，自動將資料載入 BigQuery。您可以安排一次性或批次資料移轉作業，並定期執行 (例如每天或每月)。為確保 BigQuery 資料一律為最新狀態，您可以監控及記錄移轉作業。

如要查看 BigQuery 資料移轉服務支援的資料來源清單，請參閱「支援的資料來源」。
串流載入 這個方法可讓您近乎即時地從訊息系統載入資料。

如要將資料串流至 BigQuery，您可以使用 Pub/Sub 中的 BigQuery 訂閱項目。Pub/Sub 可處理載入 BigQuery 的高處理量資料。支援即時資料串流，可在資料產生時載入。詳情請參閱「BigQuery 訂閱項目」。
變更資料擷取 (CDC) 這個方法可讓您以近乎即時的方式，將資料從資料庫複製到 BigQuery。

Datastream 可將資料庫中的資料串流至 BigQuery 資料，並近乎即時地複製。Datastream 會運用 CDC 功能，追蹤及複製資料來源中的資料列層級變更。

如要查看 Datastream 支援的資料來源清單，請參閱「來源」。
與外部資料來源整合 這個方法可讓您存取外部資料，而不必將資料載入 BigQuery。

BigQuery 支援透過 Cloud Storage 和聯合查詢存取特定外部資料來源。這種方法的優點是，您不必先載入資料，再轉換資料以供後續使用。只要對外部資料執行 SELECT 陳述式，即可執行轉換。

您也可以使用下列程式輔助方法載入資料：

載入方法 說明
批次載入 您可以建立載入工作，從 Cloud Storage 或本機檔案載入資料。

如果來源資料不常變更，或您不需要持續更新結果，載入工作可以是一種成本較低、資源密集度較低的方式，將資料載入 BigQuery。

載入的資料可以採用 Avro、CSV、JSON、ORC 或 Parquet 格式。如要建立載入工作，您也可以使用 LOAD DATA SQL 陳述式。

Spark 和各種 ETL 合作夥伴等熱門開放原始碼系統，也支援將資料批次載入 BigQuery。

如要最佳化批次載入資料表，避免達到每日載入限制，請參閱「最佳化載入工作」。
串流載入 如需支援自訂串流資料來源，或在以高處理量將資料串流至 BigQuery 前預先處理資料，請使用 Dataflow。

如要進一步瞭解如何從 Dataflow 載入至 BigQuery，請參閱「從 Dataflow 寫入 BigQuery」。

您也可以直接使用 BigQuery Storage Write API (gRPC)。

如要最佳化串流至資料表的作業，避免達到每日載入限制，請參閱「最佳化載入工作」。

Cloud Data Fusion 可協助您進行 ETL 程序。BigQuery 也與第三方合作夥伴合作，將資料轉換並載入 BigQuery。

BigQuery 可讓您建立外部連線，查詢儲存在 BigQuery 外部的資料，例如 Cloud Storage 或 Spanner 等 Google Cloud 服務，或 Amazon Web Services (AWS) 或 Microsoft Azure 等第三方來源。這些外部連結會使用 BigQuery Connection API。詳情請參閱「連線簡介」。

其他資料取得方式

您可以對資料執行查詢，不必自行將資料載入 BigQuery。以下各節將說明一些替代方案。

以下列出部分替代方案：

對公開資料執行查詢

公開資料集是儲存在 BigQuery 中並與大眾共用的資料集。詳情請參閱 BigQuery 公開資料集。

對共用資料執行查詢

如要對他人與您共用的 BigQuery 資料集執行查詢，請參閱「BigQuery sharing (舊稱 Analytics Hub) 簡介」。Sharing 是資料交換平台，可共用資料。

使用記錄資料執行查詢

您可以對記錄執行查詢，而不必建立額外的載入工作：

後續步驟