載入、轉換及匯出資料簡介

本文說明資料整合方法，說明如何使用擷取、載入和轉換 (ELT) 或擷取、轉換、載入 (ETL) 程序，在 BigQuery 中載入及轉換資料。此外，本課程也會說明如何從 BigQuery 匯出資料，以便在其他系統中套用洞察資訊，也就是反向 ETL。

決定要使用 ELT 或 ETL

在將資料載入 BigQuery 之前或之後，通常會先轉換資料。基本決策是，在將資料載入 BigQuery 之前轉換資料 (擷取、轉換、載入或 ETL 方法)，或將原始資料載入 BigQuery 並使用 BigQuery 執行轉換 (擷取、載入、轉換或 ELT 方法)。

下圖顯示使用 ELT 或 ETL 將資料整合至 BigQuery 的各種選項。

一般來說，我們建議大多數客戶採用 ELT 方法。ELT 工作流程將複雜的資料整合拆分為兩個可管理的部分：擷取和載入，然後轉換。使用者可以根據需求，選擇各種資料載入方法。資料載入 BigQuery 後，熟悉 SQL 的使用者可以透過 Dataform 等工具開發轉換管道。

以下各節將進一步詳細說明各項工作流程。

載入及轉換資料

在將資料載入 BigQuery 之前或之後，通常會先轉換資料。以下各節將說明資料整合的兩種常見方法：ETL 和 ELT。

ELT 資料整合方法

採用擷取、載入及轉換 (ELT) 方法時，您會透過兩個獨立步驟執行資料整合：

• 擷取及載入資料
• 轉換資料

例如，您可以從 JSON 檔案來源擷取資料，並載入 BigQuery 資料表。接著，您可以使用管道擷取欄位並轉換至目標資料表。

ELT 方法可透過下列方式簡化資料整合工作流程：

• 不再需要其他資料處理工具
• 將通常很複雜的資料整合程序，拆分為兩個易於管理的部分
• 充分運用 BigQuery 的功能，大規模準備、轉換及最佳化資料

擷取及載入資料

在 ELT 資料整合方法中，您會從資料來源擷取資料，並使用任何支援的載入或存取外部資料方法，將資料載入 BigQuery。

在 BigQuery 轉換資料

將資料載入 BigQuery 後，您可以使用下列工具準備及轉換資料：

• 如要協作建構、測試、記錄及排定進階 SQL 資料轉換管道，請使用 Dataform。
• 如要定期執行 SQL 程式碼、Python 筆記本或資料準備作業，處理較小的資料轉換工作流程，請使用 BigQuery 管道。
• 如要清理資料以進行分析，請使用 AI 輔助資料準備功能。

這些工具都由 Dataform API 提供技術支援。

詳情請參閱「轉換簡介」。

ETL 資料整合方法

在擷取、轉換、載入 (ETL) 方法中，您會在資料到達 BigQuery 之前擷取及轉換資料。如果您已有資料轉換程序，或想減少 BigQuery 的資源用量，這個方法就很實用。

Cloud Data Fusion 可協助您進行 ETL 程序。BigQuery 也與第三方合作夥伴合作，將資料轉換並載入 BigQuery。

正在匯出資料

在 BigQuery 中處理及分析資料後，您可以匯出結果，以便在其他系統中套用。BigQuery 支援下列匯出作業：

• 將查詢結果匯出至本機檔案、Google 雲端硬碟、Google 試算表
• 將資料表或查詢結果匯出至 Cloud Storage、Bigtable、Spanner、AlloyDB for PostgreSQL 和 Pub/Sub

這項程序稱為反向 ETL。

詳情請參閱「BigQuery 資料匯出簡介」。

後續步驟

• 進一步瞭解如何將資料載入 BigQuery。
• 進一步瞭解如何在 BigQuery 轉換資料。
• 進一步瞭解如何在 BigQuery 匯出資料。