資料匯出簡介

BigQuery 可讓您匯出資料，以便在其他工具、儲存系統和應用程式中使用。您可以將查詢結果儲存至檔案、將資料表匯出至 Cloud Storage，或設定反向 ETL (RETL) 工作流程，將資料傳送至 Bigtable 和 Spanner 等服務。

如要進一步瞭解資料整合，請參閱「載入、轉換及匯出資料簡介」。

匯出查詢結果

您可以將查詢結果匯出至本機檔案 (CSV 或 JSON 檔案)、Google 雲端硬碟或 Google 試算表。詳情請參閱「將查詢結果匯出至檔案」。

匯出資料表

您可以將 BigQuery 資料表匯出為下列資料格式：

資料格式 支援的壓縮類型 支援的匯出方法
CSV GZIP 匯出至 Cloud Storage
JSON GZIP 匯出至 Cloud Storage
使用 Dataflow 讀取 BigQuery 資料
Avro DEFLATE、SNAPPY 匯出至 Cloud Storage
使用 Dataflow 讀取 BigQuery 資料
Parquet GZIP、SNAPPY、ZSTD 匯出至 Cloud Storage

如果處理的巢狀資料結構需要物件類型安全，或需要更廣泛的語言支援，您也可以將 BigQuery 資料表匯出為 Protobuf 資料欄。

匯出大型資料表的注意事項

從 BigQuery 匯出大量資料時，請考量下列事項：

  • 資料量和格式：
    • 計算要匯出的資料量。匯出作業可能會產生高昂費用，具體取決於資料大小、格式、方法和地理位置。部分資源以 GiB 為單位計費，其他資源則以 TiB 為單位計費。
    • 請選擇與分析工具和資料結構相容的格式。舉例來說，CSV 無法處理巢狀或重複欄位。檢查資料類型相容性。
    • 建議您使用壓縮格式，縮減大小並降低費用。
  • 匯出費用：
    • 部分匯出方法在一定額度內免費，其他方法則一律會產生費用。詳情請參閱「資料擷取定價」。
    • 如果 BigQuery 資料表和目的地 (例如 Cloud Storage bucket) 位於不同位置，可能需要支付費用。
  • 配額：部分匯出方法有每日上限。詳情請參閱「擷取工作」。
  • 多個檔案：大型匯出作業會分割成多個檔案。請考量如何管理這些下游檔案。
  • 自動化：如要定期匯出，請使用 BigQuery 排定查詢或 Dataflow。
  • 資料保留政策：決定目的地資料集的保留期限，並實施生命週期規則，盡可能降低儲存空間費用。
  • 安全性與存取控管：實作適當的 IAM 權限和加密機制。

考量這些因素時，建議您先對資料子集執行測試匯出，評估費用、檔案大小、數量和時間。您可以在 EXPORT DATA SQL 陳述式中使用 WHERE 子句，限制測試匯出作業。

匯出 BigQuery 程式碼資產

您可以下載 BigQuery Studio 程式碼資產，例如已儲存的查詢或筆記本，在本機保留資產副本。如要進一步瞭解如何下載 BigQuery 程式碼資產，請參閱下列資源：

使用反向 ETL 匯出

您可以設定反向 ETL (RETL) 工作流程，將資料從 BigQuery 移至下列資料庫：

後續步驟