BigQuery 遷移簡介

BigQuery Migration Service 是一套全方位解決方案，可將資料倉儲遷移至 BigQuery。這項服務提供多項功能，可協助您完成遷移作業的每個階段，包括評估和規劃、各種 SQL 方言的 SQL 轉譯，以及資料移轉。

前往「遷移」>「服務」時，您可以在 BigQuery 控制台中找到 BigQuery 遷移服務。

透過 BigQuery Migration Service，您可以執行下列操作：

  • 評估：執行 BigQuery 遷移評估，規劃資料倉儲遷移作業。
  • 翻譯 SQL：翻譯服務會自動將 SQL 查詢轉換為 GoogleSQL，包括 Gemini 輔助的 SQL 自訂功能。您可以透過批次 SQL 翻譯器、互動式 SQL 翻譯器或 SQL 翻譯 API，將工作負載遷移至 BigQuery。
  • 移轉資料：設定資料移轉作業，將資料從資料來源載入至 BigQuery。詳情請參閱「什麼是 BigQuery 資料移轉服務？」。
  • 註冊或遷移開放式湖倉：將外部目錄 (例如 Apache Hive Metastore 和 Apache Iceberg REST 目錄) 的中繼資料，遷移至 Lakehouse REST 目錄資料表，以供 Apache Iceberg 使用。

您也可以使用下列開放原始碼工具，協助完成遷移程序：

  • 資料遷移工具：使用資料遷移工具，自動將資料倉儲遷移至 BigQuery。這項工具會使用 BigQuery 資料移轉服務、BigQuery 翻譯服務和資料驗證工具，轉移資料、翻譯及驗證 DDL、DML 和 SQL 查詢。
  • 資料驗證工具：將資料遷移至 BigQuery 後，請執行資料驗證工具，確認來源和目的地資料表相符。
  • BigQuery 權限對應工具：使用權限對應工具，自動建立及維護使用者可修改的權限對應。您可以使用權限對應工具分析及調解重複的權限和使用者群組，同時產生錯誤報告。這項工具會輸出 JSON 和 Terraform 指令碼，用於建立 BigQuery 群組、使用者和繫結。
  • Managed Service for Apache Airflow 範本：使用 Managed Service for Apache Airflow 範本，簡化建立新 Airflow DAG 的程序，或將現有的協調式工作從地端遷移至雲端。
  • Cloud Foundation Fabric：查看 Terraform 範例和模組，適用於Google Cloud，包括全機構適用的到達區域藍圖、網路模式和產品功能的參考藍圖，以及可調整的模組庫。

遷移來源

BigQuery 遷移服務支援將下列資料倉儲遷移至 BigQuery：

配額

配額和限制適用於工作數量和檔案大小。如要進一步瞭解移轉服務配額和限制，請參閱「配額和限制」。

定價

使用 BigQuery Migration API 不會產生費用。不過，輸入和輸出檔案所用的儲存空間仍須支付一般費用。詳情請參閱儲存空間價格。

此外，您可以使用 Google Cloud Migration Center 的成本估算功能，產生遷移至 BigQuery 的資料倉儲設定執行成本估算。詳情請參閱「開始估算費用」和「指定資料倉儲需求」。

後續步驟