BigQuery 遷移簡介

BigQuery 遷移服務是一套全方位解決方案，可將資料倉儲遷移至 BigQuery。這項服務提供各個遷移階段所需的工具，包括評估和規劃、多種 SQL 方言的 SQL 轉譯，以及資料移轉，協助您以最少的手動作業轉移工作負載。

如要存取 BigQuery 遷移服務，請前往 Google Cloud 控制台的 「BigQuery」頁面，然後依序選取「遷移」>「服務」。

遷移功能和工具

BigQuery 遷移服務可讓您執行下列操作：

  • 評估：執行 BigQuery 遷移評估，規劃資料倉儲遷移作業。
  • 翻譯 SQL：翻譯服務會自動將 SQL 查詢轉換為 GoogleSQL，包括 Gemini 強化 SQL 自訂功能。您可以使用批次 SQL 翻譯器、互動式 SQL 翻譯器或 SQL 翻譯 API，將工作負載遷移至 BigQuery。
  • 移轉資料：設定資料移轉作業，將資料從資料來源載入 BigQuery。詳情請參閱「什麼是 BigQuery 資料移轉服務？」。
  • 註冊或遷移開放式湖倉：將中繼資料從外部目錄 (例如 Apache Hive Metastore 和 Apache Iceberg REST 目錄) 遷移至 Apache Iceberg 的 Lakehouse REST 目錄資料表。

您也可以使用下列開放原始碼工具，協助您完成遷移程序：

  • 資料遷移工具：使用資料遷移工具，自動將資料倉儲遷移至 BigQuery。這項工具會使用 BigQuery 資料移轉服務、BigQuery 翻譯服務和資料驗證工具，來移轉資料，以及翻譯和驗證 DDL、DML 和 SQL 查詢。
  • 資料驗證工具：將資料遷移至 BigQuery 後，請執行資料驗證工具，驗證來源和目的地資料表是否相符。
  • BigQuery 權限對應工具：使用權限對應工具，自動建立及維護使用者可修改的權限對應。您可以使用權限對應工具分析及協調重複的權限和使用者群組，同時產生錯誤報告。這項工具會輸出 JSON 和 Terraform 指令碼，用於建立 BigQuery 群組、使用者和繫結。
  • Managed Service for Apache Airflow 範本：使用 Managed Service for Apache Airflow 範本，簡化建立新 Airflow DAG 的程序，或將現有的自動化調度管理工作從地端部署環境遷移至雲端。
  • Cloud Foundation Fabric：查看 Google Cloud的 Terraform 範例和模組，包括全組織的登陸區藍圖、網路模式和產品功能的參考藍圖，以及可調整的模組程式庫。

遷移來源

BigQuery 遷移服務支援將下列資料倉儲遷移至 BigQuery：

配額

工作數量和檔案大小皆有配額和限制。如要進一步瞭解遷移服務配額和限制，請參閱「配額與限制」。

定價

使用 BigQuery Migration API 無須付費。不過，輸入和輸出檔案使用的儲存空間會產生一般費用。詳情請參閱儲存空間定價。

此外，您可以使用 Google Cloud Migration Center 的費用估算功能，產生遷移至 BigQuery 的資料倉儲設定執行費用估算。詳情請參閱「開始費用估算」和「指定資料倉儲技術需求」。

後續步驟