Dataflow 工作建構工具可讓您透過低程式碼或無程式碼介面,直接將 Cloud Storage Delta Lake 資料表匯入無邊界 Lakehouse,降低大規模資料遷移的複雜度。自動調度資源的 Dataflow 批次工作會將資料複製到 Lakehouse 中的目標 Apache Iceberg 資料表,並自動建立新資料表的結構定義,而現有資料表則需要相符的結構定義。
匯入資料後,您可以選擇啟用連續遷移。
事前準備
如要匯入 Delta Lake 資料表資料,您需要:
啟用 Dataflow、BigQuery 和 Lakehouse API (如有尚未啟用的 API)。
啟用 API 所需的角色
您必須具備
serviceusage.services.enable權限,才能啟用 API。如果您建立了專案,可能已透過「擁有者」角色 (roles/owner) 取得這項權限。否則,您可以透過「Service Usage 管理員」角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。如要取得建立資源所需的權限,請要求管理員授予您專案的必要 Identity and Access Management (IAM) 角色。
儲存在 Cloud Storage bucket 的現有 Delta Lake 資料表。資料表目錄必須是有效的 Delta Lake 資料表根目錄,其中包含 Parquet 資料檔案和
_delta_log/交易記錄目錄。要匯入資料的 Lakehouse Iceberg 目錄、命名空間和資料表。
支援與限制
使用 Dataflow 將 Delta Lake 資料表資料匯入 Lakehouse 時,有下列限制:
- 您必須使用批次管道工作,才能使用這項功能。
- 現有目的地資料表的結構定義不會修改。目的地資料表結構定義必須正確對應至來源 Delta Lake 資料表結構定義。
- 來源資料必須是儲存在 Cloud Storage 的有效 Delta Lake 資料表。資料表根目錄必須包含 Parquet 資料檔案,以及 Delta Lake 建立的
_delta_log/交易記錄目錄 (內含 JSON 或 Parquet 記錄檔)。 - Delta Lake 資料表來源不支援 Amazon S3。
匯入 Delta Lake 資料表
如要將 Delta Lake 資料表匯入 Lakehouse,請完成下列步驟:
前往 Google Cloud 控制台的「Lakehouse runtime catalog」(Lakehouse 執行階段目錄) 頁面。
選取要匯入資料的目錄、命名空間和資料表。
在「Table details」(資料表詳細資料) 頁面中,按一下 「Import table」(匯入資料表),然後選取「From Delta Lake (Batch)」(從 Delta Lake (批次))。
Dataflow 的「Job builder」(工作建構工具) 頁面隨即開啟,並載入「Delta Lake to Lakehouse」(Delta Lake 至 Lakehouse) 藍圖。
在「Sources」(來源) 部分:
如要展開「ReadFromDeltaLake」Delta Lake 資料表來源面板,請按一下 展開箭頭。
在「Table path」(資料表路徑) 欄位中,輸入 Delta Lake 資料表根目錄 (包含資料檔案和
_delta_log/目錄) 的 Cloud Storage URI。例如:gs://BUCKET_NAME/tables/TABLE_NAME。選用:在「Hadoop configuration properties」(Hadoop 設定屬性) 欄位中,設定從 Cloud Storage 讀取資料所需的任何其他 Hadoop 設定屬性。例如:
fs.gs.impl=com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem。按一下「完成」。
在「Sink」(接收器) 部分:
選用:查看「WriteToIceberg」Lakehouse 資料表接收器面板。這個面板中的資訊 (例如 Lakehouse 資料表、目錄名稱和倉儲位置) 通常會預先填入。
按一下「完成」。
在「Dataflow 選項」部分,點選「執行工作」。
如要進一步自訂用於匯入 Delta Lake 資料表的 Dataflow 管道,可以使用工作建構工具表單或 YAML 編輯器。
查看工作輸出內容
工作完成後,您可以在 BigQuery 中查詢資料,確認資料已複製到 Lakehouse 資料表。
在 Dataflow 工作清單中,確認工作狀態為「Succeeded」(已成功)。
如果工作失敗或發生錯誤,請查看工作記錄或 worker 記錄,瞭解詳細資訊。
前往 Google Cloud 控制台的「BigQuery Studio」頁面。
在查詢編輯器中輸入 SQL 查詢,檢查資料表。您可以使用
PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAME慣例查詢:SELECT * FROM `PROJECT_ID`.`CATALOG`.`NAMESPACE`.`TABLE_NAME` LIMIT 10;按一下「Run」。
查看「查詢結果」,確認資料已正確處理。
選用。啟用持續遷移
如要設定從 Delta Lake 到 Lakehouse 的端對端持續遷移作業,請完成下列作業:
- 在輸入 Delta Lake 資料表上啟用
delta.enableChangeDataFeed屬性。 - 設定
delta.enableChangeDataFeed屬性後,請先將資料表遷移至修訂版本 ID 或時間戳記。 - 根據工作負載需求,選擇合適的頻率 (修訂版本 ID 或時間戳記範圍),為後續資料執行排定的 CDC 工作。
詳情請參閱「使用 Dataflow 將 Delta Lake 變更資料擷取 (CDC) 資料遷移至 Lakehouse」。
後續步驟
- 詳情請參閱「BigQuery 中 Apache Iceberg 的 Lakehouse 資料表簡介」。
- 進一步瞭解如何定期將 Delta Lake CDC 資料遷移至 Lakehouse。
- 瞭解在 Lakehouse 擷取變更資料。
- 進一步瞭解如何使用工作建構工具 UI 建立自訂工作。