使用 Dataflow 工作建構工具,將 Delta Lake 資料表匯入無邊界 Lakehouse

Dataflow 工作建構工具可讓您透過低程式碼或無程式碼介面,直接將 Cloud Storage Delta Lake 資料表匯入無邊界 Lakehouse,降低大規模資料遷移的複雜度。自動調度資源的 Dataflow 批次工作會將資料複製到 Lakehouse 中的目標 Apache Iceberg 資料表,並自動建立新資料表的結構定義,而現有資料表則需要相符的結構定義。

匯入資料後,您可以選擇啟用連續遷移。

事前準備

如要匯入 Delta Lake 資料表資料,您需要:

  1. 啟用 Dataflow、BigQuery 和 Lakehouse API (如有尚未啟用的 API)。

    啟用 API 所需的角色

    您必須具備 serviceusage.services.enable 權限,才能啟用 API。如果您建立了專案,可能已透過「擁有者」角色 (roles/owner) 取得這項權限。否則,您可以透過「Service Usage 管理員」角色 (roles/serviceusage.serviceUsageAdmin) 取得這項權限。瞭解如何授予角色。

    啟用 API

  2. 如要取得建立資源所需的權限,請要求管理員授予您專案的必要 Identity and Access Management (IAM) 角色。

  3. 儲存在 Cloud Storage bucket 的現有 Delta Lake 資料表。資料表目錄必須是有效的 Delta Lake 資料表根目錄,其中包含 Parquet 資料檔案和 _delta_log/ 交易記錄目錄。

  4. 要匯入資料的 Lakehouse Iceberg 目錄、命名空間和資料表。

支援與限制

使用 Dataflow 將 Delta Lake 資料表資料匯入 Lakehouse 時,有下列限制:

  • 您必須使用批次管道工作,才能使用這項功能。
  • 現有目的地資料表的結構定義不會修改。目的地資料表結構定義必須正確對應至來源 Delta Lake 資料表結構定義。
  • 來源資料必須是儲存在 Cloud Storage 的有效 Delta Lake 資料表。資料表根目錄必須包含 Parquet 資料檔案,以及 Delta Lake 建立的 _delta_log/ 交易記錄目錄 (內含 JSON 或 Parquet 記錄檔)。
  • Delta Lake 資料表來源不支援 Amazon S3。

匯入 Delta Lake 資料表

如要將 Delta Lake 資料表匯入 Lakehouse,請完成下列步驟:

  1. 前往 Google Cloud 控制台的「Lakehouse runtime catalog」(Lakehouse 執行階段目錄) 頁面。

    前往 Lakehouse 執行階段目錄

  2. 選取要匯入資料的目錄、命名空間和資料表。

  3. 在「Table details」(資料表詳細資料) 頁面中,按一下 「Import table」(匯入資料表),然後選取「From Delta Lake (Batch)」(從 Delta Lake (批次))。

    Dataflow 的「Job builder」(工作建構工具) 頁面隨即開啟,並載入「Delta Lake to Lakehouse」(Delta Lake 至 Lakehouse) 藍圖。

  4. 在「Sources」(來源) 部分:

    1. 如要展開「ReadFromDeltaLake」Delta Lake 資料表來源面板,請按一下 展開箭頭。

    2. 在「Table path」(資料表路徑) 欄位中,輸入 Delta Lake 資料表根目錄 (包含資料檔案和 _delta_log/ 目錄) 的 Cloud Storage URI。例如:gs://BUCKET_NAME/tables/TABLE_NAME。

    3. 選用:在「Hadoop configuration properties」(Hadoop 設定屬性) 欄位中,設定從 Cloud Storage 讀取資料所需的任何其他 Hadoop 設定屬性。例如:fs.gs.impl=com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem。

    4. 按一下「完成」。

  5. 在「Sink」(接收器) 部分:

    1. 選用:查看「WriteToIceberg」Lakehouse 資料表接收器面板。這個面板中的資訊 (例如 Lakehouse 資料表、目錄名稱和倉儲位置) 通常會預先填入。

    2. 按一下「完成」。

  6. 在「Dataflow 選項」部分,點選「執行工作」。

如要進一步自訂用於匯入 Delta Lake 資料表的 Dataflow 管道,可以使用工作建構工具表單或 YAML 編輯器。

查看工作輸出內容

工作完成後,您可以在 BigQuery 中查詢資料,確認資料已複製到 Lakehouse 資料表。

  1. 在 Dataflow 工作清單中,確認工作狀態為「Succeeded」(已成功)。

    前往工作

  2. 如果工作失敗或發生錯誤,請查看工作記錄或 worker 記錄,瞭解詳細資訊。

  3. 前往 Google Cloud 控制台的「BigQuery Studio」頁面。

    前往「BigQuery」

  4. 在查詢編輯器中輸入 SQL 查詢,檢查資料表。您可以使用 PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAME 慣例查詢:

    SELECT * FROM `PROJECT_ID`.`CATALOG`.`NAMESPACE`.`TABLE_NAME` LIMIT 10;
    
  5. 按一下「Run」。

  6. 查看「查詢結果」,確認資料已正確處理。

選用。啟用持續遷移

如要設定從 Delta Lake 到 Lakehouse 的端對端持續遷移作業,請完成下列作業:

  1. 在輸入 Delta Lake 資料表上啟用 delta.enableChangeDataFeed 屬性。
  2. 設定 delta.enableChangeDataFeed 屬性後,請先將資料表遷移至修訂版本 ID 或時間戳記。
  3. 根據工作負載需求,選擇合適的頻率 (修訂版本 ID 或時間戳記範圍),為後續資料執行排定的 CDC 工作。

詳情請參閱「使用 Dataflow 將 Delta Lake 變更資料擷取 (CDC) 資料遷移至 Lakehouse」。

後續步驟