使用 Dataflow 將外部 Iceberg 目錄中的資料匯入無邊界 Lakehouse

在某些情況下,您可能需要將外部 Iceberg REST 目錄 (IRC) 資料表連結至現有的 Lakehouse 資料表。Dataflow 的工作建構工具 UI 可讓您建構管道,以低程式碼或無程式碼方式,將外部開放原始碼 Iceberg 目錄資料表遷移至 Lakehouse。這個程序可讓您將資料整合至統一的 Lakehouse 管理 Iceberg 格式,以進行跨引擎分析。

使用下列連線詳細資料,從外部 Iceberg 目錄匯入資料。

匯入資料表後,您可以定期匯入變更資料,將來源資料表的更新內容同步至 Lakehouse 資料表。詳情請參閱「使用 Dataflow 將 Apache Iceberg 變更資料擷取 (CDC) 資料遷移至無邊界的 Lakehouse」。

事前準備

如要匯入資料,請準備下列項目:

  1. 外部 Iceberg REST 目錄的連線資訊。例如:目錄名稱、命名空間、表格名稱、帳戶 URI,以及存取目錄的角色。
  2. Lakehouse Iceberg 目錄、命名空間和資料表,用於匯入資料。

支援與限制

使用 Dataflow 將外部 Iceberg 目錄中的資料匯入 Lakehouse 時,有以下限制:

  • 這項功能支援從外部可用的 Iceberg 提供者讀取資料,並將支援 IRC (Iceberg REST 目錄) 的資料匯入 Lakehouse。不支援其他 Iceberg 目錄類型。
  • 這項功能支援批次和串流管道。

匯入外部 Iceberg 目錄資料表

如要將外部 Iceberg 目錄資料表匯入 Lakehouse,請完成下列步驟:

  1. 前往 Google Cloud 控制台的「Lakehouse runtime catalog」(Lakehouse 執行階段目錄) 頁面。

    前往 Lakehouse 執行階段目錄

  2. 選取要匯入資料的目錄、命名空間和資料表。

  3. 在「資料表詳細資料」頁面中,按一下「匯入資料表」,然後選取「從 Apache Iceberg REST 目錄 (批次)」。

    Dataflow 的「Job builder」(工作建立工具) 頁面隨即開啟。

  4. 在「來源」部分:

    1. 如要展開 Iceberg 表格來源面板,請按一下展開箭頭。

    2. 在「Iceberg table」(Iceberg 資料表) 欄位中,輸入 Apache Iceberg 資料表的 ID。

    3. 在「目錄名稱」欄位中輸入目錄名稱。

    4. 在「Filter」欄位中,輸入要使用的 Iceberg 篩選條件。例如:id > 5。

    5. 選用:如要指定來源資料表資料欄變更,請使用「保留資料欄」或「捨棄資料欄」部分。

    6. 在「目錄屬性」部分的「目錄類型」清單中,選取目錄類型。

    7. 在「目錄 URI」欄位中,輸入目錄的 URI。例如:http://localhost:8181。

    8. 在「倉庫名稱」欄位中,輸入目錄名稱。

      對於部分外部 Iceberg REST 目錄供應商,倉儲會經過抽象化,目錄名稱會以倉儲名稱的形式提供。

    9. 在「驗證類型」清單中,選取驗證類型。例如:OAUTH2。

  5. 選用步驟:在「轉換」部分,為來源資料新增轉換。

  6. 在「Sink」(接收器) 部分:

    1. 選用:查看「Lakehouse table」(Lakehouse 資料表) 接收器面板。這個面板中的資訊 (例如 Lakehouse 資料表、目錄名稱和倉庫位置) 通常會預先填入。
  7. 在「Dataflow options」(Dataflow 選項) 部分,按一下「Run job」(執行工作)。

後續步驟