Dataflow を使用して外部 Iceberg カタログからボーダレス Lakehouse にデータをインポートする

ユースケースによっては、外部の Iceberg REST Catalog（IRC）テーブルを既存の Lakehouse テーブルに接続する必要がある場合があります。Dataflow のジョブビルダー UI を使用すると、外部のオープンソース Iceberg カタログ テーブルを Lakehouse に移行するパイプラインを、ローコードまたはノーコードで構築できます。このプロセスでは、データを統合された Lakehouse 管理の Iceberg 形式に統合して、エンジン間の分析を行うことができます。

次の接続の詳細を使用して、外部 Iceberg カタログからデータをインポートします。

テーブルをインポートした後、変更データを定期的にインポートして、ソーステーブルの更新を Lakehouse テーブルに同期できます。詳細については、Dataflow を使用して Apache Iceberg 変更データ キャプチャ（CDC）データをボーダーレス Lakehouse に移行するをご覧ください。

始める前に

データをインポートするには、次のものが必要です。

  1. 外部 Iceberg REST カタログの接続情報。たとえば、カタログ名、名前空間、テーブル名、アカウント URI、カタログにアクセスするロールなどです。
  2. データをインポートする Lakehouse Iceberg カタログ、名前空間、テーブル。

サポートと制限事項

Dataflow を使用して外部 Iceberg カタログから Lakehouse にデータをインポートする場合、次の制限があります。

  • この機能は、IRC（Iceberg Rest Catalog）をサポートする外部で利用可能な Iceberg プロバイダから Lakehouse への読み取りをサポートしています。他の Iceberg カタログ タイプはサポートされていません。
  • この機能は、バッチ パイプラインとストリーミング パイプラインをサポートしています。

外部 Iceberg カタログ テーブルをインポートする

外部 Iceberg カタログ テーブルを Lakehouse にインポートするには、次の操作を行います。

  1. Google Cloud コンソールで、[Lakehouse ランタイム カタログ] ページに移動します。

    Lakehouse ランタイム カタログに移動

  2. データをインポートするカタログ、名前空間、テーブルを選択します。

  3. [テーブルの詳細] ページで、 [テーブルをインポート] をクリックし、[Apache Iceberg REST Catalog から（バッチ）] を選択します。

    Dataflow の [ジョブビルダー] ページが開きます。

  4. [ソース] セクションで、次の操作を行います。

    1. [Iceberg テーブル] ソースパネルを開くには、 展開矢印をクリックします。

    2. [Iceberg テーブル] フィールドに、Apache Iceberg テーブルの識別子を入力します。

    3. [カタログ名] フィールドに、カタログの名前を入力します。

    4. [フィルタ] フィールドに、使用する Iceberg フィルタを入力します。例: id > 5

    5. 省略可: ソーステーブルの列の変更を指定するには、[列を保持] セクションまたは [列を削除] セクションを使用します。

    6. [カタログのプロパティ] セクションの [カタログのタイプ] リストで、カタログのタイプを選択します。

    7. [カタログ URI] フィールドに、カタログの URI を入力します。例: http://localhost:8181

    8. [Warehouse name] フィールドに、カタログ名を入力します。

      一部の外部 Iceberg REST カタログ プロバイダでは、ウェアハウスが抽象化され、カタログ名がウェアハウス名として提供されます。

    9. [認証タイプ] リストで、認証タイプを選択します。例: OAUTH2

  5. 省略可: [変換] セクションで、ソースデータに変換を追加します。

  6. [シンク] セクションで、次の操作を行います。

    1. 省略可: Lakehouse テーブル シンクパネルを確認します。通常、このパネルの情報（Lakehouse テーブル、カタログ名、ウェアハウスの場所など）は事前入力されています。

  7. [Dataflow オプション] セクションで、[ジョブを実行] をクリックします。

次のステップ