Mengimpor data dari katalog Iceberg eksternal ke Lakehouse untuk Apache Iceberg menggunakan Dataflow

Kasus penggunaan Anda mungkin mengharuskan Anda menghubungkan tabel Katalog REST Iceberg (IRC) eksternal ke tabel Lakehouse untuk Apache Iceberg yang sudah ada. UI builder tugas Dataflow memungkinkan Anda membangun pipeline yang memigrasikan tabel katalog Iceberg open source eksternal ke Lakehouse dengan cara low-code atau no-code. Proses ini memungkinkan Anda menggabungkan data ke dalam format Iceberg yang dikelola Lakehouse dan terpadu untuk analisis lintas-mesin.

Gunakan detail koneksi berikut untuk mengimpor data dari katalog Iceberg eksternal.

Sebelum memulai

Untuk mengimpor data, Anda memerlukan hal berikut:

  1. Informasi koneksi untuk Katalog REST Iceberg eksternal. Misalnya: nama katalog, namespace, nama tabel, URI akun, dan peran untuk mengakses katalog.
  2. Katalog, namespace, dan tabel Iceberg Lakehouse untuk mengimpor data.

Dukungan dan batasan

Mengimpor data dari katalog Iceberg eksternal ke Lakehouse untuk Apache Iceberg menggunakan Dataflow memiliki batasan berikut:

  • Fitur ini mendukung pembacaan dari penyedia Iceberg yang tersedia secara eksternal yang mendukung IRC (Iceberg Rest Catalog) ke Lakehouse. Jenis katalog Iceberg lainnya tidak didukung.
  • Fitur ini mendukung pipeline batch dan streaming.

Mengimpor tabel katalog Iceberg eksternal

Untuk mengimpor tabel katalog Iceberg eksternal ke Lakehouse untuk Apache Iceberg, selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Metastore Lakehouse.

    Buka katalog runtime Lakehouse

  2. Pilih katalog, namespace, dan tabel tempat Anda ingin mengimpor data.

  3. Di halaman Detail tabel, klik Impor tabel.

  4. Dalam dialog Konfigurasi impor, pilih Impor tabel dari Apache Iceberg REST Catalog ke Lakehouse (Batch).

    Halaman Job builder Dataflow akan terbuka.

  5. Di bagian Sumber:

    1. Untuk meluaskan panel sumber Tabel gunung es, klik panah peluas .

    2. Di kolom Tabel Iceberg, masukkan ID tabel Apache Iceberg.

    3. Di kolom Catalog name, masukkan nama katalog.

    4. Di kolom Filter, masukkan filter Iceberg yang akan digunakan. Contoh, id > 5.

    5. Opsional: Untuk menentukan perubahan kolom tabel sumber, gunakan bagian Pertahankan kolom atau Hapus kolom.

    6. Di daftar Jenis katalog pada bagian Properti katalog, pilih jenis katalog.

    7. Di kolom Catalog URI, masukkan URI katalog. Contoh, http://localhost:8181.

    8. Di kolom Warehouse name, masukkan nama katalog.

      Untuk beberapa penyedia Katalog REST Iceberg eksternal, gudang diabstraksi, dan nama katalog diberikan sebagai nama gudang.

    9. Di daftar Authentication type, pilih jenis autentikasi. Contoh, OAUTH2.

  6. Opsional: Di bagian Transformasi, tambahkan transformasi apa pun ke sumber data.

  7. Di bagian Sink:

    1. Opsional: Tinjau panel sink tabel Lakehouse. Informasi di panel ini, seperti tabel Lakehouse, nama katalog, dan lokasi gudang, biasanya sudah terisi otomatis.

  8. Di bagian Opsi Dataflow, klik Jalankan tugas.

Langkah berikutnya