Anda dapat menggunakan blueprint builder tugas Dataflow untuk menambahkan file Apache Parquet yang ada dari penyimpanan berbasis cloud (Cloud Storage, Amazon S3, atau Azure Blob Storage) ke tabel Apache Iceberg di Lakehouse tanpa batas.
Proses ini menggunakan transformasi
IcebergAddFiles.
Jika file Parquet Anda berada di Cloud Storage, transformasi ini akan mendaftarkan file ke Lakehouse tanpa memindahkan atau menulis ulang data yang mendasarinya. Jika file Anda berada di sistem penyimpanan eksternal seperti Amazon S3, file tersebut akan disalin ke Cloud Storage untuk kueri yang lebih cepat melalui Lakehouse, lalu didaftarkan.
Gunakan detail koneksi berikut untuk menambahkan file Parquet dari penyimpanan berbasis cloud ke tabel Apache Iceberg di Lakehouse.
Sebelum memulai
Aktifkan API Dataflow, BigQuery, dan Lakehouse.
Untuk mendapatkan izin yang diperlukan guna membuat resource, minta administrator untuk memberi Anda peran Identity and Access Management (IAM) yang diperlukan di project Anda.
Membuat katalog, namespace, dan tabel Lakehouse untuk mengimpor data.
Buat bucket penyimpanan berbasis cloud (Cloud Storage, Amazon S3, atau Azure Blob Storage) dan upload file Parquet Anda ke bucket tersebut.
Jika bucket penyimpanan berbasis cloud yang Anda gunakan bukan Cloud Storage Google, buat bucket Cloud Storage untuk menyimpan log error tugas Anda.
Dukungan dan batasan
Mengimpor file Parquet di penyimpanan berbasis cloud ke Lakehouse menggunakan Dataflow memiliki batasan berikut:
- Data sumber harus dalam format Apache Parquet dan disimpan di Cloud Storage, Amazon S3, atau Azure Blob Storage.
- Fitur ini hanya mendukung pipeline batch.
Mengimpor file Parquet ke Lakehouse
Gunakan langkah-langkah berikut untuk mengimpor file Parquet dari penyimpanan berbasis cloud ke tabel Iceberg di Lakehouse menggunakan UI builder tugas Dataflow.
Di konsol Google Cloud , buka halaman Lakehouse.
Pilih katalog, namespace, dan tabel tempat Anda ingin mengimpor data.
Di halaman Table details, klik Import table, lalu pilih From Apache Parquet files (Batch).
Halaman Job builder Dataflow akan terbuka.
Di bagian Sources:
Buka entri sumber CreateGlobalInput yang sudah dibuat.
Di bagian editor YAML source configuration, masukkan satu atau beberapa jalur ke file Parquet Anda dalam urutan
elements.Untuk meningkatkan efisiensi impor, tentukan beberapa set file (glob) saat Anda mendaftarkan file dalam jumlah besar. Contoh:
reshuffle: true elements: - gs://BUCKET_NAME/restaurant-data/2023/*.parquet - gs://BUCKET_NAME/restaurant-data/2024/*.parquetKlik Done.
Di bagian Transforms:
Klik bagian transformasi IcebergAddFiles untuk membukanya.
Di kolom Iceberg table, masukkan namespace dan nama tabel. Contoh: NAMESPACE .TABLE_NAME .
Opsional: Di kolom Manifest file size, masukkan jumlah file data yang akan disertakan dalam setiap file manifes. Nilai defaultnya adalah 10.000.
Di bagian Properti katalog, konfigurasikan item berikut:
warehouse: Lokasi Cloud Storage katalog Anda. Contoh,
gs://CATALOG_PATH.header.x-goog-user-project: Project ID Google Cloud Anda: PROJECT_ID.
Opsional: Agar tugas mengupdate skema tabel tujuan agar sesuai dengan file Parquet Anda, pilih satu atau beberapa opsi dalam daftar Schema evolution. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi evolusi skema.
Klik Done.
Jika Anda bermigrasi dari Amazon S3 atau Azure Blob Storage, Anda harus menyediakan konfigurasi tambahan untuk menyalin file Parquet ke Cloud Storage. Hal ini tidak diperlukan jika file Anda sudah ada di Cloud Storage.
Klik bagian transformasi CopyFilesToGCS untuk membukanya.
Tetapkan nilai parameter konfigurasi gcs_file_path untuk menyediakan bucket Cloud Storage yang sepenuhnya memenuhi syarat untuk menyalin file sementara. Sebaiknya gunakan bucket Cloud Storage yang sama dengan yang digunakan oleh warehouse Lakehouse.
Klik Done.
Klik bagian Dataflow Options untuk membukanya.
Jika file Parquet Anda berada di Amazon S3, klik add additional pipeline options untuk memberikan opsi pipeline terkait S3 Apache Beam. Misalnya, s3_region_name, s3_access_key_id, s3_secret_access_key, dan nilai yang sesuai.
Jika file Parquet Anda berada di Azure Blob Storage, klik add additional pipeline options untuk memberikan opsi pipeline Apache Beam yang terkait dengan Azure. Misalnya, azure_connection_string, blob_service_endpoint, azure_managed_identity_client_id, dan nilai yang sesuai.
Di bagian Sinks:
Klik sink Write results untuk membukanya.
Di kolom JSON location, tentukan lokasi Cloud Storage dan nama file untuk menulis hasil error. Contoh:
gs://BUCKET_NAME/errors/errors.jsonKlik Done.
Di bagian Dataflow Options, klik Run job.
Jika perlu menyesuaikan lebih lanjut pipeline Dataflow yang digunakan untuk mendaftarkan file Parquet, Anda dapat melakukannya menggunakan formulir pembuat tugas atau editor YAML.
Mengonfigurasi evolusi skema
Secara default, transformasi IcebergAddFiles tidak mengubah skema tabel tujuan. Dengan menggunakan tugas batch, Anda dapat mengaktifkan evolusi skema untuk memeriksa footer setiap file Parquet dan memperbarui skema tabel sebelum mendaftarkan file. Jika tabel tujuan tidak ada, tugas akan membuat tabel dari skema gabungan file Parquet.
Untuk mengaktifkan evolusi skema di bagian transformasi IcebergAddFiles, pilih satu atau beberapa opsi dari daftar Schema evolution:
- Tambahkan kolom: menambahkan kolom dari file Parquet yang tidak ada dalam tabel sebagai kolom opsional.
- Jadikan kolom opsional: mengubah kolom tabel wajib menjadi opsional jika file menghilangkan kolom atau dapat berisi nilai null di dalamnya.
- Memperluas jenis kolom: memperluas jenis data kolom, seperti dari
intmenjadilong.
Jika ada file data yang memiliki skema yang tidak kompatibel, pipeline akan gagal tanpa melakukan perubahan skema atau mendaftarkan file apa pun. Misalnya, skema tidak kompatibel jika memerlukan perubahan yang tidak Anda pilih atau bertentangan dengan tabel atau file lain.
Saat memilih setidaknya satu opsi Evolusi skema, Anda juga dapat menentukan kolom yang harus selalu ada dan tidak null, meskipun Buat kolom opsional dipilih. Luaskan Required columns, klik Add item, dan masukkan nilai di kolom Column name. Untuk kolom bertingkat, pisahkan nama kolom dengan titik, seperti address.city. File yang tidak menyertakan kolom wajib diisi atau
berisi nilai null di dalamnya akan dikirim ke output error.
Memeriksa output tugas
Setelah tugas selesai, Anda dapat memverifikasi bahwa data telah didaftarkan ke tabel Iceberg dengan mengkuerinya di BigQuery.
Dalam daftar tugas Dataflow, pastikan status tugasnya adalah Succeeded.
Jika tugas gagal atau mengalami error, periksa file log error JSON di Cloud Storage untuk mengetahui detailnya.
Di konsol Google Cloud , buka halaman BigQuery Studio.
Di editor kueri, masukkan kueri SQL untuk memeriksa tabel. Anda dapat menggunakan konvensi
PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAMEuntuk membuat kueri.SELECT * FROM `PROJECT_ID.CATALOG.NAMESPACE.TABLE_NAME` LIMIT 10Klik Run.
Tinjau Query results untuk memastikan data diproses dengan benar.
Langkah berikutnya
- Pelajari lebih lanjut di Tentang katalog runtime Lakehouse.
- Pelajari lebih lanjut di Ringkasan UI Builder Tugas Dataflow.