Mengimpor file Parquet dari penyimpanan ke Lakehouse tanpa batas menggunakan Dataflow

Anda dapat menggunakan cetak biru pembuat tugas Dataflow untuk menambahkan file Apache Parquet yang ada dari penyimpanan berbasis cloud (Cloud Storage, Amazon S3, atau Azure Blob Storage) ke tabel Apache Iceberg di Lakehouse tanpa batas.

Proses ini menggunakan IcebergAddFiles transformasi. Jika file Parquet Anda berada di Cloud Storage, transformasi ini akan mendaftarkan file ke Lakehouse tanpa memindahkan atau menulis ulang data yang mendasarinya. Jika file Anda berada di sistem penyimpanan eksternal seperti Amazon S3, file tersebut akan disalin ke Cloud Storage untuk kueri yang lebih cepat melalui Lakehouse, lalu didaftarkan.

Gunakan detail koneksi berikut untuk menambahkan file Parquet dari penyimpanan berbasis cloud ke tabel Apache Iceberg di Lakehouse.

Sebelum memulai

  1. Aktifkan Dataflow, BigQuery, dan Lakehouse API.

  2. Untuk mendapatkan izin yang diperlukan untuk membuat resource, minta administrator Anda untuk memberi Anda peran Identity and Access Management (IAM) yang diperlukan di project Anda.

  3. Buat katalog, namespace, dan tabel Lakehouse untuk mengimpor data.

  4. Buat bucket penyimpanan berbasis cloud (Cloud Storage, Amazon S3, atau Azure Blob Storage) dan upload file Parquet Anda ke bucket.

  5. Jika bucket penyimpanan berbasis cloud yang Anda gunakan bukan Cloud Storage Google, buat bucket Cloud Storage untuk menyimpan log error tugas Anda.

Dukungan dan batasan

Mengimpor file Parquet di penyimpanan berbasis cloud ke Lakehouse menggunakan Dataflow memiliki batasan berikut:

  • Data sumber harus dalam format Apache Parquet dan disimpan di Cloud Storage, Amazon S3, atau Azure Blob Storage.
  • Fitur ini hanya mendukung pipeline batch.

Mengimpor file Parquet ke Lakehouse

Gunakan langkah-langkah berikut untuk mengimpor file Parquet dari penyimpanan berbasis cloud ke tabel Iceberg di Lakehouse menggunakan UI pembuat tugas Dataflow.

  1. Di Google Cloud Konsol, buka halaman Lakehouse.

    Buka Lakehouse

  2. Pilih katalog, namespace, dan tabel yang ingin Anda gunakan untuk mengimpor data.

  3. Di halaman Table details, klik Import table, lalu pilih From Apache Parquet files (Batch).

    Halaman Job builder Dataflow akan terbuka.

  4. Di bagian Sources:

    1. Buka entri sumber CreateGlobalInput yang sudah dibuat.

    2. Di bagian editor YAML source configuration, masukkan satu atau beberapa jalur ke file Parquet Anda dalam urutan elements.

      Untuk meningkatkan efisiensi impor, tentukan beberapa kumpulan file (glob) saat Anda mendaftarkan sejumlah besar file. Contoh:

      reshuffle: true
elements:
  -   gs://BUCKET_NAME/restaurant-data/2023/*.parquet
  -   gs://BUCKET_NAME/restaurant-data/2024/*.parquet

    3. Klik Done.

  5. Di bagian Transforms:

    1. Klik bagian transformasi IcebergAddFiles untuk membukanya.

    2. Di kolom Iceberg table, masukkan namespace dan nama tabel. Contoh: NAMESPACE .TABLE_NAME .

    3. Di bagian Catalog properties, konfigurasi item berikut:

      1. warehouse: Lokasi Cloud Storage katalog Anda. Contoh, gs://CATALOG_PATH.

      2. header.x-goog-user-project: Project ID Anda: PROJECT_ID. Google Cloud

      3. Klik Done.

    4. Jika Anda melakukan migrasi dari Amazon S3 atau Azure Blob Storage, Anda harus memberikan konfigurasi tambahan untuk menyalin file Parquet ke Cloud Storage. Hal ini tidak diperlukan jika file Anda sudah ada di Cloud Storage.

      1. Klik bagian transformasi CopyFilesToGCS untuk membukanya.

      2. Tetapkan nilai parameter konfigurasi gcs_file_path untuk memberikan bucket Cloud Storage yang sepenuhnya memenuhi syarat untuk menyalin file sementara. Sebaiknya gunakan bucket Cloud Storage yang sama dengan yang digunakan oleh warehouse Lakehouse.

      3. Klik Done.

      1 Klik bagian Dataflow Options untuk membukanya.

      1. Jika file Parquet Anda berada di Amazon S3, klik add additional pipeline options untuk memberikan opsi pipeline Apache Beam pipeline options related to S3. Misalnya, s3_region_name, s3_access_key_id, s3_secret_access_key, dan nilai yang sesuai.

      2. Jika file Parquet Anda berada di Azure Blob Storage, klik add additional pipeline options untuk memberikan opsi pipeline Apache Beam pipeline options related to Azure. Misalnya, azure_connection_string, blob_service_endpoint, azure_managed_identity_client_id, dan nilai yang sesuai.

  6. Di bagian Sinks:

    1. Klik sink Write results untuk membukanya.

    2. Di kolom JSON location, tentukan lokasi Cloud Storage dan nama file untuk menulis hasil error. Contoh:

      gs://BUCKET_NAME/errors/errors.json

    3. Klik Done.

  7. Di bagian Dataflow Options, klik Run job.

Jika perlu menyesuaikan lebih lanjut pipeline Dataflow yang digunakan untuk mendaftarkan file Parquet, Anda dapat melakukannya menggunakan formulir pembuat tugas atau editor YAML.

Memeriksa output tugas

Setelah tugas selesai, Anda dapat memverifikasi bahwa data telah didaftarkan ke tabel Iceberg dengan membuat kueri di BigQuery.

  1. Di daftar tugas Dataflow, pastikan status tugas adalah Succeeded.

    Buka Tugas

  2. Jika tugas gagal atau memiliki error, periksa file log error JSON di Cloud Storage untuk mengetahui detailnya.

    Buka Bucket

  3. Di Google Cloud Konsol, buka halaman BigQuery Studio.

    Buka BigQuery

  4. Di editor kueri, masukkan kueri SQL untuk memeriksa tabel. Anda dapat menggunakan PROJECT_ID.CATALOG>NAMESPACE.TABLE_NAME konvensi untuk membuat kueri.

    SELECT * FROM `PROJECT_ID.CATALOG>NAMESPACE.TABLE_NAME` LIMIT 10

  5. Klik Run.

  6. Tinjau Query results untuk memastikan data diproses dengan benar.

Langkah berikutnya