Membandingkan jenis tabel

Memilih arsitektur tabel yang tepat sangat penting untuk memaksimalkan performa, mengurangi biaya, dan memastikan akses data di seluruh alat analisis Anda. Halaman ini menjelaskan berbagai jenis tabel dan endpoint penayangan yang tersedia di Lakehouse untuk Apache Iceberg, sehingga membantu Anda memilih opsi terbaik berdasarkan mesin tulis, persyaratan baca, dan kebutuhan kontrol pengelolaan.

Format tabel menurut katalog atau mesin

Pilih katalog atau mesin untuk mempelajari format tabel yang didukung, konfigurasi metastore, kemampuan pengoptimalan penyimpanan, dan interoperabilitas mesin.

Katalog runtime Lakehouse

Katalog runtime Lakehouse mengelola tabel Apache Iceberg melalui endpoint katalog REST Iceberg dan menyediakan interoperabilitas baca-tulis yang lancar di seluruh mesin yang kompatibel dengan Iceberg (Spark, Flink, Trino) dan BigQuery, sekaligus didukung oleh antarmuka katalog REST Iceberg standar industri.

Format tabel yang didukung

Tabel Apache Iceberg V2 (GA) dan tabel V3 (Pratinjau) didukung. Tabel Iceberg V1 tidak didukung. Sebelum menggunakan tabel V1 yang ada dengan Lakehouse untuk Apache Iceberg, Anda harus mengupgrade-nya ke versi yang didukung. Untuk mengetahui informasi selengkapnya, lihat Mengupgrade tabel Iceberg V1 ke V2.

Key features include:

  • Metastore: Lakehouse runtime catalog.
  • Storage: Cloud Storage.
  • Storage optimization: Managed by you, or optionally by Google (Preview).
  • Read and write access:
    • Open source engines: read and write (GA)
    • BigQuery: read/write (Preview)
  • Use cases: Open lakehouse with high-performance, enterprise-grade storage for advanced analytics, streaming, and AI.

Metastore Hive

Katalog runtime Lakehouse mengelola tabel Apache Hive melalui endpoint metastore Apache Hive (HMS) yang dioptimalkan untuk kompatibilitas ExternalCatalog Apache Spark, sehingga Anda dapat berbagi data dengan lancar di seluruh Apache Spark, Apache Hive, dan BigQuery. Anda membuat tabel ini dari mesin open source dan menyimpannya di Cloud Storage. Opsi ini paling cocok jika Anda ingin alur kerja ETL dikelola oleh mesin open source tanpa memerlukan metastore Hive yang dihosting sendiri secara terpisah, dan hanya memerlukan akses baca dari BigQuery.

Tabel yang dikelola oleh endpoint metastore Hive adalah tabel Apache Hive dan Spark standar (menggunakan sumber data Hive SerDes atau Spark), bukan tabel Apache Iceberg. Untuk membuat dan mengelola tabel Apache Iceberg di katalog runtime Lakehouse, gunakan endpoint katalog REST Iceberg.

Key features include:

  • Metastore: Lakehouse runtime catalog (through custom IMetastoreClient).
  • Storage: Cloud Storage (supporting formats like Parquet, ORC, and Avro).
  • Storage optimization: Managed by you or a third party.
  • Read and write access:
    • Open source engines (Spark and Hive): Read and write.
    • BigQuery: read-only.
  • Use cases: Migrating existing Spark and Hive workloads to a fully managed, serverless metastore on Google Cloud.

BigQuery

BigQuery mendukung tabel terkelola Apache Iceberg, tabel native, dan tabel eksternal.

  • Tabel terkelola Apache Iceberg: Tabel ini adalah tabel Apache Iceberg yang Anda buat dan kelola dari BigQuery dan disimpan di Cloud Storage. Meskipun dapat dibaca oleh mesin open source, BigQuery adalah mesin yang mengelola metadata dan menulis ke tabel tersebut. Opsi ini paling cocok jika Anda ingin alur kerja dikelola sepenuhnya oleh BigQuery.

  • Tabel native: Tabel ini adalah tabel BigQuery native. Tabel ini terkelola sepenuhnya dan menawarkan fitur analisis dan pengelolaan tercanggih. Opsi ini paling cocok untuk workload non-Iceberg.

  • Tabel eksternal: Tabel ini adalah konstruksi khusus BigQuery untuk data yang disimpan di Cloud Storage, Amazon S3, atau Azure Blob Storage. Data dan metadata dikelola sendiri, dan BigQuery hanya memiliki akses baca. Pilih opsi ini untuk data yang ingin Anda kelola di katalog atau penyimpanan pihak ketiga secara langsung.

Format tabel menurut produk

Gunakan diagram berikut untuk membandingkan jenis tabel antara katalog runtime Lakehouse dan BigQuery.

Lakehouse

Apache Iceberg (GA) Apache Hive (Pratinjau)
Metastore Katalog runtime Lakehouse Katalog runtime Lakehouse
Storage Cloud Storage Cloud Storage
Storage optimization Pelanggan, dikelola pihak ketiga, atau dikelola Google (Pratinjau) Pelanggan atau dikelola pihak ketiga
Read/write Mesin open source (baca/tulis)

BigQuery (baca/tulis). Pratinjau 		Mesin open source (baca/tulis)

BigQuery (baca saja)
Advanced operations Tidak ada Tidak ada
Use cases Lakehouse terbuka Memigrasikan workload Spark dan Hive yang ada ke metastore serverless yang terkelola sepenuhnya,

BigQuery

Tabel terkelola Apache Iceberg Tabel eksternal Tabel standar
Metastore BigQuery Metastore eksternal atau yang dihosting sendiri BigQuery
Storage Cloud Storage Cloud Storage / Amazon S3 / Azure BigQuery
Storage optimization Dikelola Google Pelanggan atau dikelola pihak ketiga Dikelola Google
Read/write Mesin open source (baca saja dengan library Iceberg libraries, interoperabilitas baca/tulis dengan BigQuery Storage API)

BigQuery (baca/tulis)

 Mesin open source (baca/tulis)

BigQuery (baca saja) 		Mesin open source (interoperabilitas baca/tulis dengan BigQuery Storage API)

BigQuery (baca/tulis)
Advanced operations Streaming throughput tinggi dengan BigQuery Storage Write API, Change Data Capture (CDC), dan transaksi multi-pernyataan Tidak ada Streaming throughput tinggi dengan BigQuery Storage Write API, Change Data Capture (CDC), dan transaksi multi-pernyataan
Use cases Lakehouse terbuka dengan penyimpanan berperforma tinggi dan tingkat perusahaan untuk analisis lanjutan, streaming, dan AI Tabel staging untuk pemuatan BigQuery, tabel lama yang hanya dapat dikueri Penyimpanan tingkat perusahaan untuk analisis lanjutan, streaming, dan AI

Langkah berikutnya