Membandingkan jenis tabel

Memilih arsitektur tabel yang tepat memungkinkan Anda mengoptimalkan performa, mengurangi biaya, dan mempertahankan akses data di seluruh alat analisis Anda. Borderless Lakehouse menawarkan beberapa jenis tabel dan endpoint penyaluran, sehingga Anda dapat memilih opsi yang sesuai dengan mesin tulis, persyaratan baca, dan kebutuhan kontrol pengelolaan Anda.

Format tabel menurut katalog atau mesin

Pilih katalog atau mesin untuk mempelajari format tabel yang didukung, konfigurasi metastore, kemampuan pengoptimalan penyimpanan, dan interoperabilitas mesin.

Katalog runtime Lakehouse

Katalog runtime Lakehouse mengelola tabel Apache Iceberg melalui endpoint katalog REST Apache Iceberg dan menyediakan interoperabilitas baca-tulis yang lancar di seluruh mesin yang kompatibel dengan Iceberg (Apache Spark, Apache Flink, dan Trino) dan BigQuery, sekaligus didukung oleh antarmuka katalog REST Iceberg standar industri.

Format tabel yang didukung

Tabel Apache Iceberg V2 (GA) dan tabel V3 (Pratinjau) didukung. Tabel Iceberg V1 tidak didukung. Sebelum menggunakan tabel V1 yang ada dengan Lakehouse, Anda harus mengupgradenya ke versi yang didukung. Untuk mengetahui informasi selengkapnya, lihat Mengupgrade tabel Iceberg V1 ke V2.

Key features include:

  • Metastore: Katalog runtime Lakehouse.
  • Penyimpanan: Cloud Storage.
  • Pengoptimalan penyimpanan: Dikelola oleh Anda, pihak ketiga, atau (Dikelola Google, Pratinjau).
  • Akses baca dan tulis:
    • Mesin open source: baca dan tulis (GA)
    • BigQuery: baca/tulis (Pratinjau)
  • Kasus penggunaan: Lakehouse terbuka dengan penyimpanan berperforma tinggi dan untuk perusahaan untuk analisis lanjutan, streaming, dan AI.

Metastore Hive

Katalog runtime Lakehouse mengelola tabel Apache Hive melalui endpoint Apache Hive metastore (HMS) yang dioptimalkan untuk kompatibilitas Spark ExternalCatalog, sehingga Anda dapat berbagi data dengan lancar di Spark, Apache Hive, dan BigQuery. Anda membuat tabel ini dari mesin open source dan menyimpannya di Cloud Storage. Opsi ini berfungsi dengan baik jika Anda ingin alur kerja ETL dikelola oleh mesin open source tanpa memerlukan Hive metastore yang dihosting sendiri secara terpisah, dan hanya memerlukan akses baca dari BigQuery.

Tabel yang dikelola oleh endpoint metastore Hive adalah tabel Apache Hive dan Spark standar (menggunakan Hive SerDes atau sumber data Spark), bukan tabel Apache Iceberg. Untuk membuat dan mengelola tabel Apache Iceberg di katalog runtime Lakehouse, gunakan endpoint katalog REST Apache Iceberg.

Key features include:

  • Metastore: Katalog runtime Lakehouse (melalui IMetastoreClient kustom).
  • Penyimpanan: Cloud Storage (mendukung format seperti Parquet, ORC, dan Avro).
  • Pengoptimalan penyimpanan: Dikelola oleh Anda atau pihak ketiga.
  • Akses baca dan tulis:
    • Mesin open source (Spark dan Apache Hive): Baca dan tulis.
    • BigQuery: hanya baca.
  • Kasus penggunaan: Memigrasikan workload Spark dan Apache Hive yang ada ke metastore serverless yang terkelola sepenuhnya di Google Cloud.

Format tabel menurut produk

Gunakan diagram berikut untuk membandingkan jenis tabel di katalog runtime Lakehouse.

Lakehouse

Apache Iceberg (GA) Akses data lintas cloud (Pratinjau) Apache Hive (GA)
Metastore Katalog runtime Lakehouse Katalog runtime Lakehouse Katalog runtime Lakehouse
Penyimpanan Cloud Storage Cloud Storage / Amazon S3 Cloud Storage
Pengoptimalan penyimpanan Dikelola pelanggan, dikelola pihak ketiga, atau dikelola Google (Pratinjau) Dikelola pelanggan atau dikelola pihak ketiga Dikelola pelanggan atau dikelola pihak ketiga
Baca/tulis Mesin open source (baca/tulis)

BigQuery (baca/tulis [Pratinjau])		 Mesin open source (baca)

BigQuery (baca)		 Mesin open source (baca/tulis)

BigQuery (hanya baca)
Operasi lanjutan Tidak ada Tidak satu pun Tidak ada
Kontrol akses Keamanan tingkat tabel dengan IAM Keamanan tingkat tabel dengan IAM Keamanan tingkat tabel dengan IAM
Use cases Lakehouse terbuka Membuat kueri data di penyedia cloud lain tanpa memigrasikan file atau membangun pipeline ETL yang kompleks Memigrasikan workload Spark dan Apache Hive yang ada ke metastore serverless yang terkelola sepenuhnya

Kemampuan tabel Iceberg

Gunakan tabel berikut untuk mempelajari lebih lanjut kemampuan yang ditawarkan dalam tabel Apache Iceberg di katalog runtime Lakehouse.

Untuk membandingkan kemampuan antara tabel Apache Iceberg yang dikelola oleh katalog runtime Lakehouse dan tabel Apache Iceberg yang dikelola oleh BigQuery, lihat Perbandingan kemampuan tabel Iceberg.

Kemampuan Dukungan
Catalog Katalog runtime Lakehouse (kompatibel dengan katalog REST Iceberg)
Penyimpanan Cloud Storage
Dapat diakses melalui endpoint katalog REST Iceberg Ya
Interoperabilitas baca/tulis
Kueri baca BigQuery (SELECT, BigQuery ML, fungsi AI) Didukung (GA)
BigQuery DML (INSERT, UPDATE, DELETE, MERGE) Didukung (Pratinjau)
Pembacaan mesin OSS Didukung (GA)
Penulisan mesin OSS Didukung (GA)
Penulisan streaming mesin OSS (Kafka, Spark, Dataflow dengan sink I/O Iceberg) Didukung (GA)
Kemampuan terkelola dan lanjutan
Pengelolaan tabel (pemadatan, pembersihan sampah memori) Didukung (Pratinjau)
Change Data Capture (CDC) BigQuery Didukung (Pratinjau)
Perjalanan waktu
Perjalanan waktu (menggunakan mesin OSS) Fleksibel (dikonfigurasi melalui properti tabel)
Perjalanan waktu (menggunakan BigQuery) Dibatasi hingga 7 hari
Histori snapshot dan rollback ke snapshot sebelumnya Didukung (GA)
Kemampuan Knowledge Catalog
Pembuatan katalog, penelusuran, dan penemuan metadata Didukung (GA)
Silsilah Didukung (GA)
Kualitas/pembuatan profil data Didukung (GA)
Insight Didukung (GA)
Pembuatan deskripsi kolom dan tabel berbasis AI Didukung (GA)

Langkah berikutnya