Pengantar metastore BigLake

BigLake Metastore adalah layanan serverless yang terkelola sepenuhnya yang menyediakan satu sumber kebenaran untuk data lakehouse Anda. Layanan ini memungkinkan beberapa mesin, termasuk Apache Spark, Apache Flink, dan BigQuery, untuk berbagi tabel dan metadata tanpa menyalin file.

Metastore BigLake mendukung delegasi akses penyimpanan (penjualan kredensial), yang meningkatkan keamanan dengan menghilangkan kebutuhan akan akses bucket Cloud Storage langsung. BigQuery juga terintegrasi dengan Dataplex Universal Catalog untuk tata kelola, silsilah, dan kualitas data yang terpadu.

Kemampuan utama

Sebagai komponen BigLake, metastore BigLake memberikan beberapa keuntungan untuk pengelolaan dan analisis data, termasuk arsitektur tanpa server, interoperabilitas mesin dengan API terbuka, pengalaman pengguna yang terpadu, serta analisis, streaming, dan AI berperforma tinggi saat digunakan dengan BigQuery. Untuk mengetahui informasi selengkapnya tentang manfaat ini, lihat artikel Apa yang dimaksud dengan BigLake?

Opsi konfigurasi

BigLake Metastore dapat dikonfigurasi dengan salah satu dari dua cara: dengan katalog REST Iceberg atau katalog Iceberg kustom untuk BigQuery. Opsi terbaik bergantung pada kasus penggunaan Anda, seperti yang ditunjukkan dalam tabel berikut:

Kasus penggunaan Rekomendasi
Pengguna metastore BigLake baru yang ingin mesin open source mereka mengakses data di Cloud Storage dan memerlukan interoperabilitas dengan mesin lain, termasuk BigQuery dan AlloyDB untuk PostgreSQL. Gunakan katalog REST Iceberg.
Pengguna metastore BigLake yang sudah ada dan memiliki tabel saat ini dengan katalog Iceberg kustom untuk BigQuery. Terus menggunakan katalog Iceberg kustom untuk BigQuery, tetapi gunakan katalog REST Iceberg untuk alur kerja baru. Tabel yang dibuat dengan katalog Iceberg kustom untuk BigQuery terlihat dengan katalog REST Iceberg melalui federasi katalog BigQuery.

Perbedaan dengan metastore BigLake (klasik)

Metastore BigLake adalah metastore yang direkomendasikan di Google Cloud, sementara BigLake Metastore (klasik) dianggap sebagai fitur lama.

Perbedaan utama antara BigLake Metastore dan BigLake Metastore (klasik) meliputi hal berikut:

  • Metastore BigLake mendukung integrasi langsung dengan mesin open source seperti Spark, yang membantu mengurangi redundansi saat Anda menyimpan metadata dan menjalankan tugas. Tabel di metastore BigLake dapat diakses langsung dari beberapa mesin open source dan BigQuery.
  • BigLake Metastore mendukung katalog REST Iceberg, sedangkan BigLake Metastore (klasik) tidak.

Batasan BigLake metastore

Batasan berikut berlaku untuk tabel di metastore BigLake:

  • Anda tidak dapat membuat atau mengubah tabel BigLake Iceberg dengan pernyataan bahasa definisi data (DDL) atau bahasa pengolahan data (DML) BigQuery. Anda dapat mengubah tabel BigLake Iceberg menggunakan BigQuery API (dengan alat command line bq atau library klien), tetapi tindakan ini berisiko membuat perubahan yang tidak kompatibel dengan mesin eksternal.
  • Tabel metastore BigLake tidak mendukung operasi penggantian nama atau pernyataan SQL Spark ALTER TABLE ... RENAME TO.
  • Tabel metastore BigLake di BigQuery tunduk pada kuota dan batas yang sama seperti tabel standar.
  • Performa kueri untuk tabel metastore BigLake dari mesin BigQuery mungkin lambat dibandingkan dengan membuat kueri data dalam tabel BigQuery standar. Secara umum, kecepatan kueri harus setara dengan membaca data dari Cloud Storage.
  • Uji coba BigQuery dari kueri yang menggunakan tabel metastore BigLake mungkin melaporkan batas bawah 0 byte data, meskipun baris ditampilkan. Hasil ini terjadi karena jumlah data yang diproses dari tabel tidak dapat ditentukan hingga kueri lengkap dijalankan. Menjalankan kueri akan menimbulkan biaya untuk pemrosesan data ini.
  • Anda tidak dapat mereferensikan tabel metastore BigLake dalam kueri tabel karakter pengganti.
  • Anda tidak dapat menggunakan metode tabledata.list untuk mengambil data dari tabel metastore BigLake. Sebagai gantinya, Anda dapat menyimpan hasil kueri ke tabel BigQuery, lalu menggunakan metode tabledata.list di tabel tersebut.
  • Tabel metastore BigLake tidak mendukung pengelompokan.
  • Tabel metastore BigLake tidak mendukung nama kolom yang fleksibel.
  • Tampilan statistik penyimpanan tabel untuk tabel metastore BigLake tidak didukung.
  • Metastore BigLake tidak mendukung tampilan Iceberg.

Langkah berikutnya