Dokumen ini menjelaskan berbagai format tabel yang tersedia saat membangun lakehouse di BigLake dan membantu Anda memilih format yang tepat untuk kebutuhan Anda.
Saat membangun lakehouse di BigLake, Anda dapat memilih dari beberapa format tabel yang menawarkan berbagai tingkat pengelolaan, performa, dan interoperabilitas. Pilihan Anda bergantung pada asal data, mesin yang ingin Anda gunakan untuk penulisan dan transformasi, serta seberapa besar kontrol yang Anda perlukan atas penyimpanan dan metadata.
Format tabel
Saat membangun lakehouse di BigLake, Anda memiliki pilihan berikut untuk format tabel:
- Tabel BigLake Iceberg adalah tabel Iceberg yang Anda buat dari mesin open source dan disimpan di Cloud Storage. Seperti semua tabel yang menggunakan metastore BigLake, tabel ini dapat dibaca oleh mesin open source dan BigQuery. Namun, hanya mesin telusur open source yang dapat menulis ke sana. Opsi ini paling cocok jika Anda ingin alur kerja ETL dikelola oleh mesin open source.
- Tabel BigLake Iceberg di BigQuery adalah tabel Iceberg yang Anda buat dari BigQuery dan disimpan di Cloud Storage. Seperti semua tabel yang menggunakan metastore BigLake, tabel ini dapat dibaca oleh mesin open source dan BigQuery. Namun, BigQuery adalah satu-satunya mesin yang dapat menulis langsung ke tabel tersebut. Opsi ini paling cocok jika Anda ingin alur kerja ekstrak, transformasi, dan pemuatan (ETL) dikelola sepenuhnya oleh BigQuery.
- Tabel BigQuery standar dikelola sepenuhnya oleh BigQuery dan memiliki fitur analisis dan pengelolaan data tercanggih. Anda masih dapat menghubungkan tabel ini ke metastore BigLake. Opsi ini paling cocok untuk tabel non-Iceberg.
- Tabel eksternal adalah tabel yang berada di luar metastore BigLake. Data dan metadata tabel ini dikelola sendiri sepenuhnya, di mana Anda sepenuhnya bergantung pada kemampuan format tabel terbuka (seperti Iceberg, Apache Hudi, atau Delta Lake). BigQuery hanya memiliki kemampuan untuk membaca dari tabel ini. Pilih opsi ini untuk data dan metadata yang ingin Anda kelola sendiri di katalog pihak ketiga.
Gunakan diagram berikut untuk membandingkan opsi format tabel Anda:
| Tabel eksternal | Tabel Iceberg BigLake | Tabel Iceberg BigLake di BigQuery | Tabel BigQuery standar | |
|---|---|---|---|---|
| Metastore | Metastore eksternal atau yang dihosting sendiri | BigLake metastore | BigLake metastore | BigQuery |
| Penyimpanan | Cloud Storage / Amazon S3 / Azure | Cloud Storage | Cloud Storage | BigQuery |
| Pengoptimalan penyimpanan | Dikelola pelanggan atau pihak ketiga | Dikelola pelanggan atau pihak ketiga | Dikelola Google | Dikelola Google |
| Baca / Tulis |
Mesin open source (baca/tulis) BigQuery (hanya baca) |
Mesin open source (baca/tulis) BigQuery (hanya baca) |
Mesin open source (hanya baca dengan library Iceberg, interoperabilitas baca/tulis dengan BigQuery Storage API)
BigQuery (baca/tulis) |
Mesin open source (interoperabilitas baca/tulis dengan
BigQuery Storage API) BigQuery (baca/tulis) |
| Use cases | Tabel staging untuk pemuatan BigQuery, tabel hanya kueri lama | Lakehouse terbuka | Lakehouse terbuka dengan penyimpanan berperforma tinggi tingkat perusahaan untuk analisis, streaming, dan AI lanjutan | Penyimpanan tingkat perusahaan untuk analisis lanjutan, streaming, dan AI |