Berinteraksi dengan data Lakehouse tanpa batas di BigQuery

Lakehouse Tanpa Batas adalah mesin penyimpanan yang menyatukan layanan Google Cloud dan open source untuk membuat antarmuka terpadu untuk analisis lanjutan dan AI. BigLake menyediakan fondasi untuk membangun lakehouse yang terbuka, terkelola, dan berperforma tinggi dengan pengelolaan data otomatis dan tata kelola bawaan menggunakan Apache Iceberg.

Saat Anda membuat tabel di Lakehouse, tabel tersebut dapat otomatis dikueri dari BigQuery dan terlihat di halaman BigQuery di konsol Google Cloud . Namespace dan skema Lakehouse Anda juga otomatis dipetakan ke set data BigQuery. Selain itu, Anda dapat membuat dan memperbarui katalog, namespace, dan tabel Lakehouse langsung di BigQuery Studio.

Perbedaan antara resource Lakehouse dan resource BigQuery lainnya

Berikut adalah perbedaan utama antara resource Lakehouse dan BigQuery standar:

  • Set data Lakehouse muncul di halaman BigQuery di konsol Google Cloud di samping ikon air.
  • Resource lakehouse memiliki metadata tambahan di bagian Detail masing-masing.

Membuat tabel Lakehouse di BigQuery Studio

  1. Buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, klik Add data.

  3. Klik kartu sumber data Google Cloud Storage.

  4. Di bagian Access external data in place, klik kartu GCS data files.

  5. Untuk GCS bucket source or file path, pilih bucket Cloud Storage Anda.

  6. Untuk Format file, pilih Parquet.

  7. Untuk Table name, masukkan nama tabel Anda.

  8. Untuk Project, pilih project Anda.

  9. Untuk Catalog ID, pilih katalog Lakehouse yang ada untuk bucket, atau buat katalog jika belum ada.

  10. Untuk Namespace ID, pilih namespace Lakehouse yang ada, atau buat yang baru. ID namespace hanya boleh berisi huruf, angka, dan garis bawah.

  11. (Opsional) Untuk Schema, tentukan nama kolom dan jenis data untuk tabel baru Anda.

  12. Klik Create table.

Tabel Lakehouse Anda kini terlihat di BigQuery dan dapat dikueri serta diubah seperti tabel BigQuery standar.

Alih-alih membuat tabel yang berisi data, Anda dapat membuat tabel Lakehouse kosong dengan cara yang sama seperti membuat tabel BigQuery standar. Satu-satunya perbedaan adalah memilih namespace Lakehouse sebagai set data target.

Memigrasikan atau memfederasikan katalog lain ke Lakehouse

  1. Buka halaman BigQuery.

    Buka BigQuery

  2. Di panel Explorer, klik Add data.

  3. Klik kartu sumber data Google Cloud Storage.

  4. Di bagian Access external data in place, klik kartu External or legacy catalogs.

  5. Untuk Select catalog source, pilih sumber katalog.

    • Jika Anda memilih Hive Metastore, lakukan tindakan berikut:
      1. Untuk Region, pilih region untuk katalog Lakehouse baru Anda.
      2. Untuk Nama tampilan migrasi, masukkan nama baru untuk migrasi.
      3. Klik Lanjutkan.
      4. Untuk Source system configuration, masukkan URL, akun layanan, dan lampiran jaringan.
    • Jika Anda memilih sumber katalog yang berbeda, lakukan tindakan berikut:
      1. Untuk Catalog name (in Lakehouse), masukkan nama untuk katalog.
      2. Untuk Lokasi data, pilih region untuk katalog Lakehouse baru Anda.
      3. Klik Lanjutkan.
      4. Untuk Catalog configuration, masukkan detail katalog jarak jauh, metode autentikasi, dan interval refresh.

  6. Klik Create.

Mengakses data lintas cloud

Kemampuan akses data lintas cloud Lakehouse memungkinkan Anda mengkueri data yang disimpan di penyedia cloud lain langsung dari BigQuery, tanpa memigrasikan file atau membangun pipeline ETL yang kompleks. Untuk mengetahui informasi konfigurasi, lihat Membuat kueri data jarak jauh.

Perbandingan kemampuan tabel Iceberg

Gunakan tabel berikut untuk membandingkan kemampuan antara tabel Apache Iceberg yang dikelola oleh katalog runtime Lakehouse dan tabel Apache Iceberg yang dikelola oleh BigQuery.

Kemampuan Tabel Apache Iceberg yang dikelola oleh katalog runtime Lakehouse Tabel Apache Iceberg yang dikelola oleh BigQuery
Catalog Katalog runtime Lakehouse (kompatibel dengan katalog REST Iceberg) BigQuery
Penyimpanan Cloud Storage Cloud Storage
Dapat diakses melalui endpoint katalog REST Iceberg Ya Ya, menggunakan federasi katalog BigQuery
Interoperabilitas Baca/Tulis
Kueri baca BigQuery (SELECT, BQML, fungsi AI) Didukung Didukung
DML BigQuery (INSERT, UPDATE, DELETE, MERGE) Didukung (Pratinjau) Didukung (GA)
Pembacaan mesin OSS Didukung (GA) Didukung (GA) (menggunakan penggabungan katalog BigQuery)
Penulisan mesin OSS Didukung (GA) Tidak didukung
Penulisan streaming mesin OSS (Kafka, Spark, Dataflow dengan sink I/O Iceberg) Didukung (GA) Tidak didukung
Kemampuan Terkelola dan Lanjutan
Pengelolaan tabel (pemadatan, pembersihan sampah memori) Didukung (Pratinjau) Didukung (GA)
Penulisan streaming BigQuery (storage write API) Tidak didukung Didukung (GA)
Streaming/langganan Pub/Sub, streaming Dataflow dengan sink I/O BigQuery Tidak didukung Didukung (GA)
Change Data Capture (CDC) BigQuery Didukung (Pratinjau) Didukung
Transaksi multi-pernyataan BigQuery Tidak didukung Didukung (Pratinjau)
Disaster recovery terkelola Tidak didukung Tidak didukung
Indeks penelusuran Tidak didukung Tidak didukung
Indeks vektor (termasuk pembuatan embedding otomatis) Tidak didukung Tidak didukung
Perjalanan Waktu
Perjalanan waktu (menggunakan mesin OSS) Fleksibel (dikonfigurasi melalui properti tabel) Tidak didukung
Perjalanan waktu (menggunakan BigQuery) Dibatasi hingga 7 hari Dibatasi hingga 7 hari
Histori snapshot dan rollback ke snapshot sebelumnya Didukung Tidak didukung
Tata Kelola, Keamanan, dan Berbagi
BigQuery Authorized Views Tidak didukung Tidak didukung
Keamanan tingkat kolom BigQuery Tidak didukung Didukung (GA)
Penyamaran data dan tag kebijakan BigQuery Tidak didukung Didukung (GA)
Keamanan tingkat baris BigQuery Tidak didukung Didukung (GA)
Integrasi Analytics Hub Tidak didukung Didukung
Kemampuan Knowledge Catalog
Pembuatan katalog, penelusuran, dan penemuan metadata Didukung Didukung
Silsilah Didukung Didukung
Kualitas/pembuatan profil data Didukung Didukung
Insight Didukung Didukung
Pembuatan deskripsi kolom dan tabel berbasis AI Didukung Didukung

Langkah berikutnya