Apa itu Lakehouse untuk Apache Iceberg?

Lakehouse untuk Apache Iceberg adalah mesin penyimpanan berperforma tinggi yang dirancang untuk membangun lakehouse data terbuka. Dengan mengintegrasikan format tabel terbuka Apache Iceberg dengan penyimpanan tingkat perusahaan yang terkelola sepenuhnya di Google Cloud, BigLake menyediakan antarmuka terpadu untuk analisis dan AI tingkat lanjut.

Untuk mengelola metadata tabel terbuka, Lakehouse untuk Apache Iceberg menggunakan katalog runtime Lakehouse. Layanan metadata serverless yang terkelola sepenuhnya ini menyediakan sumber kebenaran tunggal di seluruh sistem yang berbeda, memusatkan penemuan, dan menghilangkan kebutuhan untuk menyinkronkan metadata di antara berbagai repositori.

Dengan memisahkan penyimpanan dari komputasi, Lakehouse Google Cloud memastikan interoperabilitas yang lancar di seluruh sistem analitis dan transaksional. Arsitektur ini memungkinkan beberapa mesin, termasuk Apache Spark, Apache Flink, Apache Hive, Trino, dan BigQuery, mengakses satu sumber tepercaya, sehingga menghilangkan duplikasi data dan memastikan insight yang konsisten.

Manfaat utama

  • Arsitektur serverless: Lakehouse Google Cloud menghilangkan kebutuhan akan pengelolaan server atau cluster, sehingga mengurangi overhead operasional dan menskalakan secara otomatis berdasarkan permintaan. Untuk workload komputasi, sesi interaktif dan batch serverless menghilangkan perebutan resource antar-tugas dan mengotomatiskan pemeliharaan infrastruktur.
  • Pengelolaan dan tata kelola data terpadu: Integrasi dengan Knowledge Catalog memastikan penetapan dan penerapan kebijakan tata kelola secara terpusat di beberapa mesin, serta memungkinkan penelusuran semantik, silsilah data, dan pemeriksaan kualitas.
  • Ekstensi penyimpanan: Lakehouse Google Cloud memperluas kemampuan pengelolaan Cloud Storage untuk menyertakan fitur seperti tingkatan Autoclass dan Kunci enkripsi yang dikelola pelanggan (CMEK).
  • Pengalaman yang terkelola sepenuhnya: Saat diintegrasikan dengan BigQuery, Lakehouse Google Cloud menggunakan streaming throughput tinggi dan pengelolaan metadata real-time untuk memberikan pengalaman streaming, analisis, dan AI yang terkelola sepenuhnya.
  • Ketersediaan tinggi dan pemulihan dari bencana: Lakehouse Google Cloud menawarkan opsi untuk replikasi lintas region dan pemulihan dari bencana (Pratinjau) untuk mendukung ketersediaan tinggi data Anda.

Kasus penggunaan

  • Lakehouse terbuka: Gunakan Cloud Storage sebagai lapisan penyimpanan, dan Lakehouse Google Cloud menyediakan antarmuka pengelolaan dan tata kelola untuk data Apache Iceberg.
  • Integrasi analitis dan transaksional: Akses tabel analitis Apache Iceberg langsung dalam AlloyDB untuk PostgreSQL (Pratinjau) untuk menggabungkan data analitis dengan workload transaksional.
  • Akses terpadu: Memungkinkan mesin yang berbeda (Apache Spark, Apache Flink, BigQuery) berinteraksi dengan tabel Apache Iceberg yang sama dengan metadata yang konsisten.
  • Analisis dan AI lintas cloud: Gunakan Lakehouse lintas cloud (Pratinjau) untuk menyinkronkan metadata dari penyedia cloud lain, sehingga Anda dapat membuat kueri data dengan BigQuery atau mesin open source eksternal melalui endpoint katalog REST Apache Iceberg, semuanya tanpa memigrasikan data.
  • Eksplorasi set data publik: Kueri set data publik berkualitas tinggi dengan mudah menggunakan endpoint katalog REST Apache Iceberg tanpa mengelola infrastruktur.
  • Hive Metastore Menghubungkan mesin open source seperti Apache Spark dan Apache Hive ke katalog runtime Lakehouse menggunakan katalog Hive (Pratinjau). Hal ini menghilangkan overhead operasional dalam memelihara Hive Metastore (HMS) yang dihosting sendiri sekaligus memungkinkan berbagi data yang lancar dan kueri tabel langsung di BigQuery.

Antarmuka dan alat

Anda dapat berinteraksi dengan resource Lakehouse Google Cloud menggunakan alat berikut:

  • Google Cloud console: Gunakan konsol untuk membuat katalog, melihat properti katalog, melihat log audit, dan mengonfigurasi izin.
  • BigQuery SQL: Gunakan DDL (bahasa definisi data) SQL standar untuk membuat dan mengelola tabel Apache Iceberg dan tabel eksternal yang terintegrasi dengan katalog runtime Lakehouse.
  • Mesin open source: Gunakan mesin seperti Apache Spark, Apache Flink, dan Apache Hive dengan katalog runtime Lakehouse untuk membaca dan menulis data.
  • IDE dan notebook: Gunakan ekstensi IDE dan notebook Apache Spark interaktif, seperti ekstensi Data Agent Kit (DAK) untuk VS Code, guna melakukan autentikasi ke Google Cloud, menulis kode secara interaktif, dan mengelola sesi notebook langsung dalam lingkungan pengembangan Anda.
  • Alat orkestrasi dan MLOps: Integrasikan pipeline batch tanpa server dan operasi katalog dengan alur kerja orkestrasi menggunakan Managed Service for Apache Airflow (sebelumnya Cloud Composer) dan Kubeflow Pipelines di Vertex AI.
  • API katalog runtime lakehouse: Gunakan endpoint katalog REST Apache Iceberg untuk berinteraksi dengan layanan menggunakan alat yang kompatibel dengan spesifikasi REST Apache Iceberg terbuka.
  • Dukungan tabel Apache Iceberg: Hanya tabel Apache Iceberg V2 yang didukung; tabel Iceberg V1 tidak didukung. Jika memiliki tabel Iceberg V1 yang sudah ada, Anda harus mengupgradenya ke V2 (misalnya, dengan menjalankan ALTER TABLE catalog.schema.table SET TBLPROPERTIES ('format-version'='2'); atau menggunakan operasi mesin yang serupa) sebelum menggunakannya dengan Lakehouse untuk Apache Iceberg.

Langkah berikutnya