Konsep utama

Arsitektur Lakehouse tanpa batas memungkinkan Anda menyatukan analisis data di seluruh lingkungan terdistribusi dan sistem penyimpanan format terbuka di Google Cloud. Memahami konsep dasar ini akan membantu Anda mengevaluasi arsitektur dan mengonfigurasi katalog terpadu, komputasi multi-mesin, dan tata kelola di seluruh workload Lakehouse Anda.

Daripada memberikan daftar fitur yang lengkap, referensi ini menguraikan terminologi inti yang digunakan di seluruh dokumentasi Lakehouse.

Konsep Inti

Konsep berikut menjadi dasar arsitektur Lakehouse Google Cloud.

Data lakehouse

Data lakehouse menggabungkan penghematan biaya dan fleksibilitas data lake dengan pengelolaan data dan performa data warehouse. Dengan BigLake, Anda dapat menyimpan data dalam format terbuka di Cloud Storage dan menggunakan fitur BigQuery, seperti kontrol keamanan yang akurat dan kueri yang cepat.

Arsitektur medali

Pola desain umum dalam data lakehouse adalah arsitektur medali, yang secara logis mengatur data ke dalam lapisan struktur dan kualitas yang progresif:

  • Lapisan Bronze (mentah): Menyerap dan menyimpan data mentah dalam format terbuka seperti Apache Iceberg di Cloud Storage.
  • Lapisan silver (dibersihkan): Membersihkan, memfilter, dan memperkaya data mentah menjadi tabel standar.
  • Lapisan gold (pilihan): Menyediakan tabel tingkat bisnis gabungan yang sepenuhnya diseleksi. Di Lakehouse Google Cloud, BigQuery sering digunakan untuk menyajikan lapisan gold untuk konsumsi, pelaporan, dan analisis berperforma tinggi.

Interoperabilitas Terbuka

Interoperabilitas terbuka adalah kemampuan beberapa sistem analisis dan transaksional—seperti BigQuery, Apache Spark, dan Apache Flink—untuk beroperasi pada satu salinan data dalam format terbuka seperti Apache Iceberg. Hal ini menghilangkan kebutuhan akan duplikasi data dan memastikan tampilan data yang konsisten di berbagai alat yang berbeda.

Katalog runtime Lakehouse

Katalog runtime Lakehouse adalah layanan metadata serverless terpusat yang berfungsi sebagai satu sumber tepercaya untuk Lakehouse Google Cloud. Dengan demikian, beberapa mesin, seperti Apache Spark, Apache Flink, dan BigQuery, dapat menemukan dan mengkueri tabel yang sama secara bersamaan.

Jenis Katalog

Katalog runtime Lakehouse menawarkan berbagai jenis katalog untuk mengelola metadata Anda.

Endpoint katalog REST Apache Iceberg

Ini adalah katalog yang didasarkan pada endpoint katalog REST Apache Iceberg. BigLake API menyediakan interoperabilitas antara mesin open source dan BigQuery, serta mendukung fitur seperti penjualan kredensial dan disaster recovery.

Konfigurasi penyimpanan katalog

Saat membuat endpoint katalog REST Apache Iceberg, Anda dapat memilih di antara dua model penyimpanan:

  • Katalog multi-bucket (direkomendasikan): Memungkinkan Anda memberi nama katalog secara independen dan mengonfigurasi hingga 15 bucket Cloud Storage (default_location dan restricted_locations). Saat mengonfigurasi mesin kueri klien (seperti Spark atau Trino), tetapkan jalur warehouse ke bl://projects/PROJECT_ID/catalogs/CATALOG_ID.
  • Katalog bucket tunggal: Konfigurasi lama yang mengunci katalog ke satu bucket Cloud Storage dan mewarisi nama bucket tersebut. Saat mengonfigurasi mesin kueri klien, tetapkan jalur warehouse ke gs://CLOUD_STORAGE_BUCKET_NAME.

Katalog Apache Iceberg kustom untuk BigQuery

Ini adalah integrasi yang menggunakan katalog BigQuery secara langsung sebagai layanan metadata pendukung untuk tabel Apache Iceberg terkelola.

Endpoint katalog Apache Hive

Endpoint ini memberikan kompatibilitas untuk workload open source yang bergantung pada antarmuka Apache Hive metastore (HMS), sehingga Anda dapat menjalankan workload Apache Hive atau Spark terhadap layanan metastore yang terkelola sepenuhnya diGoogle Cloud.

Jenis tabel

Lakehouse Google Cloud mendukung beberapa format tabel, bergantung pada mesin yang digunakan untuk mengelola data dan endpoint katalog yang Anda gunakan.

Tabel Apache Iceberg

Tabel ini adalah tabel Apache Iceberg yang Anda buat dari mesin open source dan simpan di Cloud Storage. Katalog runtime Lakehouse mengelola tabel ini dan menyediakan akses ke tabel tersebut melalui endpoint katalog REST Apache Iceberg. Mesin open source memiliki akses baca dan tulis ke tabel ini, sedangkan BigQuery memiliki akses baca dan akses tulis (Pratinjau). Opsi ini adalah yang terbaik jika Anda ingin alur kerja ETL dikelola oleh mesin open source.

Tabel BigQuery

Tabel ini dikelola dengan BigQuery.

Tabel Apache Iceberg

Tabel ini adalah tabel Apache Iceberg yang Anda buat dari BigQuery dan simpan di Cloud Storage. BigQuery menangani semua tata letak dan pengoptimalan data. Meskipun tabel ini dapat dibaca oleh beberapa mesin, BigQuery adalah satu-satunya mesin yang dapat menulis langsung ke tabel tersebut.

Tabel native

Tabel ini dikelola oleh BigQuery dan menyimpan data di penyimpanan BigQuery. Anda dapat menghubungkan tabel ini ke katalog runtime Lakehouse.

Tabel eksternal

Tabel eksternal berada di luar katalog runtime Lakehouse. Data dan metadata dikelola sendiri dalam katalog pihak ketiga (seperti Cloud Storage, S3, atau Azure Blob Storage). BigQuery hanya dapat membaca dari tabel ini.

Fitur Tabel

Evolusi tabel

Lakehouse Google Cloud mendukung evolusi tabel Apache Iceberg, yang memungkinkan Anda mengubah skema tabel atau spesifikasi partisi seiring waktu tanpa menulis ulang data tabel atau membuat ulang tabel.

Perjalanan waktu

Perjalanan waktu memungkinkan Anda membuat kueri data tabel sebagaimana adanya pada titik waktu atau ID snapshot tertentu. Hal ini berguna untuk mengaudit, mereproduksi eksperimen, atau memulihkan data setelah penghapusan yang tidak disengaja.

Caching Metadata

Caching metadata adalah fitur yang mempercepat performa kueri untuk tabel eksternal. Tabel ini menyimpan salinan metadata tabel di penyimpanan BigQuery, sehingga mengurangi kebutuhan untuk membaca file metadata dari Cloud Storage selama eksekusi kueri.

Pengelolaan tabel Lakehouse Google Cloud

Pengelolaan tabel Lakehouse Google Cloud menyederhanakan pemeliharaan lakehouse dengan mengotomatiskan tugas seperti pemadatan dan pembersihan sampah memori untuk tabel terkelola. Hal ini memastikan performa kueri dan efisiensi penyimpanan yang optimal.

Konsep Interoperabilitas

Lakehouse Tanpa Batas

Lakehouse Tanpa Batas memperluas Lakehouse Google Cloud, sehingga Anda dapat terhubung ke katalog eksternal jarak jauh (seperti Databricks Unity Catalog, AWS Glue, Snowflake Horizon Catalog, Workday Data Lake, atau SAP BDC). Layanan ini menyinkronkan metadata dari penyedia cloud lain, sehingga Anda dapat mengkueri data dengan BigQuery atau mesin open source eksternal melalui endpoint katalog REST Apache Iceberg, tanpa memigrasikan data.

Set data publik

Lakehouse Google Cloud menghosting set data publik berkualitas tinggi yang disajikan melalui katalog REST Apache Iceberg, yang menyediakan akses hanya baca untuk eksplorasi dan pengujian tanpa mengelola infrastruktur.

Struktur penamaan P.C.N.T.

Struktur penamaan P.C.N.T. adalah konvensi empat bagian yang digunakan untuk mengidentifikasi dan mengkueri tabel secara unik di katalog runtime Lakehouse dari BigQuery. PCNT adalah singkatan dari Project.Catalog.Namespace.Table:

  • Project: Project ID Google Cloud .
  • Catalog: Nama katalog runtime Lakehouse.
  • Namespace: Pengelompokan logis untuk tabel (mirip dengan set data).
  • Tabel: Nama tabel data.

Konsep Keamanan

Koneksi

Koneksi adalah resource BigQuery yang menyimpan kredensial untuk mengakses data eksternal. Di Lakehouse Google Cloud, koneksi mendelegasikan akses ke Cloud Storage dengan mengizinkan akun layanan koneksi mengakses bucket penyimpanan atas nama Anda.

Penyediaan Kredensial

Pemberian kredensial sementara adalah mekanisme keamanan yang membantu memperketat kontrol akses saat menggunakan katalog runtime Lakehouse. Jika diaktifkan, layanan ini akan menghasilkan kredensial berumur pendek dan terbatas yang dirancang untuk memberikan akses hanya ke jalur file tertentu yang diperlukan untuk kueri.

Tata kelola terpadu

Tata kelola terpadu memungkinkan Anda menentukan dan menerapkan kebijakan keamanan dan pengelolaan data secara terpusat melalui integrasi dengan Knowledge Catalog. Saat Anda mendaftarkan tabel ke katalog runtime Lakehouse, sistem akan otomatis mendaftarkan entri yang sesuai ke katalog metadata bisnis (Knowledge Catalog), sehingga memungkinkan silsilah data, penelusuran semantik, dan tata kelola pusat di seluruh mesin tanpa memindahkan atau menyalin file.

Konsep Mesin Kueri

Lakehouse Google Cloud memisahkan penyimpanan dari komputasi, sehingga berbagai mesin analisis dapat berinteraksi dengan tabel terbuka.

Managed Service untuk Apache Spark

Managed Service untuk Apache Spark (sebelumnya dikenal sebagai Managed Service untuk Apache Spark) menyediakan runtime yang terkelola sepenuhnya untuk memproses format tabel terbuka seperti Apache Iceberg. Alat ini mendukung dua mode eksekusi utama:

  • Batch serverless: Dirancang untuk pipeline pemrosesan data non-interaktif dan otomatis serta workload ETL. Model bayar per eksekusi ini meniadakan pengelolaan cluster, menghilangkan pertentangan resource antar-tugas, dan mengotomatiskan pemeliharaan infrastruktur.
  • Sesi interaktif serverless: Dirancang untuk analisis data eksploratif, rekayasa data, dan eksperimen data science. Sesi interaktif mendukung notebook Apache Spark di balik layar menggunakan Spark Connect atau kernel Spark jarak jauh, sehingga menyediakan lingkungan penskalaan otomatis tanpa penyiapan infrastruktur.

Tingkat layanan

Saat menjalankan workload Apache Spark terhadap katalog runtime Lakehouse, Anda dapat memilih di antara berbagai paket layanan:

  • Paket standar: Paket eksekusi default yang cocok untuk workload batch processing standar.
  • Paket premium: Menyediakan kemampuan lanjutan, termasuk dukungan untuk sesi notebook interaktif serverless dan fitur yang mempercepat performa seperti Lightning Engine.

Template sesi

Template sesi menyederhanakan konfigurasi sesi interaktif serverless. Dengan template ini, administrator dapat menentukan dan mempertahankan setelan lingkungan umum (seperti properti katalog, konfigurasi jaringan, dan versi runtime). Hal ini mendorong konsistensi dan meningkatkan produktivitas developer dengan meminimalkan penyiapan berulang. Template sesi dapat dibuat dan dikelola menggunakan konsol Google Cloud , gcloud CLI, REST API, atau Terraform.

Konsep Keandalan

Replikasi lintas-region

Replikasi lintas region mereplikasi metadata di beberapa region untuk memastikan ketersediaan katalog selama pemadaman layanan regional.

Failover

Failover adalah proses beralih antara region utama dan sekunder selama pemadaman layanan regional untuk mempertahankan operasi katalog.