Ringkasan Federasi Lakehouse di AlloyDB

Halaman ini memperkenalkan Federasi Lakehouse di AlloyDB untuk PostgreSQL, solusi pengelolaan data terpadu yang memperluas kemampuan kueri AlloyDB. Integrasi ini memungkinkan Anda membuat kueri berbagai resource BigQuery dengan lancar, termasuk:

Dengan Federasi Lakehouse, Anda dapat menggunakan mesin kueri AlloyDB untuk mendukung beban kerja transaksional dan analitis aplikasi Anda dari dalam antarmuka yang sama. Anda juga dapat mewujudkan atau mengimpor data ini di AlloyDB untuk akses yang lebih cepat untuk digunakan dalam aplikasi Anda, yang memungkinkan Anda menggunakan AlloyDB AI dan columnar engine.

Gabungan Lakehouse untuk AlloyDB memungkinkan Anda memuat dan mentransformasi data dari BigQuery atau Iceberg ke AlloyDB untuk mendukung aplikasi operasional Anda atau menggabungkan data historis dengan data transaksional real-time. Kasus penggunaan ini mendukung analisis terpadu dan tampilan lengkap bisnis Anda dalam konteks aplikasi Anda.

Anda dapat menggunakan AlloyDB sebagai database transaksional dan juga memiliki sejumlah besar data yang berada di BigQuery atau BigLake. Aplikasi Anda biasanya terintegrasi secara independen dengan kedua sistem ini untuk mengakses data di berbagai layanan Google Cloudini. Gabungan Lakehouse memungkinkan Anda menggunakan dukungan kueri gabungan AlloyDB yang diimplementasikan sebagai wrapper data asing untuk mengakses data BigQuery dan AlloyDB menggunakan antarmuka SQL di AlloyDB.

Pushdown

Anda dapat menggunakan teknik filter dan aggregate pushdown, yang mempercepat kueri dan mengurangi biaya dengan memfilter atau meringkas data di BigQuery sebelum dipindahkan atau diproses oleh AlloyDB. Pendekatan ini meminimalkan traffic jaringan dan penggunaan memori, sehingga Anda dapat menganalisis set data besar dengan cepat dan efisien tanpa melebihi batas resource.

Bentang bawah filter

Pushdown filter, yang juga dikenal sebagai pushdown predikat, adalah teknik pengoptimalan yang memindahkan pemfilteran data sedekat mungkin dengan lapisan penyimpanan. Daripada membaca tabel besar ke dalam memori lalu menghapus baris yang tidak Anda perlukan, database akan "mendorong" filter (menggunakan klausa WHERE) ke dalam pemindaian data awal.

Dengan filter pushdown, Anda dapat menggunakan kueri SQL dengan klausa WHERE untuk mengakses subkumpulan data dari tabel jarak jauh. Data ini juga dapat diwujudkan pada tabel lokal atau dilampirkan sebagai partisi lokal ke tabel PostgreSQL.

Filter yang didukung

Operasi perbandingan dan aritmetika berikut didorong ke BigQuery menggunakan BigQuery API jika muncul dalam ekspresi di klausa pemfilteran (WHERE) kueri PostgreSQL:

Operator perbandingan

=, >, <, >=, <=, <>, ~~, !~~

Operator aritmetika

+, -, *, /

Aggregate pushdown

Aggregate pushdown adalah pengoptimalan database lanjutan yang melakukan kalkulasi—misalnya, SUM, COUNT, AVG, atau GROUP BY sedekat mungkin dengan lapisan penyimpanan. Meskipun filter pushdown menghapus baris yang tidak diperlukan, aggregate pushdown meringkas baris yang diperlukan sebelum mesin database memprosesnya lebih lanjut.

Agregasi yang didukung

Fungsi agregasi berikut didorong ke BigQuery menggunakan BigQuery API, jika berlaku untuk jenis data yang didukung:

  • SUM
  • AVG
  • MIN
  • MAKS
  • COUNT

Biaya dan penagihan BigQuery

Pembungkus data asing BigQuery bergantung pada hal berikut:

  • Harga komputasi BigQuery
  • Harga BigQuery Storage API

Untuk mengetahui informasi, lihat Harga BigQuery.

Batasan

  • AlloyDB dan BigQuery dapat menggunakan kolasi yang berbeda, yang dapat menyebabkan pengurutan data yang berbeda antara kedua sistem. Untuk bagian kueri apa pun yang dieksekusi dari jarak jauh di BigQuery, kolasinya mengikuti setelan BigQuery.
  • Kueri yang menampilkan data dalam jumlah sangat besar dari BigQuery, setelah pushdown, tidak dioptimalkan.

Langkah berikutnya