Penyerapan pengambilan data perubahan

Penyerapan change data capture (CDC) memungkinkan Anda menyinkronkan database sumber dengan tabel terkelola Apache Iceberg (sebelumnya tabel BigLake untuk Apache Iceberg di BigQuery) Lakehouse tanpa batas secara real time. Dengan menangkap perubahan inkremental—seperti penyisipan, pembaruan, dan penghapusan—CDC memastikan bahwa lakehouse Anda mencerminkan status terbaru data operasional Anda tanpa memerlukan pemuatan ulang tabel secara penuh.

Tabel terkelola Apache Iceberg menggunakan konsep dan kemampuan CDC BigQuery untuk memproses perubahan ini secara efisien dan memungkinkan analisis latensi rendah pada data yang disimpan dalam format terbuka seperti Apache Iceberg. Pendekatan ini secara signifikan mengurangi overhead pengelolaan yang terkait dengan proses ETL standar.

Batasan

Tabel terkelola Apache Iceberg mendukung penyerapan change data capture (CDC), dan memanfaatkan konsep dan kemampuan yang sama dengan penyerapan CDC BigQuery standar. Namun, ada beberapa batasan tambahan yang perlu diperhatikan:

  • Penghapusan yang tidak berurutan tidak didukung. Tidak seperti penyerapan CDC BigQuery, periode retensi penghapusan tidak dipertahankan untuk tabel terkelola Iceberg yang mendukung CDC. Jika peristiwa DELETE tiba sebelum data yang sesuai disisipkan, penghapusan akan dihapus oleh tugas penerapan latar belakang. Hal ini dapat menyebabkan data yang tidak berurutan tetap ada di tabel Anda, yang seharusnya dihapus.
  • Semua batasan dalam batasan tabel terkelola Apache Iceberg.
  • Semua batasan dalam batasan penyerapan CDC BigQuery.

Langkah berikutnya

Untuk mengetahui informasi selengkapnya, lihat dokumentasi BigQuery berikut: