L'inserimento di Change Data Capture (CDC) consente di sincronizzare in tempo reale i database di origine con le tabelle gestite di Lakehouse senza bordi Apache Iceberg (in precedenza tabelle BigLake per Apache Iceberg in BigQuery). Acquisendo le modifiche incrementali, come inserimenti, aggiornamenti ed eliminazioni, CDC garantisce che il lakehouse rifletta lo stato più attuale dei dati operativi senza richiedere ricariche complete delle tabelle.
Le tabelle gestite di Apache Iceberg utilizzano i concetti e le funzionalità di CDC di BigQuery per elaborare in modo efficiente queste modifiche e consentire l'analisi a bassa latenza dei dati archiviati in formati aperti come Apache Iceberg. Questo approccio riduce notevolmente il sovraccarico di gestione associato ai tipici processi ETL.
Limitazioni
Le tabelle gestite di Apache Iceberg supportano l'inserimento di Change Data Capture (CDC) e sfruttano gli stessi concetti e funzionalità dell'inserimento di CDC standard di BigQuery. Tuttavia, ci sono alcune limitazioni aggiuntive di cui tenere conto:
- Le eliminazioni fuori sequenza non sono supportate. A differenza dell'inserimento di CDC
di BigQuery, per le tabelle gestite di Iceberg abilitate per CDC
non viene mantenuta una finestra di conservazione delle eliminazioni. Se un evento
DELETEarriva prima dell'inserimento del record corrispondente, l'eliminazione viene ignorata dai job di applicazione in background. Di conseguenza, nella tabella potrebbero rimanere record fuori sequenza che dovevano essere eliminati. - Tutte le limitazioni delle tabelle gestite di Apache Iceberg.
- Tutte le limitazioni dell'inserimento di CDC di BigQuery.
Passaggi successivi
Per ulteriori informazioni, consulta la seguente documentazione di BigQuery:
- Trasmettere dati in streaming con Change Data Capture
- Trasmettere dati in streaming con l'API BigQuery Storage Write (gRPC)
- Scopri come utilizzare Datastream per replicare i database transazionali nelle tabelle BigLake.