La transferencia de captura de datos modificados (CDC) te permite sincronizar tus bases de datos de origen con las tablas administradas de Apache Iceberg (antes tablas de BigLake para Apache Iceberg en BigQuery) de Lakehouse sin límites en tiempo real. Con la captura de cambios incrementales, como inserciones, actualizaciones y eliminaciones, la CDC garantiza que tu lakehouse refleje el estado más actual de tus datos operativos sin necesidad de volver a cargar la tabla por completo.
Las tablas administradas de Apache Iceberg usan conceptos y capacidades de CDC de BigQuery para procesar estos cambios de manera eficiente y habilitar el análisis de baja latencia en los datos almacenados en formatos abiertos como Apache Iceberg. Este enfoque reduce de forma significativa la sobrecarga de administración asociada con los procesos de ETL típicos.
Limitaciones
Las tablas administradas de Apache Iceberg admiten la transferencia de captura de datos modificados (CDC) y aprovechan los mismos conceptos y capacidades que la transferencia de CDC estándar de BigQuery. Sin embargo, hay algunas limitaciones adicionales que debes tener en cuenta:
- No se admiten las eliminaciones fuera de orden. A diferencia de la transferencia de CDC de BigQuery, no se mantiene un período de retención de eliminación para las tablas administradas de Iceberg
habilitadas para CDC. Si llega un evento
DELETEantes de que se inserte el registro correspondiente, los trabajos de aplicación en segundo plano descartan la eliminación. Esto puede provocar que los registros desordenados que se debían borrar permanezcan en la tabla. - Todas las limitaciones que se indican en Limitaciones de las tablas administradas de Apache Iceberg
- Todas las limitaciones que se indican en Limitaciones de la transferencia de CDC de BigQuery
¿Qué sigue?
Para obtener más información, consulta la siguiente documentación de BigQuery:
- Transmite datos con la captura de datos modificados
- Transmite datos con la API de BigQuery Storage Write (gRPC)
- Aprende a usar Datastream para replicar bases de datos transaccionales en tablas de Apache Iceberg.