Captura de datos modificados

La transferencia de datos modificados (CDC) te permite sincronizar tus bases de datos de origen con tablas administradas de Apache Iceberg de Lakehouse sin bordes (antes tablas de BigLake para Apache Iceberg en BigQuery) en tiempo real. Al capturar cambios incrementales, como inserciones, actualizaciones y eliminaciones, la CDC garantiza que tu lakehouse refleje el estado más actual de tus datos operacionales sin requerir recargas completas de la tabla.

Las tablas administradas de Apache Iceberg usan conceptos de CDC de BigQuery y capacidades para procesar estos cambios de manera eficiente y habilitar estadísticas de baja latencia sobre los datos almacenados en formatos abiertos como Apache Iceberg. Este enfoque reduce significativamente la sobrecarga de administración asociada con los procesos típicos de ETL.

Limitaciones

Las tablas administradas de Apache Iceberg admiten la transferencia de captura de datos modificados (CDC) y aprovechan los mismos conceptos y capacidades que la transferencia de captura de datos modificados (CDC) estándar de BigQuery. Sin embargo, existen algunas limitaciones adicionales que debes tener en cuenta:

  • No se admiten las eliminaciones fuera de orden. A diferencia de la transferencia de CDC de BigQuery, no se mantiene una ventana de retención de eliminación para las tablas administradas de Iceberg habilitadas para CDC. Si llega un evento DELETE antes de que se inserte el registro correspondiente, los trabajos de aplicación en segundo plano descartan la eliminación. Esto puede generar que los registros fuera de orden permanezcan en tu tabla y que se hayan destinado a borrarse.
  • Todas las limitaciones en las limitaciones de las tablas administradas de Apache Iceberg.
  • Todas las limitaciones en las limitaciones de la transferencia de CDC de BigQuery.

¿Qué sigue?

Para obtener más información, consulta la siguiente documentación de BigQuery: