A ingestão de captura de dados alterados (CDC, na sigla em inglês) permite sincronizar seus bancos de dados de origem com tabelas gerenciadas do Apache Iceberg do Lakehouse sem fronteiras (antigas tabelas do BigLake para Apache Iceberg no BigQuery) em tempo real. Ao capturar mudanças incrementais, como inserções, atualizações e exclusões, o CDC garante que seu Lakehouse reflita o estado mais atual dos dados operacionais sem exigir recarregamentos completos da tabela.
As tabelas gerenciadas do Apache Iceberg usam conceitos e recursos do CDC do BigQuery para processar essas mudanças de maneira eficiente e permitir análises de baixa latência em dados armazenados em formatos abertos, como o Apache Iceberg. Essa abordagem reduz significativamente a sobrecarga de gerenciamento associada aos processos típicos de ETL.
Limitações
As tabelas gerenciadas do Apache Iceberg oferecem suporte à ingestão de captura de dados alterados (CDC) e aproveitam os mesmos conceitos e recursos da ingestão padrão do CDC do BigQuery. No entanto, há algumas limitações adicionais que precisam ser consideradas:
- Não há suporte para exclusões fora de ordem. Ao contrário da ingestão do CDC do BigQuery, uma janela de retenção de exclusão não é mantida para tabelas gerenciadas do Iceberg ativadas para CDC. Se um evento
DELETEchegar antes que o registro correspondente seja inserido, a exclusão será descartada pelos jobs de aplicação em segundo plano. Isso pode resultar em registros fora de ordem que permaneceram na tabela e deveriam ter sido excluídos. - Todas as limitações em Limitações de tabelas gerenciadas do Apache Iceberg.
- Todas as limitações em Limitações de ingestão do CDC do BigQuery.
A seguir
Para mais informações, consulte a seguinte documentação do BigQuery:
- Transmitir dados com a captura de dados alterados
- Transmitir dados com a API BigQuery Storage Write (gRPC)
- Saiba como usar o Datastream para replicar bancos de dados transacionais em tabelas do BigLake.