A ingestão de captura de dados alterados (CDC) permite sincronizar seus bancos de dados de origem com as tabelas gerenciadas do Apache Iceberg (antigas tabelas do BigLake para Apache Iceberg no BigQuery) do Lakehouse sem fronteiras em tempo real. Ao capturar mudanças incrementais, como inserções, atualizações e exclusões, a CDC garante que o lakehouse reflita o estado mais atual dos dados operacionais sem exigir recargas completas de tabelas.
As tabelas gerenciadas do Apache Iceberg usam conceitos e recursos de CDC do BigQuery para processar essas mudanças de maneira eficiente e permitir análises de baixa latência em dados armazenados em formatos abertos, como o Apache Iceberg. Essa abordagem reduz significativamente a sobrecarga de gerenciamento associada aos processos de ETL típicos.
Limitações
As tabelas gerenciadas do Apache Iceberg são compatíveis com a ingestão de captura de dados alterados (CDC) e usam os mesmos conceitos e recursos da ingestão de CDC padrão do BigQuery. No entanto, há algumas outras limitações que você precisa conhecer:
- Não é possível fazer exclusões fora de ordem. Ao contrário da ingestão de CDC do BigQuery, uma janela de retenção de exclusão não é mantida para tabelas gerenciadas do Iceberg com CDC ativado. Se um evento
DELETEchegar antes que o registro correspondente seja inserido, a exclusão será descartada pelos jobs de aplicação em segundo plano. Isso pode resultar em registros fora de ordem que deveriam ser excluídos, mas permanecem na tabela. - Todas as limitações em Limitações de tabelas gerenciadas do Apache Iceberg.
- Todas as limitações em Limitações de ingestão de CDC do BigQuery.
A seguir
Para mais informações, consulte a seguinte documentação do BigQuery:
- Fazer streaming de dados com a captura de dados alterados
- Fazer streaming de dados com a API BigQuery Storage Write (gRPC)
- Saiba como usar o Datastream para replicar bancos de dados transacionais em tabelas do Apache Iceberg.