借助变更数据捕获 (CDC) 注入,您可以将源数据库与无边界 Lakehouse Apache Iceberg 托管表(以前称为 BigQuery 中的 Apache Iceberg BigLake 表)实时同步。通过捕获增量更改(例如插入、更新和删除),CDC 可确保您的 Lakehouse 反映运营数据的最新状态,而无需重新加载整个表。
Apache Iceberg 托管表使用 BigQuery CDC 概念和功能来高效处理这些更改,并对以 Apache Iceberg 等开放格式存储的数据进行低延迟分析。这种方法可显著减少与典型 ETL 流程相关的管理开销。
限制
Apache Iceberg 代管表支持变更数据捕获 (CDC) 注入,并利用与标准 BigQuery CDC 注入相同的概念和功能。不过,您还需要注意以下几点限制:
- 不支持无序删除。与 BigQuery CDC 提取不同,系统不会为启用了 CDC 的 Iceberg 托管式表维护删除保留期。如果
DELETE事件在插入相应记录之前到达,则后台应用作业会舍弃删除操作。这可能会导致本应删除的无序记录保留在表中。 - Apache Iceberg 托管式表限制下的所有限制。
- BigQuery CDC 注入限制下的所有限制。
后续步骤
如需了解详情,请参阅以下 BigQuery 文档:
- 使用变更数据捕获流式传输数据
- 使用 BigQuery Storage Write API (gRPC) 流式传输数据
- 了解如何使用 Datastream 将事务型数据库复制到 Apache Iceberg 表。