变更数据捕获提取

借助变更数据捕获 (CDC) 提取，您可以实时将源数据库与无边界 Lakehouse Apache Iceberg 管理的表（以前称为“BigQuery 中的 Apache Iceberg BigLake 表”）同步。通过捕获增量更改（例如插入、更新和删除），CDC 可确保您的数据湖仓反映最新的运营数据状态，而无需重新加载整个表。

Apache Iceberg 受管表使用 BigQuery CDC 概念和功能来高效处理这些更改，并对以 Apache Iceberg 等开放格式存储的数据实现低延迟分析。这种方法可显著减少与典型 ETL 流程相关的管理开销。

限制

Apache Iceberg 受管理表支持变更数据捕获 (CDC) 提取，并利用与标准 BigQuery CDC 提取相同的概念和功能。不过，还需要注意以下几点限制：

  • 不支持无序删除。与 BigQuery CDC 提取不同，对于启用 CDC 的 Iceberg 托管式表，系统不会保留删除保留期。如果 DELETE 事件在插入相应记录之前到达，则后台应用作业会舍弃删除操作。这可能会导致本应删除的无序记录仍保留在表中。
  • Apache Iceberg 托管式表的限制下的所有限制。
  • BigQuery CDC 提取限制下的所有限制。

后续步骤

如需了解详情，请参阅以下 BigQuery 文档：