变更数据捕获 (CDC) 注入处理

本页面将引导您了解如何在 BigQuery 中通过 Google Cloud Cortex Framework 进行变更数据捕获 (CDC) 提取。BigQuery 旨在高效存储和分析新数据。

CDC 流程

当源数据系统（例如 SAP）中的数据发生更改时，BigQuery 不会修改现有记录。而是将更新后的信息添加为新记录。为避免重复，之后需要应用合并操作。此过程称为“变更数据捕获 (CDC) 提取”。

SAP 的 Data Foundation 包含用于为 Cloud Composer 或 Apache Airflow 创建脚本的选项，以合并或 upsert 因更新而产生的新记录，并仅在新数据集中保留最新版本。为了使这些脚本正常运行，相应表需要包含一些特定字段：

• operation_flag：此标志用于告知脚本记录是插入、更新还是删除的。
• recordstamp：此时间戳有助于识别记录的最新版本。此标志用于指明相应记录是否为：
  • 已插入 (I)
  • 已更新 (U)
  • 已删除 (D)

通过利用 CDC 处理，您可以确保 BigQuery 数据准确反映源系统的最新状态。这样可以消除重复条目，并为数据分析提供可靠的基础。

数据集结构

对于所有受支持的数据源，上游系统中的数据会先复制到 BigQuery 数据集（source 或 replicated dataset）中，然后将更新或合并后的结果插入到另一个数据集（CDC 数据集）中。报告视图从 CDC 数据集中选择数据，以确保报告工具和应用始终拥有表的最新版本。

以下流程展示了 SAP 的 CDC 处理如何依赖于 operational_flag 和 recordstamp。

图 1。SAP 的 CDC 处理示例。

以下流程展示了从 API 到原始数据和 CDC 处理的集成，适用于 Salesforce，具体取决于 Salesforce API 生成的 Id 和 SystemModStamp 字段。

图 2。从 API 集成到原始数据和 CDC 处理，适用于 Salesforce。

某些复制工具可以在将记录插入 BigQuery 时合并或更新插入记录，因此生成这些脚本是可选的。在这种情况下，设置只有一个数据集。报告数据集从该数据集提取更新后的记录以用于报告。