變更資料擷取 (CDC) 擷取功能可讓您即時將來源資料庫與無邊界的 Lakehouse Apache Iceberg 代管資料表 (先前為 BigQuery 中的 Apache Iceberg BigLake 資料表) 同步處理。CDC 會擷取增量變更 (例如插入、更新和刪除),確保資料湖屋反映作業資料的最新狀態,不必重新載入整個資料表。
Apache Iceberg 代管資料表會使用 BigQuery CDC 概念和功能,有效處理這些變更,並對以 Apache Iceberg 等開放格式儲存的資料進行低延遲分析。這種做法可大幅減少與一般 ETL 程序相關的管理負擔。
限制
Apache Iceberg 代管資料表支援變更資料擷取 (CDC) 擷取作業,並採用與標準 BigQuery CDC 擷取作業相同的概念和功能。不過,請注意以下額外限制:
- 系統不支援依任意順序刪除項目。與 BigQuery CDC 擷取作業不同,系統不會為啟用 CDC 的 Iceberg 代管資料表保留刪除保留時間範圍。如果
DELETE事件在插入對應記錄前抵達,背景套用作業會捨棄刪除作業。這可能會導致您想刪除的記錄仍留在表格中,且順序錯亂。 - Apache Iceberg 代管資料表限制的所有限制。
- BigQuery CDC 擷取限制中的所有限制。
後續步驟
詳情請參閱下列 BigQuery 說明文件: