變更資料擷取攝入

變更資料擷取 (CDC) 擷取功能可讓您即時同步處理來源資料庫與無邊界 Lakehouse Apache Iceberg 代管資料表 (原稱 BigQuery 中的 Apache Iceberg BigLake 資料表)。CDC 會擷取插入、更新和刪除等增量變更,確保湖倉反映最新的作業資料狀態,不必重新載入整個資料表。

Apache Iceberg 代管資料表會使用 BigQuery CDC 概念和功能,有效率地處理這些變更,並對以 Apache Iceberg 等開放格式儲存的資料進行低延遲數據分析。這種做法可大幅降低一般 ETL 程序相關的管理負擔。

限制

Apache Iceberg 代管資料表支援變更資料擷取 (CDC) 擷取作業,並採用與標準 BigQuery CDC 擷取作業相同的概念和功能。不過,請注意以下幾項額外限制:

  • 不支援不按順序刪除。與 BigQuery CDC 擷取不同,啟用 CDC 的 Iceberg 代管資料表不會維護刪除保留時間範圍。如果 DELETE 事件在插入對應記錄前到達,背景套用工作會捨棄刪除作業。這可能會導致原本應刪除的記錄仍留在資料表中,且順序不正確。
  • 「Apache Iceberg 代管資料表限制」一節列出的所有限制。
  • BigQuery CDC 擷取限制下的所有限制。

後續步驟

詳情請參閱下列 BigQuery 說明文件: