変更データ キャプチャ(CDC)取り込みを使用すると、ソース データベースをボーダーレスな Lakehouse の Apache Iceberg マネージド テーブル(旧称: BigQuery の Apache Iceberg 用 BigLake テーブル)とリアルタイムで同期できます。CDC は、挿入、更新、削除などの増分変更をキャプチャすることで、テーブルの完全な再読み込みを必要とせずに、レイクハウスに運用データの最新の状態を反映します。
Apache Iceberg マネージド テーブルは、BigQuery CDC のコンセプトと機能を使用して、これらの変更を効率的に処理し、Apache Iceberg などのオープン形式で保存されたデータの低レイテンシ分析を可能にします。このアプローチにより、一般的な ETL プロセスに関連する管理オーバーヘッドが大幅に削減されます。
制限事項
Apache Iceberg マネージド テーブルは、変更データ キャプチャ(CDC)の取り込みをサポートしており、標準の BigQuery CDC 取り込みと同じコンセプトと機能を活用しています。ただし、他にもいくつかの制限事項があります。
- 順序外の削除はサポートされていません。BigQuery CDC の取り込みとは異なり、CDC 対応の Iceberg マネージド テーブルでは削除保持期間は維持されません。対応するレコードが挿入される前に
DELETEイベントが到着すると、削除はバックグラウンド適用ジョブによって破棄されます。これにより、削除対象の順序が異なるレコードがテーブルに残る可能性があります。 - Apache Iceberg マネージド テーブルの制限事項に記載されているすべての制限事項。
- BigQuery CDC の取り込みの制限事項に記載されているすべての制限事項。
次のステップ
詳細については、次の BigQuery のドキュメントをご覧ください。
- 変更データ キャプチャを使用してデータをストリーミングする
- BigQuery Storage Write API(gRPC)を使用してデータをストリーミングする
- Datastream を使用してトランザクション データベースを Apache Iceberg テーブルにレプリケートする方法について学習する。