변경 데이터 캡처 (CDC) 수집을 사용하면 소스 데이터베이스 를 경계 없는 Lakehouse Apache Iceberg 관리형 테이블 (이전에는 BigQuery의 Apache Iceberg용 BigLake 테이블)과 실시간으로 동기화할 수 있습니다. CDC는 삽입, 업데이트, 삭제와 같은 증분 변경사항을 캡처하여 전체 테이블을 다시 로드하지 않고도 레이크하우스에 운영 데이터의 최신 상태가 반영되도록 합니다.
Apache Iceberg 관리형 테이블은 BigQuery CDC 개념과 기능을 사용하여 이러한 변경사항을 효율적으로 처리하고 지연 시간이 짧은 Apache Iceberg와 같은 개방형 형식으로 저장된 데이터에 대한 분석을 지원합니다. 이 접근 방식은 일반적인 ETL 프로세스와 관련된 관리 오버헤드를 크게 줄입니다.
제한사항
Apache Iceberg 관리형 테이블은 변경 데이터 캡처 (CDC) 수집을 지원하며 표준 BigQuery CDC 수집과 동일한 개념과 기능을 활용합니다. 하지만 다음과 같은 몇 가지 추가 제한사항에 유의해야 합니다.
- 순서가 맞지 않는 삭제는 지원되지 않습니다. BigQuery CDC
수집과 달리 삭제 보존 기간은 CDC 지원
Iceberg 관리형 테이블에 유지되지 않습니다. 해당 레코드가 삽입되기 전에
DELETE이벤트가 도착하면 백그라운드 적용 작업에서 삭제가 삭제됩니다. 이로 인해 삭제하려는 테이블에 순서가 맞지 않는 레코드가 남아 있을 수 있습니다. - Apache Iceberg 관리형 테이블 제한사항의 모든 제한사항
- BigQuery CDC 수집 제한사항의 모든 제한사항
다음 단계
자세한 내용은 다음 BigQuery 문서를 참조하세요.
- 변경 데이터 캡처로 데이터 스트리밍
- BigQuery Storage Write API (gRPC)로 데이터 스트리밍
- Datastream을 사용하여 트랜잭션 데이터베이스 를 BigLake 테이블에 복제하는 방법 알아보기.