Spanner 데이터베이스를 Datastream의 소스로 사용하면 이전 데이터와 변경 내역 이벤트를 대상으로 복제하여 실시간 분석을 수행할 수 있습니다.
Datastream에서 Spanner 소스를 준비하려면 복제 동작, 지원되는 버전, 알려진 제한사항을 검토하세요.
동작
Spanner는 Datastream에서 소스로 사용할 수 있는 확장 가능하고 가용성이 높은 완전 관리형 데이터베이스 서비스입니다. Datastream은 Spanner 변경 내역을 사용하여 Spanner 데이터베이스의 변경사항을 추적합니다. 그런 다음 변경 내역에 포함된 변경사항이 대상으로 복제되어 소스 이벤트를 재현합니다.
Datastream은 변경 내역을 만들거나 수정하지 않으므로 제공된 Spanner 변경 내역에서 추적하지 않는 데이터베이스 객체는 Datastream 스트림에 포함될 수 없습니다.
Spanner에 대한 자세한 내용은 Spanner 문서를 참조하세요.
버전
Datastream은 사용 가능한 모든 Spanner 버전을 지원합니다.
- 표준 버전
- Enterprise 버전
- Enterprise Plus 버전
각 버전의 개요는 Spanner 버전 개요를 참조하세요.
무료 등급
Datastream을 사용하면 무료 등급을 사용하여 Spanner에서 BigQuery로 스트리밍할 수 있으며, 매달 최대 100GiB의 변경 데이터 캡처 데이터를 무료로 제공합니다. 자세한 내용은 Datastream 가격 책정을 참조하세요.
알려진 제한사항
Spanner 데이터베이스를 소스로 사용할 경우의 알려진 제한사항은 다음과 같습니다.
NEW_ROW또는NEW_ROW_AND_OLD_VALUES값 캡처 유형을 사용하는 변경 내역만 지원됩니다.- Datastream은
PROTO또는ENUM데이터 유형 열을 지원하지 않습니다. - Datastream은
DATE또는TIMESTAMP데이터 유형의 배열을 지원하지 않습니다. - 크기가 3테비바이트 (TiB)를 초과하는 데이터베이스의 백필은 완료하는 데 24시간 이상 걸릴 수 있습니다.
- 백필은 특정 타임스탬프에 대해 생성된 백업 유형인 스냅샷 에포크를 생성하여 해당 타임스탬프의 데이터 버전을 보관합니다. 스냅샷 세대는 백필이 완료될 때까지 주요 압축을 지연시킵니다. 압축에 대한 자세한 내용은 Spanner 열 기반 엔진 개요를 참조하세요.
- Datastream에서 파티션이 10,000개를 초과하는 Spanner 변경 내역을 따라잡는 데 문제가 있을 수 있습니다. 즉, 변경 이벤트가 지연되어 도착하거나 스트림이 결국 실패할 수 있습니다.
- Datastream은 초당 60,000개 이상의 업데이트가 있는 Spanner 변경 내역을 따라잡는 데 문제가 있을 수 있습니다. 즉, 변경 이벤트가 지연되어 도착하거나 스트림이 결국 실패할 수 있습니다.
- Datastream은 초당 60메비바이트 (MiB)를 초과하는 처리량으로 Spanner 변경 내역을 따라잡는 데 문제가 있을 수 있습니다. 즉, 변경 이벤트가 지연되어 도착하거나 스트림이 결국 실패할 수 있습니다.
- Spanner 변경 내역은 파티션을 나눈 데이터를 지원하지 않으므로 지역 파티션을 나눈 데이터 복제는 지원되지 않습니다.
다음 단계
- Datastream에 사용할 Spanner 소스 구성 방법 알아보기