Datastream 개요

Datastream은 이기종 데이터베이스 및 애플리케이션 간에 최소한의 지연 시간으로 데이터를 동기화할 수 있는 서버리스 변경 데이터 캡처 (CDC) 및 복제 서비스입니다. Datastream은 서버리스이므로 리소스를 프로비저닝하거나 관리할 필요 없이 자동으로 확장됩니다.

거의 실시간 분석을 위해 데이터를 BigQuery에 복제하거나 이벤트 기반 아키텍처를 위해 변경 이벤트 스트림을 Cloud Storage에 쓸 수 있습니다. Pub/Sub 및 Dataflow 템플릿과 통합하면 Cloud SQL 및 Spanner와 같은 대상에 데이터를 로드할 수 있습니다. Datastream은 Knowledge Catalog와도 통합되어 Google Cloud전반에서 중앙 집중식 메타데이터 및 계보 관리를 지원합니다.

Datastream은 MySQL, Oracle, PostgreSQL, PostgreSQL용 AlloyDB, SQL Server, MongoDB, Spanner를 포함한 데이터베이스 소스를 지원합니다. Salesforce 및 Salesforce Marketing Cloud, Microsoft Dataverse, ServiceNow, Workday와 같은 프리뷰 소스에서 데이터를 스트리밍할 수도 있습니다. 비공개 연결 옵션, 상태 보고, 스키마 변경 처리는 마이그레이션 및 하이브리드 클라우드 배포를 위한 안정적인 복제를 지원합니다.

사용 사례

Datastream의 스트리밍 기능은 다양한 사용 사례를 지원합니다.

  • 최소한의 지연 시간으로 조직 전체에서 데이터 복제 및 동기화

    이기종 데이터베이스와 애플리케이션에서 짧은 지연 시간으로 소스 성능에 미치는 영향을 최소화하면서 안정적으로 데이터를 동기화할 수 있습니다. 하이브리드 환경에서 분석, 데이터베이스 복제, 클라우드 마이그레이션, 이벤트 기반 아키텍처에 데이터 스트림을 활용하세요.

  • 서버리스 아키텍처를 통한 원활한 확장 또는 축소

    데이터 볼륨의 변화에 따라 원활하게 확장되는 사용하기 쉬운 서버리스 서비스로 빠르게 준비하고 실행하세요. 인프라, 성능 조정 또는 리소스 프로비저닝을 관리하는 대신 데이터에서 최신 통계를 얻고 우선순위가 높은 문제에 대응하는 데 집중하세요.

  • Google Cloud 데이터 통합 제품군과 통합

    Google Cloud 데이터 통합 제품군으로 조직 전체의 데이터를 연결하세요. Datastream을 Dataflow 작업 템플릿과 통합하여 Cloud Storage 버킷에서 데이터를 읽고 BigQuery, Spanner, Cloud SQL과 같은 다양한 대상에 로드합니다.

환경 요소

Datastream에는 세 가지 기본 요소가 있습니다.

  • 비공개 연결 구성을 사용하면 Datastream이 비공개 네트워크 (내부적으로Google Cloud내 또는 VPN 또는 Interconnect를 통해 연결된 외부 소스)를 통해 데이터 소스와 통신할 수 있습니다. 이 통신은 가상 프라이빗 클라우드 (VPC) 피어링 연결을 통해 이루어집니다.
  • 연결 프로필은 소스와 대상 모두에 대한 연결 정보를 나타냅니다. 이 정보는 스트림에 사용됩니다.
  • 스트림은 연결 프로필의 정보를 사용해서 CDC 및 백필 데이터를 소스에서 대상으로 전송합니다.

다음 단계