자동화된 흐름을 사용하여 Spanner 스트림 만들기

이 페이지에서는 자동 설정 흐름을 사용하여 Spanner 스트림을 만드는 방법을 설명합니다.

자동 스트림 설정은 수행해야 하는 단계 수를 줄여 Spanner 데이터베이스에서 BigQuery와 같은 대상으로 데이터를 이동하는 프로세스를 간소화합니다. 이 흐름을 사용하면 Spanner 인스턴스 또는 데이터베이스의 개요 페이지에서 직접 스트림을 만들 수 있습니다. Datastream은 스트림과 소스 데이터베이스 간의 연결을 보호하고 데이터베이스 구성 및 스트림 연결 리소스를 만드는 작업을 자동화합니다.

무료 등급

Datastream을 사용하면 무료 등급을 사용하여 Spanner에서 BigQuery로 스트리밍할 수 있으며 매달 최대 100GiB의 변경 데이터 캡처 데이터를 무료로 제공합니다. 자세한 내용은 Datastream 가격 책정을 참조하세요.

시작하기 전에

Spanner용 Datastream 스트림을 구성하기 전에 환경이 다음 필수사항을 충족하는지 확인하세요.

  1. 프로젝트에서 필요한 API를 사용 설정합니다.
      Google Cloud
    • Datastream API (datastream.googleapis.com)
    • Cloud Spanner API (spanner.googleapis.com)
    • BigQuery API (bigquery.googleapis.com).
  2. Datastream 리소스를 만들고 관리하는 데 필요한 Identity and Access Management (IAM) 권한이 있는지 확인합니다. 자세한 내용은 필수 권한을 참조하세요.

  3. Spanner 소스 제한사항을 검토합니다.

    • PROTO 및 ENUM 데이터 유형 열은 지원되지 않습니다.
    • DATE 또는 TIMESTAMP 데이터 유형의 배열은 지원되지 않습니다.
    • 변경 내역 보관 기간을 올바르게 구성했는지 확인합니다. Datastream이 보관 기간보다 뒤처지면 데이터가 손실되고 스트림이 실패할 수 있습니다.

필수 권한

자동 스트림 생성 흐름을 사용하려면 스트림을 구성하는 사용자 또는 서비스 계정에 다음 IAM 역할 또는 권한이 있어야 합니다.

  • 스트림 및 연결 프로필을 만들고 관리하는 Datastream 관리자 (roles/datastream.admin) 또는 Datastream 편집자 (roles/datastream.editor).
  • 데이터에 액세스하고 변경사항을 추적하는 소스 데이터베이스의 Spanner 데이터베이스 리더 (roles/spanner.databaseReader) 또는 Spanner 관리자 (roles/spanner.admin).
  • 대상 데이터 세트의 BigQuery 데이터 편집자.

스트림 만들기 및 시작

자동 흐름을 사용하여 스트림을 만들고 시작하려면 다음 단계를 수행하세요.

콘솔

  1. 콘솔에서 Spanner 인스턴스 페이지로 이동합니다. Google Cloud

Spanner 인스턴스로 이동

  1. 데이터를 스트리밍할 Spanner 인스턴스 및 데이터베이스를 선택합니다.

  2. 다음 방법 중 하나로 스트림을 자동으로 만들고 시작합니다.

    • 인스턴스 개요 페이지의 BigQuery로 데이터 복제 에서 스트림 시작 을 클릭합니다.
    • 데이터베이스 개요 페이지의 통합 탭에서 BigQuery로 데이터 복제 아래에 있는 스트림 만들기 를 클릭합니다.

  3. 스트림을 시작하여 데이터 복제 창이 열립니다.

  4. 스트림 설정에서 만든 스트림의 기본 설정을 검토합니다.

  5. 인스턴스 개요 페이지에서 스트림을 만드는 경우 해당 드롭다운을 펼치고 다른 값을 선택하여 소스 데이터베이스를 변경할 수 있습니다.

  6. 변경 내역 드롭다운을 펼치고 다른 값을 선택하여 스트림을 변경할 수 있습니다.

  7. 스트림을 만들고 시작할 준비가 되면 스트림 시작 을 클릭합니다.

스트림 모니터링

콘솔의 소스 Spanner 데이터베이스 개요 페이지에서 기본 스트림 세부정보를 모니터링하려면 변경 내역 탭을 클릭한 후 보려는 스트림을 클릭합니다. Google Cloud

스트림 삭제

자동 흐름을 사용하여 만든 스트림을 삭제하면 Datastream은 스트림 객체와 스트림에 대해 만든 연결 프로필을 삭제합니다.

하지만 더 이상 필요하지 않은 경우 독립적으로 만든 Spanner 변경 내역 또는 대상 리소스를 수동으로 삭제해야 합니다.

다음 단계