Apache Beam 및 SpannerIO를 사용하여 Spanner Omni에 연결

Apache Beam은 일괄 및 스트리밍 데이터 병렬 처리 파이프라인을 모두 정의할 수 있는 오픈소스 통합 모델입니다. 이 문서에서는 Apache Beam 파이프라인 내에서 SpannerIO 커넥터를 사용하여 Spanner Omni 데이터베이스에서 읽거나 쓰는 방법을 설명합니다.

시작하기 전에

SpannerIO를 Spanner Omni에 연결하려면 다음 요구사항을 충족해야 합니다.

  • Spanner Omni 환경 내에서 데이터베이스를 초기화합니다.

  • Apache Beam 버전 2.69.0 이상을 사용합니다.

  • 환경의 인증 사용자 인증 정보를 설정합니다.

Spanner Omni에 연결하도록 SpannerIO 구성

SpannerIO를 Spanner Omni에 연결하려면 데이터베이스 세부정보와 연결 매개변수를 사용하여 SpannerConfig를 구성해야 합니다. SpannerIO는 Spanner Omni에 연결할 때 일반 텍스트 통신만 지원합니다.

연결을 구성하려면 다음 단계를 따르세요.

  1. Spanner Omni 데이터베이스 인스턴스 및 엔드포인트를 지정합니다.

  2. withExperimentalHost 메서드를 사용하여 실험적 호스트 지원을 사용 설정합니다.

  3. 일반 텍스트 채널을 사용하도록 파이프라인을 구성합니다.

다음 예에서는 Spanner Omni의 SpannerConfig 객체를 만드는 방법을 보여줍니다.

SpannerConfig spannerConfig =
    SpannerConfig.create()
        .withDatabaseId("DATABASE_ID")
        // Define the Spanner Omni endpoint
        .withExperimentalHost("http://ENDPOINT")
        // SpannerIO supports only plain-text connections
        .withUsingPlainTextChannel(true);