PostgreSQL 데이터 전송 소개

PostgreSQL용 BigQuery Data Transfer Service 커넥터를 사용하여 PostgreSQL에서 BigQuery로 데이터를 로드할 수 있습니다. 이 커넥터는 온프레미스 환경, Cloud SQL, Amazon Web Services (AWS) 및 Microsoft Azure와 같은 기타 퍼블릭 클라우드 제공업체에 호스팅된 PostgreSQL 인스턴스를 지원합니다. 이 문서에서는 PostgreSQL 전송의 데이터 수집 옵션과 데이터 유형 매핑 및 가격 책정에 관한 정보를 간략하게 설명합니다.

PostgreSQL 전송을 예약하는 방법을 알아보려면 PostgreSQL 데이터를 BigQuery에 로드를 참고하세요.

데이터 수집 옵션

다음 섹션에서는 PostgreSQL 데이터 전송을 설정할 때의 데이터 수집 옵션에 대해 설명합니다.

TLS 구성

PostgreSQL 커넥터는 BigQuery로의 데이터 전송을 암호화하기 위한 전송 수준 보안 (TLS) 구성을 지원합니다. PostgreSQL 커넥터는 다음 TLS 구성을 지원합니다.

  • 데이터 암호화, CA 및 호스트 이름 확인 모드 이 모드는 TCPS 프로토콜을 통해 TLS를 사용하여 서버의 전체 유효성 검사를 실행합니다. 전송 중인 모든 데이터를 암호화하고 데이터베이스 서버의 인증서가 신뢰할 수 있는 인증 기관 (CA)에서 서명되었는지 확인합니다. 이 모드는 연결하려는 호스트 이름이 서버 인증서의 일반 이름 (CN) 또는 주체 대체 이름 (SAN)과 정확히 일치하는지도 확인합니다. 이 모드를 사용하면 공격자가 다른 도메인의 유효한 인증서를 사용하여 데이터베이스 서버를 가장할 수 없습니다.

    호스트 이름이 인증서 CN 또는 SAN과 일치하지 않으면 연결이 실패합니다. 인증서와 일치하도록 DNS 변환을 구성하거나 다른 보안 모드를 사용해야 합니다. 중간자 (PITM) 공격을 방지하는 가장 안전한 옵션으로 이 모드를 사용하세요.

  • 데이터 암호화 및 CA만 확인 모드 이 모드는 TCPS 프로토콜을 통해 TLS를 사용하여 모든 데이터를 암호화하고 클라이언트가 신뢰하는 CA에서 서버의 인증서에 서명했는지 확인합니다. 하지만 이 모드는 서버의 호스트 이름을 확인하지 않습니다. 이 모드는 인증서가 유효하고 신뢰할 수 있는 CA에서 발급된 경우 인증서의 호스트 이름이 연결하려는 호스트 이름과 일치하는지 여부와 관계없이 연결됩니다.

    인증서가 신뢰할 수 있는 CA에 의해 서명된 서버에 연결하고 싶지만 호스트 이름을 확인할 수 없거나 호스트 이름 구성을 제어할 수 없는 경우 이 모드를 사용하세요.

  • 암호화만 모드 이 모드는 클라이언트와 서버 간에 전송되는 모든 데이터를 암호화합니다. 인증서 또는 호스트 이름 유효성 검사를 수행하지 않습니다.

    이 모드는 전송 중인 데이터를 보호하여 어느 정도의 보안을 제공하지만 PITM 공격에 취약할 수 있습니다.

    모든 데이터가 암호화되어야 하지만 서버의 ID를 확인할 수 없거나 확인하고 싶지 않은 경우 이 모드를 사용합니다. 비공개 VPC로 작업할 때는 이 모드를 사용하는 것이 좋습니다.

  • 암호화 또는 인증 없음 모드 이 모드는 데이터를 암호화하지 않으며 인증서 또는 호스트 이름 확인을 수행하지 않습니다. 모든 데이터는 일반 텍스트로 전송됩니다.

    민감한 데이터를 처리하는 환경에서는 이 모드를 사용하지 않는 것이 좋습니다. 이 모드는 보안이 문제가 되지 않는 격리된 네트워크에서 테스트 목적으로만 사용하는 것이 좋습니다.

신뢰할 수 있는 서버 인증서 (PEM)

데이터 암호화, CA 및 호스트 이름 확인 모드 또는 데이터 암호화, CA 확인 모드를 사용하는 경우 하나 이상의 PEM 인코딩 인증서를 제공할 수도 있습니다. 이러한 인증서는 TLS 연결 중에 BigQuery Data Transfer Service가 데이터베이스 서버의 ID를 확인해야 하는 일부 시나리오에서 필요합니다.

  • 조직 내 비공개 CA에서 서명한 인증서 또는 자체 서명 인증서를 사용하는 경우 전체 인증서 체인 또는 단일 자체 서명 인증서를 제공해야 합니다. 이는 Amazon Relational Database Service (RDS)와 같은 관리형 클라우드 제공업체 서비스의 내부 CA에서 발급한 인증서에 필요합니다.
  • 데이터베이스 서버 인증서가 공개 CA (예: Let's Encrypt, DigiCert, GlobalSign)에 의해 서명된 경우 인증서를 제공하지 않아도 됩니다. 이러한 공개 CA의 루트 인증서는 BigQuery Data Transfer Service에 사전 설치되어 있으며 신뢰할 수 있습니다.

다음 요구사항에 따라 전송 구성의 신뢰할 수 있는 PEM 인증서 필드에 PEM 인코딩된 인증서를 지정할 수 있습니다.

  • 인증서는 유효한 PEM 인코딩 인증서 체인이어야 합니다.
  • 인증서가 완전히 올바른지 확인하세요. 체인에 인증서가 누락되었거나 콘텐츠가 잘못되면 TLS 연결이 실패합니다.
  • 단일 인증서의 경우 데이터베이스 서버에서 단일 자체 서명 인증서를 제공할 수 있습니다.
  • 비공개 CA에서 발급한 전체 인증서 체인의 경우 전체 신뢰 체인을 제공해야 합니다. 여기에는 데이터베이스 서버의 인증서와 중간 및 루트 CA 인증서가 포함됩니다.

전체 또는 증분 전송

PostgreSQL 전송을 설정할 때 전송 구성에서 전체 또는 증분 쓰기 환경설정을 선택하여 데이터가 BigQuery에 로드되는 방법을 지정할 수 있습니다. 증분 전송은 미리보기에서 지원됩니다.

전체 데이터 전송을 구성하여 각 데이터 전송 시 PostgreSQL 데이터 세트의 모든 데이터를 전송할 수 있습니다.

또는 증분 데이터 전송([미리보기](https://cloud.google.com/products#product-launch-stages))을 구성하여 각 데이터 전송 시 전체 데이터 세트를 로드하는 대신 마지막 데이터 전송 이후 변경된 데이터만 전송할 수 있습니다. 데이터 전송에 증분을 선택한 경우 증분 데이터 전송 중에 BigQuery에 데이터를 쓰는 방법을 정의하려면 추가 또는 삽입/업데이트(upsert) 쓰기 모드를 지정해야 합니다. 다음 섹션에서는 사용 가능한 쓰기 모드를 설명합니다.

추가 쓰기 모드

추가 쓰기 모드는 대상 테이블에 새 행만 삽입합니다. 이 옵션은 기존 레코드를 확인하지 않고 전송된 데이터를 엄격하게 추가하므로 이 모드는 대상 테이블에서 데이터 중복을 유발할 수 있습니다.

추가 모드를 선택하는 경우 워터마크 열을 선택해야 합니다. PostgreSQL 커넥터가 소스 테이블의 변경사항을 추적하려면 워터마크 열이 필요합니다.

PostgreSQL 전송의 경우 레코드가 생성될 때만 업데이트되고 이후 업데이트로 변경되지 않는 열(예: CREATED_AT 열)을 선택하는 것이 좋습니다.

업서트 쓰기 모드

upsert 쓰기 모드는 기본 키를 확인하여 대상 테이블의 행을 업데이트하거나 새 행을 삽입합니다. PostgreSQL 커넥터가 소스 테이블에 맞춰 대상 테이블을 최신 상태로 유지하는 데 필요한 변경사항을 결정할 수 있도록 기본 키를 지정할 수 있습니다. 데이터 전송 중에 지정된 기본 키가 대상 BigQuery 테이블에 있으면 PostgreSQL 커넥터는 소스 테이블의 새 데이터로 해당 행을 업데이트합니다. 데이터 전송 중에 기본 키가 없으면 PostgreSQL 커넥터가 새 행을 삽입합니다.

삽입/업데이트 모드를 선택할 때는 워터마크 열과 기본 키를 선택해야 합니다.

  • PostgreSQL 커넥터가 소스 테이블의 변경사항을 추적하려면 워터마크 열이 필요합니다.
    • 행이 수정될 때마다 업데이트되는 워터마크 열을 선택합니다. UPDATED_AT 또는 LAST_MODIFIED 열과 유사한 열을 사용하는 것이 좋습니다.

  • 기본 키는 PostgreSQL 커넥터가 행을 삽입해야 하는지 업데이트해야 하는지 확인하는 데 필요한 테이블의 하나 이상의 열일 수 있습니다.

    테이블의 모든 행에서 고유한 null이 아닌 값이 포함된 열을 선택합니다. 시스템 생성 식별자, 고유 참조 코드 (예: 자동 증분 ID) 또는 불변 시간 기반 시퀀스 ID가 포함된 열을 사용하는 것이 좋습니다.

    데이터 손실이나 데이터 손상을 방지하려면 선택한 기본 키 열에 고유한 값이 있어야 합니다. 선택한 기본 키 열의 고유성에 의문이 있는 경우 추가 쓰기 모드를 대신 사용하는 것이 좋습니다.

증분 수집 동작

데이터 소스의 테이블 스키마를 변경하면 해당 테이블의 증분 데이터 전송이 다음과 같은 방식으로 BigQuery에 반영됩니다.

데이터 소스 변경사항 증분 수집 동작
새 열 추가 대상 BigQuery 테이블에 새 열이 추가됩니다. 이 열의 이전 레코드에는 null 값이 있습니다.
열 삭제 삭제된 열은 대상 BigQuery 테이블에 남아 있습니다. 이 삭제된 열의 새 항목은 null 값으로 채워집니다.
열의 데이터 유형 변경 커넥터는 ALTER COLUMN DDL 문에서 지원되는 데이터 유형 변환만 지원합니다. 다른 데이터 유형 변환은 데이터 전송을 실패하게 합니다.

문제가 발생하면 새 전송 구성을 만드는 것이 좋습니다.
열 이름 변경 원래 열은 대상 BigQuery 테이블에 그대로 유지되고 업데이트된 이름의 새 열이 대상 테이블에 추가됩니다.

데이터 유형 매핑

다음 표는 PostgreSQL 데이터 유형을 해당하는 BigQuery 데이터 유형에 매핑합니다.

PostgreSQL 데이터 유형 BigQuery 데이터 유형 업데이트된 BigQuery 데이터 유형
array STRING
bigint INTEGER
bigserial INTEGER
bit(n) STRING
bit varying(n) STRING
boolean BOOLEAN
box STRING
bytea BYTES
character STRING
character varying STRING
cidr STRING
circle STRING
circularstring STRING
compoundcurve STRING
curvepolygon STRING
date DATE
double precision FLOAT
enum STRING
geometrycollection STRING
inet STRING
integer INTEGER
interval STRING
json STRING JSON
jsonb STRING JSON
line STRING
linestring STRING
lseg STRING
macaddr STRING
macaddr8 STRING
money STRING
multicurve STRING
multilinestring STRING
multipoint STRING
multipolygon STRING
multisurface STRING
numeric(precision, scale)/decimal(precision, scale) NUMERIC
path STRING
point STRING
polygon STRING
polyhedralsurface STRING
range STRING
real FLOAT
serial INTEGER
smallint INTEGER
smallserial INTEGER
text STRING
time [ (p) ] [ without timezone ] TIMESTAMP
time [ (p) ] with time zone TIMESTAMP
tin STRING
timestamp [ (p) ] [ without timezone ] TIMESTAMP DATETIME
timestamp [ (p) ] with time zone TIMESTAMP
triangle STRING
tsquery STRING
tsvector STRING
uuid STRING
xml STRING

가격 책정

PostgreSQL 전송 가격에 대한 자세한 내용은 Data Transfer Service 가격 책정을 참고하세요.

다음 단계