CDC용 자체 관리형 MySQL 데이터베이스 구성

Datastream을 사용하면 자체 관리형 MySQL 데이터베이스에서 BigQuery 또는 Cloud Storage와 같은 지원되는 대상으로 변경 데이터 캡처 (CDC) 업데이트를 스트리밍할 수 있습니다. 소스를 준비하려면 보관 기간이 7일인 전체 행 기반 바이너리 로깅을 구성하고 복제 권한이 있는 Datastream 사용자를 만듭니다. MariaDB, MySQL용 Percona Server, Alibaba Cloud PolarDB와 같은 호환되는 데이터베이스에도 이 구성을 사용할 수 있습니다.

바이너리 로그의 구성 및 보관 기간 확인

1. 다음 MySQL 명령어를 입력하여 바이너리 로그가 올바르게 구성되어 있는지 확인합니다.

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. binlog_format 변수 값이 ROW로 설정되었는지 확인합니다. Datastream은 MIXED 또는 STATEMENT 바이너리 로그 형식을 지원하지 않습니다.

3. 다음 MySQL 명령어를 입력하여 바이너리 로그의 행 형식이 FULL로 설정되어 있는지 확인합니다.

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. MySQL 버전 8.0 이상의 경우 다음 MySQL 명령어를 입력하여 binlog_row_value_options 변수가 빈 값으로 설정되어 있는지 확인합니다.

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
   

5. 다음 MySQL 명령어를 입력하여 바이너리 로그의 복제본 업데이트 옵션이 ON으로 설정되어 있는지 확인합니다.

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   8.0.26 이전의 MySQL 버전에서는 다음 명령어를 대신 입력합니다.

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

6. 다음 MySQL 명령어를 입력하여 바이너리 로그의 보관 기간이 604800초 (7일)로 설정되어 있는지 확인합니다.

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   8.0.3 이전의 MySQL 버전에서는 다음 명령어를 대신 입력합니다.

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   MySQL 데이터베이스가 전체 행 기반 복제 및 7일 보관 기간으로 설정되어 있지 않은 경우 바이너리 로그의 구성을 다음과 같이 변경해야 합니다.

   1. /etc/mysql/ 디렉터리로 이동합니다.
   2. 편집기를 사용하여 my.cnf 파일을 엽니다.
   3. 파일에 다음 행을 추가합니다.

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        binlog_row_value_options=''
        # For MySQL versions 8.0 and later.
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. GTID 기반 복제의 경우 다음 줄도 추가합니다.

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. 변경사항을 my.cnf 파일에 저장한 후 파일을 닫습니다.
   6. 변경사항이 적용되도록 MySQL 서버를 다시 시작합니다.

Datastream 사용자 만들기

1. Datastream 사용자를 만들려면 다음 MySQL 명령어를 입력합니다.

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

다음 단계

• MySQL 소스에서 Datastream의 작동 방식 자세히 알아보기