Configure uma base de dados MySQL autogerida para CDC

Esta página descreve como configurar a captura de dados de alterações (CDC) para transmitir dados de uma base de dados MySQL autogerida para um destino suportado, como o BigQuery ou o Cloud Storage. Estas instruções também funcionam para bases de dados como MariaDB, Percona Server for MySQL ou Alibaba Cloud PolarDB.

Valide a configuração e o período de retenção do registo binário

1. Confirme que o registo binário está configurado corretamente introduzindo o seguinte comando MySQL:

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. Verifique se o valor da variável binlog_format está definido como ROW. O fluxo de dados não suporta formatos de registo binário MIXED nem STATEMENT.

3. Confirme se o formato de linha do registo binário está definido como FULL introduzindo o seguinte comando do MySQL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. Verifique se a opção de atualizações da réplica para o registo binário está definida como ON introduzindo o seguinte comando do MySQL:

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   Para versões do MySQL anteriores à 8.0.26, introduza o seguinte comando:

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

5. Verifique se o período de retenção do registo binário está definido para 604800 segundos (7 dias) introduzindo o seguinte comando do MySQL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   Para versões do MySQL anteriores à 8.0.3, introduza o seguinte comando:

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   Se a sua base de dados MySQL não estiver definida para replicação baseada em linhas completa e um período de retenção de 7 dias, tem de alterar a configuração do registo binário da seguinte forma:

   1. Navegue para o diretório /etc/mysql/.
   2. Abra o ficheiro my.cnf com um editor.
   3. Adicione as seguintes linhas ao ficheiro:

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. Para a replicação baseada em GTID, adicione também as seguintes linhas:

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. Guarde as alterações ao ficheiro my.cnf e, em seguida, feche o ficheiro.
   6. Reinicie o servidor MySQL para que as alterações feitas possam entrar em vigor.

Crie um utilizador da stream de dados

1. Para criar um utilizador do Datastream, introduza os seguintes comandos MySQL:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

O que se segue?

• Saiba como o Datastream funciona com origens MySQL.