Configurer une base de données MySQL autogérée pour la CDC

Cette page explique comment configurer la capture de données modifiées (CDC) pour diffuser des données depuis une base de données MySQL autogérée vers une destination compatible, comme BigQuery ou Cloud Storage. Ces instructions fonctionnent également pour les bases de données telles que MariaDB, Percona Server for MySQL ou Alibaba Cloud PolarDB.

Vérifier la configuration et la durée de conservation du journal binaire

1. Vérifiez que le journal binaire est correctement configuré en saisissant la commande MySQL suivante :

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. Vérifiez que la valeur de la variable binlog_format est définie sur ROW. Datastream n'est pas compatible avec les formats de journaux binaires MIXED ni STATEMENT.

3. Vérifiez que le format des lignes du journal binaire est défini sur FULL en saisissant la commande MySQL suivante :

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. Pour les versions 8.0 et ultérieures de MySQL, vérifiez que la variable binlog_row_value_options est définie sur une valeur vide en saisissant la commande MySQL suivante :

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
   

5. Vérifiez que l'option des mises à jour de la réplique du journal binaire est définie sur ON en saisissant la commande MySQL suivante :

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   Pour les versions de MySQL antérieures à la version 8.0.26, saisissez plutôt la commande suivante :

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

6. Vérifiez que la durée de conservation du journal binaire est définie sur 604800 secondes (7 jours) en saisissant la commande MySQL suivante :

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   Pour les versions de MySQL antérieures à la version 8.0.3, saisissez plutôt la commande suivante :

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   Si vous n'avez pas défini une réplication basée sur les lignes et une durée de conservation de sept jours pour votre base de données MySQL, vous devez modifier la configuration du journal binaire comme suit :

   1. Accédez au répertoire /etc/mysql/ :
   2. Ouvrez le fichier my.cnf dans un éditeur.
   3. Ajoutez les lignes suivantes au fichier :

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        binlog_row_value_options=''
        # For MySQL versions 8.0 and later.
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. Pour la réplication basée sur GTID, ajoutez aussi les lignes suivantes :

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. Enregistrez les modifications apportées au fichier my.cnf, puis fermez le fichier.
   6. Redémarrez votre serveur MySQL pour que les modifications apportées soient prises en compte.

Créer un utilisateur Datastream

1. Pour créer un utilisateur Datastream, saisissez les commandes MySQL suivantes :

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

Étape suivante

• Découvrez comment Datastream fonctionne avec les sources MySQL.