Configurer une base de données MySQL autogérée pour la CDC

Datastream vous permet de diffuser des mises à jour de capture de données modifiées (CDC) depuis une base de données MySQL autogérée vers une destination compatible, telle que BigQuery ou Cloud Storage. Pour préparer votre source, vous configurez la journalisation binaire complète basée sur les lignes avec une période de conservation de 7 jours et créez un utilisateur Datastream avec des droits de réplication. Vous pouvez également utiliser cette configuration pour les bases de données compatibles telles que MariaDB, Percona Server for MySQL et Alibaba Cloud PolarDB.

Vérifier la configuration et la durée de conservation du journal binaire

1. Vérifiez que le journal binaire est correctement configuré en saisissant la commande MySQL suivante :

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. Vérifiez que la valeur de la variable binlog_format est définie sur ROW. Datastream n'est pas compatible avec les formats de journaux binaires MIXED ou STATEMENT.

3. Vérifiez que le format des lignes du journal binaire est défini sur FULL en saisissant la commande MySQL suivante :

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. Pour MySQL 8.0 et versions ultérieures, vérifiez que la variable binlog_row_value_options est définie sur une valeur vide en saisissant la commande MySQL suivante :

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
   

5. Vérifiez que l'option de mise à jour de l'instance répliquée pour le journal binaire est définie sur ON en saisissant la commande MySQL suivante :

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   Pour les versions de MySQL antérieures à la version 8.0.26, saisissez plutôt la commande suivante :

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

6. Vérifiez que la durée de conservation du journal binaire est définie sur 604800 secondes (7 jours) en saisissant la commande MySQL suivante :

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   Pour les versions de MySQL antérieures à la version 8.0.3, saisissez plutôt la commande suivante :

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   Si vous n'avez pas défini une réplication basée sur les lignes et une durée de conservation de sept jours pour votre base de données MySQL, vous devez modifier la configuration du journal binaire comme suit :

   1. Accédez au répertoire /etc/mysql/ :
   2. Ouvrez le fichier my.cnf dans un éditeur.
   3. Ajoutez les lignes suivantes au fichier :

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        binlog_row_value_options=''
        # For MySQL versions 8.0 and later.
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. Pour la réplication basée sur GTID, ajoutez aussi les lignes suivantes :

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. Enregistrez les modifications apportées au fichier my.cnf, puis fermez-le.
   6. Redémarrez votre serveur MySQL pour que les modifications apportées soient prises en compte.

Créer un utilisateur Datastream

1. Pour créer un utilisateur Datastream, saisissez les commandes MySQL suivantes :

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

Étapes suivantes

• Découvrez comment Datastream fonctionne avec les sources MySQL.