Configura un database MySQL autogestito per CDC

Questa pagina descrive come configurare Change Data Capture (CDC) per trasferire i dati in streaming da un database MySQL autogestito a una destinazione supportata, come BigQuery o Cloud Storage. Queste istruzioni funzionano anche per database come MariaDB, Percona Server for MySQL o Alibaba Cloud PolarDB.

Verifica la configurazione e il periodo di conservazione del log binario

1. Assicurati che il log binario sia configurato correttamente inserendo il seguente comando MySQL:

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. Verifica che il valore della variabile binlog_format sia impostato su ROW. Datastream non supporta i formati di log binari MIXED o STATEMENT.

3. Verifica che il formato della riga per il log binario sia impostato su FULL inserendo il seguente comando MySQL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. Per MySQL versione 8.0 e successive, verifica che la variabile binlog_row_value_options sia impostata su un valore vuoto inserendo il seguente comando MySQL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_value_options';
   

5. Verifica che l'opzione degli aggiornamenti della replica per il log binario sia impostata su ON inserendo il seguente comando MySQL:

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   Per le versioni di MySQL precedenti alla 8.0.26, inserisci invece il seguente comando:

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

6. Verifica che il periodo di conservazione del log binario sia impostato su 604800 secondi (7 giorni) inserendo il seguente comando MySQL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   Per le versioni di MySQL precedenti alla 8.0.3, inserisci invece il seguente comando:

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   Se il database MySQL non è impostato sulla replica basata su riga completa e sul periodo di conservazione di 7 giorni, devi modificare la configurazione del log binario nel modo seguente:

   1. Vai alla directory /etc/mysql/.
   2. Apri il file my.cnf utilizzando un editor.
   3. Aggiungi le seguenti righe al file:

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        binlog_row_value_options=''
        # For MySQL versions 8.0 and later.
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. Per la replica basata su GTID, aggiungi anche le seguenti righe:

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. Salva le modifiche apportate al file my.cnf, quindi chiudi il file.
   6. Riavvia il server MySQL in modo che le modifiche effettuate vengano applicate.

Crea un utente Datastream

1. Per creare un utente Datastream, inserisci i seguenti comandi MySQL:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

Passaggi successivi

• Scopri di più su come Datastream funziona con le origini MySQL.