為 CDC 設定 Amazon Aurora MySQL 資料庫

您可以使用 Datastream,將變更資料擷取 (CDC) 更新從 Amazon Aurora MySQL 叢集串流至 BigQuery 或 Cloud Storage 等目的地。建立串流前,請先設定叢集參數群組、設定二進位記錄保留期限,並將複製權限授予 Datastream 資料庫使用者。

開始之前,請確認您已建立 Amazon Aurora 叢集,並連結至主要資料庫伺服器的寫入者端點。

建立參數群組

  1. 啟動 Amazon RDS 資訊主頁。

  2. 在「導覽匣」中,按一下「參數群組」。

  3. 按一下「建立參數群組」。系統隨即會顯示「Create Parameter Group」(建立參數群組) 頁面。

  4. 請使用下表填入這個頁面的欄位:

    欄位說明
    參數群組系列選取與資料庫相符的系列。
    類型選取「資料庫叢集參數群組」。
    群組名稱提供參數群組的名稱。
    說明提供參數群組的說明。
  5. 點選「建立」。

  6. 在剛剛建立的參數群組左側勾選核取方塊。

  7. 按一下「參數群組動作」下方的「編輯」。

  8. 設定下列參數值:

    • 以 GTID 為基礎的複製作業:

      參數值
      binlog_formatROW
      log_bin_use_v1_row_events1
      唯讀0
      net_read_timeout3600
      net_write_timeout3600
      wait_timeout86400
      expire-logs-days7
      binlog_row_imageFULL
      max_allowed_packet1G (建議值)
      log-replica-updates1
      enforce-gtid-consistencyON
      gtid_mode

      ON

      您必須先將 enforce-gtid-consistency 設為 ON,才能將這個參數設為 ON。一般來說,gtid_mode 可以有下列值:
      • OFF
      • OFF_PERMISSIVE
      • ON_PERMISSIVE
      • ON
      您一次只能變更 gtid_mode 參數的值一個步驟。舉例來說,如果目前模式設為 OFF,請按照下列步驟操作:
      1. 將設定變更為 OFF_PERMISSIVE。
      2. 將設定變更為「ON_PERMISSIVE」。
      3. 將設定變更為 ON。
      詳情請參閱 MySQL 說明文件。
    • 以二進位檔記錄為基礎的複製模式:

      參數值
      binlog_formatROW
  9. 按一下 [儲存變更]。

將參數群組指派給資料庫執行個體

  1. 啟動 Amazon RDS 資訊主頁。

  2. 按一下「導覽匣」中的「資料庫」,然後選取資料庫執行個體。

  3. 在「執行個體操作」選單中選取 [修改]。「Modify DB Instance」(修改資料庫執行個體) 對話方塊隨即顯示。

  4. 在「Additional configuration」部分,選取您建立的資料庫叢集參數群組。

  5. 將「備份保留期限」設為 [7 天]。

  6. 按一下「繼續」。

  7. 在「安排修改時間」窗格中,選取「立即套用」選項。

設定二進位記錄保留期限

  1. 輸入下列 MySQL 指令:

    call mysql.rds_set_configuration('binlog retention hours', 168);
  2. 重新啟動 MySQL 伺服器,使變更生效。

建立 Datastream 使用者

  1. 建立 Datastream 使用者:

    CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
  2. 授予下列權限:

    GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
    GRANT EXECUTE ON PROCEDURE mysql.rds_show_configuration TO 'datastream'@'%';
    FLUSH PRIVILEGES;

後續步驟

  • 進一步瞭解 Datastream 如何與 MySQL 來源搭配運作。