您可以使用 Datastream 将变更数据捕获 (CDC) 更新从 Amazon Aurora MySQL 集群流式传输到 目标,例如 BigQuery 或 Cloud Storage。在创建数据流之前,您需要配置集群参数组、设置二进制日志保留期限,并向 Datastream 数据库用户授予复制权限。
在开始之前,请确保您已拥有 Amazon Aurora 集群,并且已连接到主数据库服务器的写入器端点。
创建参数组
启动 Amazon RDS 信息中心。
在抽屉式导航栏 中,点击参数组 。
点击创建参数组 。此时会显示创建参数组 页面。
使用下表填充此页面的字段:
字段 说明 参数组系列 选择与您的数据库匹配的系列。 类型 选择数据库集群参数组。 群组名称 为参数组提供名称。 说明 提供参数组的说明。 点击创建 。
选中新建参数组左侧的复选框。
在参数组操作 下,点击修改 。
设置以下参数值:
对于基于 GTID 的复制:
参数 值 binlog_format ROWlog_bin_use_v1_row_events 1read_only 0net_read_timeout 3600net_write_timeout 3600wait_timeout 86400expire-logs-days 7binlog_row_image FULLmax_allowed_packet 1G(建议值)log-replica-updates 1enforce-gtid-consistency ONgtid_mode
只有在将ONenforce-gtid-consistency设置为ON后,您才能将此参数设置为ON。一般来说,gtid_mode可以具有以下值:OFFOFF_PERMISSIVEON_PERMISSIVEON
gtid_mode参数的值。例如,如果当前模式设置为OFF,请执行以下操作:- 将设置更改为
OFF_PERMISSIVE。 - 将设置更改为
ON_PERMISSIVE。 - 将设置更改为
ON。
对于基于 binlog 的复制:
参数 值 binlog_format ROW
点击保存更改 。
将参数组分配给数据库实例
启动 Amazon RDS 信息中心。
在抽屉式导航栏 中,点击数据库 ,然后选择您的数据库实例。
从实例操作 菜单中选择修改 。此时会显示修改数据库实例 对话框。
在其他配置 部分中,选择您创建的数据库集群参数组。
将备份保留期限设置为 7 天。
点击继续 。
在修改时间安排 窗格中,选择立即应用 选项。
设置二进制日志的保留期限
输入以下 MySQL 命令:
call mysql.rds_set_configuration('binlog retention hours', 168);
重启 MySQL 服务器,使您所做的更改生效。
创建 Datastream 用户
创建 Datastream 用户:
CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
向其授予以下权限:
GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%'; GRANT EXECUTE ON PROCEDURE mysql.rds_show_configuration TO 'datastream'@'%'; FLUSH PRIVILEGES;
后续步骤
- 详细了解 Datastream 如何与 MySQL 源 配合使用。