mysql主从复制是常用的数据库高可用和读写分离方案,主从复制延迟指主库执行的事务在从库上重放的时间差,延迟过大会导致从库读取到旧数据,影响业务正确性。主从复制的基本流程是主库将事务写入binlog,从库的IO线程拉取binlog到本地中继日志,SQL线程重放中继日志中的事务,延迟通常出现在binlog写入、传输、重放这几个环节。
主从复制延迟的常见原因
- 主库写入压力大:主库短时间内执行大量写入事务,产生大量binlog,从库IO线程拉取速度跟不上,或者SQL线程重放速度不足。
- 从库硬件性能不足:从库的CPU、内存、磁盘IO性能低于主库,导致重放事务的速度慢于主库生成事务的速度。
- 大事务执行:主库执行大批量写入、更新或者删除的大事务,binlog体积大,从库重放时需要较长时间。
- 并行复制未开启或配置不合理:旧版本mysql默认单线程重放中继日志,无法利用从库多核性能,即使开启并行复制,若并行度不够也会产生延迟。
- 从库额外负载过高:从库除了承担复制任务,还被大量业务查询访问,占用CPU和IO资源,影响重放效率。
主从复制延迟的优化方案
主库侧优化
主库侧优化的核心是减少binlog的生成压力和传输压力,首先可以调整binlog相关的参数,提升binlog写入效率:
-- 开启binlog组提交,减少刷盘次数,提升主库写入性能 SET GLOBAL binlog_group_commit_sync_delay = 100; -- 单位微秒,延迟100微秒后组提交 SET GLOBAL binlog_group_commit_sync_no_delay_count = 10; -- 达到10个事务就触发组提交 -- 设置binlog格式为ROW,避免STATEMENT格式下部分语句在主从执行结果不一致的问题,同时减少从库重放时的解析成本 SET GLOBAL binlog_format = 'ROW'; -- 开启GTID模式,方便主从切换和事务追踪,同时提升复制的稳定性 SET GLOBAL gtid_mode = 'ON'; SET GLOBAL enforce_gtid_consistency = 'ON';
另外要尽量避免在主库执行大事务,将大批量操作拆分成小事务执行,比如批量更新100万条数据,可以拆成每次更新1000条,分多次执行,减少单个事务的binlog体积。
从库侧优化
从库侧优化的核心是提升事务重放的效率,首先推荐开启并行复制,mysql 5.7及以上版本支持基于事务依赖的并行复制,配置方式如下:
-- 停止从库复制线程 STOP SLAVE; -- 设置并行复制类型为LOGICAL_CLOCK,基于事务依赖关系并行重放 SET GLOBAL slave_parallel_type = 'LOGICAL_CLOCK'; -- 设置并行工作线程数,通常设置为从库CPU核心数的2-4倍,比如8核CPU可以设置为16 SET GLOBAL slave_parallel_workers = 16; -- 开启从库保留事务提交顺序,保证数据一致性 SET GLOBAL slave_preserve_commit_order = 1; -- 启动从库复制线程 START SLAVE;
如果使用的是mysql 5.6版本,可以开启基于数据库级别的并行复制:
STOP SLAVE; -- 设置并行复制类型为DATABASE,不同数据库的事务可以并行重放 SET GLOBAL slave_parallel_type = 'DATABASE'; SET GLOBAL slave_parallel_workers = 8; START SLAVE;
从库的硬件也需要匹配业务需求,尽量保证从库的磁盘使用SSD,CPU和内存配置不低于主库,避免硬件成为瓶颈。同时可以将从库的查询业务拆分到专门的只读实例,减少从库的额外负载。
架构层面优化
如果主库的写入量非常大,单从库无法承受重放压力,可以采用一主多从的架构,将不同的读请求分配到不同的从库,降低单个从库的复制压力。另外可以采用半同步复制替代异步复制,保证主库事务提交后至少有一个从库已经接收到了binlog,避免主库宕机后从库数据丢失,同时半同步复制的ack机制也可以倒逼主库控制事务提交速度,间接减少延迟。
半同步复制的配置方式如下:
-- 主库安装半同步复制插件 INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so'; -- 开启主库半同步复制 SET GLOBAL rpl_semi_sync_master_enabled = 1; -- 设置主库等待从库ack的超时时间,单位毫秒,超过时间自动降级为异步复制 SET GLOBAL rpl_semi_sync_master_timeout = 1000; -- 从库安装半同步复制插件 INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so'; -- 开启从库半同步复制 SET GLOBAL rpl_semi_sync_slave_enabled = 1; -- 重启从库IO线程使配置生效 STOP SLAVE IO_THREAD; START SLAVE IO_THREAD;
延迟监控与排查
可以通过从库执行SHOW SLAVE STATUSG命令查看延迟情况,重点关注Seconds_Behind_Master字段,该字段表示从库落后主库的秒数,数值越大延迟越高。如果延迟持续升高,可以通过SHOW PROCESSLIST查看从库的复制线程状态,判断是IO线程拉取慢还是SQL线程重放慢,针对性调整优化策略。
另外可以在主库和从库分别开启慢查询日志,排查是否有执行时间过长的语句,优化慢查询也可以降低复制延迟。如果是因为网络传输导致的延迟,可以检查主从库之间的网络带宽和延迟,尽量将主从库部署在同一个机房,减少网络传输耗时。