MySQL主从延迟现象及原理分析详解

 更新时间:2019年02月12日 09:31:15   作者:wlmmmm  
今天小编就为大家分享一篇关于MySQL主从延迟现象及原理分析详解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧

一、现象

凌晨对线上一张表添加索引,表数据量太大(1亿+数据,数据量50G以上),造成主从延迟几个小时,各个依赖从库的系统无法查询数据,最终影响业务。

现在就梳理下主从延迟的原理。

二、原理

根据 MySQL 官方文档 MySQL Replication Implementation Details 中的描述,MySQL 主从复制依赖于三个线程:master一个线程(Binlog dump thread),slave两个线程(I/O threadSQL thread)。主从复制流程如下图:

master 服务器和 slave 服务器连接时,创建Binlog dump thread以发送bin log数据:

  • 一个Binlog dump thread对应一个 slave 服务器;
  • Binlog dump threadbin log获取数据时会加锁,获取到数据后,立即释放锁。

当 slave 服务器收到 START_SLAVE 命令时,会创建I/O threadSQL thread

  • I/O thread以拉的方式,从 master 读取事件,并存储到 slave 服务器的relay log中;
  • SQL threadrelay log中读取事件并执行;
  • slave可以按照自己的节奏读取和更新数据,也可以随意操作复制进程(启动和停止)。

注: START_SLAVE命令成功启动线程后,如果后面I/O threadSQL thread因为某些原因停止,则不会有任何的警告,业务方无法感知。可以通过查看 slave 的 error 日志,或者通过 SHOW SLAVE STATUS 查看 slave 上的线程状态。

通过 SHOW PROCESSLIST 可查看线程状态:

Binlog dump thread:

mysql> SHOW PROCESSLIST\G
*************************** 1. row ***************************
  Id: 2
 User: root
 Host: localhost:32931
  db: NULL
Command: Binlog Dump
 Time: 94
 State: Has sent all binlog to slave; waiting for binlog to
   be updated
 Info: NULL

I/O thread 和 SQL thread:

mysql> SHOW PROCESSLIST\G
*************************** 1. row ***************************
  Id: 10
 User: system user
 Host:
  db: NULL
Command: Connect
 Time: 11
 State: Waiting for master to send event
 Info: NULL
 *************************** 2. row ***************************
  Id: 11
 User: system user
 Host:
  db: NULL
Command: Connect
 Time: 11
 State: Has read all relay log; waiting for the slave I/O
   thread to update it
 Info: NULL

三、分析

根据上面的原理,由于slave是单线程(I/O thread)读取数据,单线程(SQL thread)更新数据,而master是多线程写入,那么只要master写入的频率大于slave读取更新的频率,就有可能出现主从延迟的情况,如:

  1. master写入tps较高,大于slave更新速度;
  2. slave执行某些语句耗时较长,如持有锁等;
  3. master执行某些DDL语句时,执行的时间较长,在slave也执行相同的时间;

此处创建了索引,咨询 DBA,产生的bin log文件有100多G,数据量太大,导致从库I/O thread一直读取DDL操作产生的bin log事件,而影响到正常的业务DML事件的更新,从而表现为主从同步延迟。

四、解决方案

从主从延迟的原因来看,解决方案可以从以下几个方向入手:

  1. 业务选型,对于无法忍受从库延迟的架构,可选择分布式架构等,避开从库延迟问题
  2. 执行时间,对大表进行线上DDL操作尽量选择凌晨等业务量较小的时候
  3. 硬件配置,升级从库硬件配置,如SSD
  4. 减少请求,增加缓存层,减少读请求落库

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

相关文章

  • mysql5.7单实例自启动服务配置过程

    mysql5.7单实例自启动服务配置过程

    这篇文章主要介绍了mysql5.7单实例自启动服务配置的过程,附含配置源码,有需要的朋友可以借鉴参考下,希望可以有所帮助,感谢阅读
    2021-09-09
  • 在MySQL数据库中使用C执行SQL语句的方法

    在MySQL数据库中使用C执行SQL语句的方法

    与PostgreSQL相似,可使用许多不同的语言来访问MySQL,包括C、C++、Java和Perl。从Professional Linux Programming中第5章有关MySQL的下列章节中,Neil Matthew和Richard Stones使用详尽的MySQL C接口向我们介绍了如何在MySQL数据库中执行SQL语句。
    2012-10-10
  • delete、truncate、drop的区别以及该如何选择

    delete、truncate、drop的区别以及该如何选择

    这篇文章主要给大家介绍了关于delete、truncate、drop的区别以及该如何选择的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-11-11
  • MySQL读取my.cnf的顺序问题详情

    MySQL读取my.cnf的顺序问题详情

    这篇文章主要介绍MySQL读取my.cnf的顺序问题,以mysql.server、mysqld_safe及mysqld和my_print_defaults读取my.cnf顺序展开文章介绍主题,感兴趣的话大家一起来学习吧
    2021-09-09
  • MySQL存储过程中的基本函数和触发器的相关学习教程

    MySQL存储过程中的基本函数和触发器的相关学习教程

    这篇文章主要介绍了MySQL存储过程中的基本函数和触发器的相关学习教程,包括触发器的创建和删除等基本操作,需要的朋友可以参考下
    2015-11-11
  • Win10安装MySQL8压缩包版的教程

    Win10安装MySQL8压缩包版的教程

    这篇文章主要介绍了Win10安装MySQL8压缩包版的教程,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-04-04
  • RHEL7.5下mysql 8.0.11安装教程

    RHEL7.5下mysql 8.0.11安装教程

    这篇文章主要为大家详细介绍了RHEL7.5下mysql 8.0.11安装教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-09-09
  • MySQL中大数据表增加字段的实现思路

    MySQL中大数据表增加字段的实现思路

    最近遇到的一个问题,需要在一张将近1000万数据量的表中添加加一个字段,但是直接添加会导致mysql 奔溃,所以需要利用其他的方法进行添加,这篇文章主要给大家介绍了MySQL中大数据表增加字段的实现思路,需要的朋友可以参考借鉴。
    2017-01-01
  • mysql Non-Transactional Database Only(只支持MyISAM)

    mysql Non-Transactional Database Only(只支持MyISAM)

    按照discuz官方的建议,选的都是Non-Transactional Database Only 只支持MyISAM,其实默认都安装也挺好
    2016-04-04
  • windows10下 MySQL msi安装教程图文详解

    windows10下 MySQL msi安装教程图文详解

    这篇文章主要介绍了windows10 MySQL msi安装教程,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-03-03

最新评论