一次Mysql update sql不当引起的生产故障记录

 更新时间:2022年04月01日 11:35:56   作者:geoCode  
这篇文章主要给大家介绍了关于一次Mysql update sql不当引起的生产故障的相关资料,由于update涉及到数据的修改,所以很容易推断,update语句比select语句会更复杂一些,文中通过示例代码介绍的非常详细,需要的朋友可以参考下

故障表现

  • 一方面 :在阿里云控制台云数据库PolarDB对应的集群管理页面上,在诊断与优化模块里面的一键诊断会话管理中,发现某条update sql 执行时间非常久且非常频繁;

  • 另一方面:业务监控系统中开始不断有业务执行时间发出告警信息提示,且告警的业务数据不断上升,部分操作影响客户使用。

业务背景

由于业务操作涉及到的业务流比较复杂,对纯技术的分享来看,不是重点讨论的话,为了更有利于理解问题发生的原因,使用类比的方式,把复杂的业务类比成如下描述: 有数据库3张表,第一张表t_grandfather (爷表),第二张表为t_father(父表),第三张表t_grandson(子孙表),DDL如下:

CREATE TABLE `t_grandfather ` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `count` int(11) NOT NULL DEFAULT 0 COMMENT '子孙后代数量',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='老爷表';

CREATE TABLE `t_father ` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `grandfather_id` int(11) NOT NULL COMMENT '老爷表id',
  PRIMARY KEY (`id`),
  KEY `idx_grandfather_id` (`grandfather_id`),
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='老爸表';

CREATE TABLE `t_grandson` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `grandfather_id` int(11) NOT NULL COMMENT '老爷表id',
  PRIMARY KEY (`id`),
  KEY `idx_grandfather_id` (`grandfather_id`),
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci COMMENT='孙子表';

三张表之间的业务逻辑关系为,先生成老爷表,然后这个老爷取很多老婆(业务),会不断的生娃,生一个娃就会生成一张老爸表,同时会更新老爷表的count=count+1,表示新增一个后代了,老爷的老婆(业务)在不断的生娃的时候,之前的生的娃也会有老婆,他们的老婆也会生娃,对老爷来说,就是它有了孙子(产生新的业务数据),那有了孙子之后也需要更新老爷表的count=count+1,表示新增一个后代了,以此类推,子子孙孙无穷尽也(业务数据不断生成) 如下图所示:

祖传代码的逻辑为,只要是t_father表和t_grandson有新增,就去更新t_grandfather。这个逻辑设计上问题不大,不过考虑到孙子表数据量很猛的时候,这里就会出现一个非常严重的性能问题。以下是业务摘取的一部分伪代码

 /**
 * 处理 father 的业务
 */
 public void doFatherBusiness  (){
     //do fatherBusiness baba .... 此处省
     // 插入 t_father 表
    if (fatherMapper.inster(father)){
         //update t_grandfather set count=count+1 where id= #{grandfatherId}
         grandfatherMapper.updateCount(father.getGrandfatherId  ())  ;
     }
}


 /**
 * 处理 grandson 的业务
 */
 public void doGrandsonBusiness  (){
     //do grandson baba .... 此处省略
     // 插入 t_grandson 表
     if(grandsonMapper.inster(grandson)){
          //update t_grandfather set count=count+1 where id= #{grandfatherId}
          grandfatherMapper.updateCount(grandson.getGrandfatherId());
     }
}  

当多个业务(线程)分别调用上面的方法时,都会对t_grandfather表的更新操作造成巨大的压力,特别是更新同一个id的情况下,mysql server内部对锁的竞争非常激烈。最后表现出来就如前文背景描述的一致。

解决方案

1. 临时处理方案:

一方面,在阿里云控制台,对sql进行限流,在正常阻塞的会话,强制kill掉,让数据的线程不阻塞着,释放资源,另外一方面,在把接收请求的服务减少节点数,目的是减少业务数据量进入;

2. 长久方案

一方面更改掉上面的业务逻辑,插入t_grandson表和t_father表时,不在去更新t_grandfather表的count字段;另一方面,需要用到count统计需求时,全部切换成别的方式;

总结

到此这篇关于一次Mysql update sql不当引起的生产故障的文章就介绍到这了,更多相关Mysql update sql生产故障内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 让MySQL中某个表的操作不生成binlog日志的问题解决

    让MySQL中某个表的操作不生成binlog日志的问题解决

    文章介绍了四种方法让MySQL中某个表的操作不生成binlog日志:会话级临时关闭binlog、通过复制过滤规则、调整binlog格式和全局禁用binlog,每种方法都有其适用场景和局限性,建议优先使用会话级临时关闭方法,并根据具体需求选择合适的方案,感兴趣的朋友跟随小编一起看看吧
    2025-03-03
  • SQL慢查询优化方案详解

    SQL慢查询优化方案详解

    这篇文章主要介绍了SQL慢查询优化方案详解,如果你的项目中出现了一些查询超时情况,很可能是项目中有了一些慢查询的情况产生,下面就慢查询的排查和解决方案进行一番分析,需要的朋友可以参考下
    2023-07-07
  • Mysql查询很慢卡在sending data的原因及解决思路讲解

    Mysql查询很慢卡在sending data的原因及解决思路讲解

    今天小编就为大家分享一篇关于Mysql查询很慢卡在sending data的原因及解决思路讲解,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-04-04
  • MySQL的Grant命令详解

    MySQL的Grant命令详解

    mysql中可以通过Grant命令为数据库赋予用户权限,这里简单介绍下Grant的使用方法,需要的朋友可以参考下
    2013-10-10
  • 生产环境的MySQL事务隔离级别方式

    生产环境的MySQL事务隔离级别方式

    本文探讨了MySQL数据库在RR(可重复读)和RC(读已提交)隔离级别下的锁机制,在RR级别下,UPDATE语句会锁定所有符合条件的行,包括不符合条件的行,以防止幻读,而在RC级别下,UPDATE语句仅锁定符合条件的行,通过半一致性读优化,可以进一步提高并发度
    2025-02-02
  • MySQL DQL语句的具体使用

    MySQL DQL语句的具体使用

    本文主要介绍了MySQL DQL语句的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-03-03
  • 数据库索引的知识点整理小结,你所需要了解的都在这儿了

    数据库索引的知识点整理小结,你所需要了解的都在这儿了

    这篇文章主要介绍了数据库索引的知识点整理小结,你所需要了解的都在这儿了,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-07-07
  • MySQL的查询缓存机制基本学习教程

    MySQL的查询缓存机制基本学习教程

    这篇文章主要介绍了MySQL的查询缓存机制基本学习教程,默认针对InnoDB存储引擎下来将,需要的朋友可以参考下
    2015-11-11
  • MySQL数据库的实时备份知识点详解

    MySQL数据库的实时备份知识点详解

    本篇文章给大家分享了关于MySQL数据库的实时备份知识点内容,有需要的朋友们可以参考下。
    2018-08-08
  • mysql 5.7.9 免安装版配置方法图文教程

    mysql 5.7.9 免安装版配置方法图文教程

    这篇文章主要为大家分享了mysql 5.7.9 免安装版配置方法图文教程,感兴趣的小伙伴们可以参考一下
    2016-08-08

最新评论