关于MySQL中“Insert into select“ 的死锁情况分析

更新时间：2023年05月22日 08:58:38 作者：长安明月

这篇文章主要介绍了关于MySQL中“Insert into select“ 的死锁情况分析,死锁是指两个或者多个事务在同一资源上的相互占用，并请求锁定对方占用的资源，从而导致恶性循环的现象,需要的朋友可以参考下

一、前言

这天 xxx 接到一个需求，需要将表 A 的数据迁移到表 B 中去做一个备份。本想通过程序先查询出来然后批量插入。但 xxx 觉得这样有点慢，需要耗费大量的网络 I/O，决定采取别的方法进行实现。

通过在百度的海洋里遨游，他发现了可以使用 insert into select 实现，这样就可以避免使用网络 I/O，直接使用 SQL 依靠数据库 I/O 完成，这样简直不要太棒了。

然后他就被开除了。

二、事故发生的经过

由于数据库中 order_today 数据量过大，当时好像有 700W 了，并且每天在以 30W 的速度增加。

所以上司命令 xxx 将 order_today 内的部分数据迁移到 order_record 中，并将 order_today 中的数据删除。

这样来降低 order_today 表中的数据量。

由于考虑到会占用数据库 I/O，为了不影响业务，计划是 21:00 以后开始迁移，但是 xxx 在 20:00 的时候，尝试迁移了少部分数据(1000条)，觉得没啥问题，就开始考虑大批量迁移。

在迁移过程中，应急群是先反应有小部分用户出现支付失败，随后反应大批用户出现支付失败的情况，以及初始化订单失败的情况，同时腾讯也开始报警。然后 xxx 就慌了，立即停止了迁移。

本以为停止迁移就可以恢复了，但是并没有。后面发生的你们可以脑补一下。

三、事故还原

在本地建立一个精简版的数据库，并生成了 100w 的数据。模拟线上发生的情况。

建立订单表结构，语句如下：

CREATE TABLE `order_today` (
  `id` VARCHAR(32) NOT NULL DEFAULT '' COMMENT '主键',
  `merchant_id` VARCHAR(32) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT '' COMMENT '商户编号',
  `amount` DECIMAL(15,2) NOT NULL DEFAULT 0.00 COMMENT '订单金额',
  `pay_success_time` DATETIME NOT NULL DEFAULT '0000-01-01 00:00:00' COMMENT '支付成功时间',
  `order_status` VARCHAR(10) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT '' COMMENT '支付状态 S：支付成功、F：订单支付失败',
  `remark` VARCHAR(100) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL DEFAULT '' COMMENT '备注',
  `create_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
  `update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改时间',
  PRIMARY KEY (`id`) USING BTREE,
  KEY `idx_merchant_id` (`merchant_id`) USING BTREE COMMENT '商户编号'  
) ENGINE=INNODB DEFAULT CHARSET=utf8;

创建订单记录表，语句如下：

CREATE TABLE order_record like order_today;

今日订单表数据量：1740730。

模拟迁移，把 8 号之前的数据都迁移到 order_record 表中去。

INSERT INTO order_record 
SELECT 
  * 
FROM
  order_today 
WHERE pay_success_time < '2020-03-08 00:00:00' ;

在 navicat 中运行迁移的 sql，同时开另一个窗口插入数据，模拟下单。

现象：一开始能正常插入，但是后面突然就卡住了，并且耗费了 23s 才成功，然后才能继续插入。这个时候已经迁移成功了，所以能正常插入了。

四、出现的原因

在默认的事务隔离级别下：insert into order_record select * from order_today WHERE pay_success_time < '2020-03-08 00:00:00' 加锁规则是：order_record 表锁，order_today 逐步锁（扫描一个锁一个）。

分析执行过程：

mysql> explain insert into order_record select * from order_today WHERE pay_success_time < '2020-03-08 00:00:00';
+----+-------------+--------------------------+------------+------+---------------+------+---------+------+------+----------+-------------+
| id | select_type | table                    | partitions | type | possible_keys | key  | key_len | ref  | rows   | filtered | Extra       |
+----+-------------+--------------------------+------------+------+---------------+------+---------+------+------+----------+-------------+
|  1 | INSERT      | order_record             | NULL       | ALL  | NULL          | NULL | NULL    | NULL | NULL   |     NULL | NULL        |
|  1 | SIMPLE      | order_today              | NULL       | ALL  | NULL          | NULL | NULL    | NULL |1789916 |    33.33 | Using where |
+----+-------------+--------------------------+------------+------+---------------+------+---------+------+------+----------+-------------+
2 rows in set (0.00 sec)

通过观察迁移 sql 的执行情况，你会发现 order_today 是全表扫描，也就意味着在执行 insert into select from 语句时，mysql 会从上到下扫描 order_today 内的记录并且加锁，这样一来不就和直接锁表是一样了。

这也就可以解释，为什么一开始只有少量用户出现支付失败，后续大量用户出现支付失败，初始化订单失败等情况。因为一开始只锁定了少部分数据，没有被锁定的数据还是可以正常被修改为正常状态。

由于锁定的数据越来越多，就导致出现了大量支付失败。最后全部锁住，导致无法插入订单，而出现初始化订单失败。

五、解决方案

由于查询条件会导致 order_today 全表扫描，什么能避免全表扫描呢，很简单，给 pay_success_time 字段添加一个 idx_pay_suc_time 索引就可以了，由于走索引查询，就不会出现扫描全表的情况而锁表了，只会锁定符合条件的记录。

最终的 sql：

ALTER TABLE order_today ADD INDEX idx_pay_suc_time (pay_success_time);
INSERT INTO order_record 
SELECT 
  * 
FROM
  order_today FORCE INDEX (idx_pay_suc_time) 
WHERE pay_success_time <= '2020-03-08 00:00:00' ;

执行过程：

mysql> EXPLAIN INSERT INTO order_record SELECT * FROM order_today FORCE INDEX (idx_pay_suc_time) WHERE pay_success_time <= '2020-03-08 00:00:00';
+----+-------------+--------------------------+------------+------+-----------------+------------------+---------+------+------+----------+-----------------------+
| id | select_type | table                    | partitions | type | possible_keys   | key  			   | key_len | ref  | rows | filtered | Extra                 |
+----+-------------+--------------------------+------------+------+-----------------+------------------+---------+------+------+----------+-----------------------+
|  1 | INSERT      | order_record             | NULL       | ALL  | NULL            | NULL             | NULL    | NULL | NULL |     NULL | NULL                  |
|  1 | SIMPLE      | order_today              | NULL       | range| idx_pay_suc_time| idx_pay_suc_time | 5       | NULL |89916 |    100.00| Using index condition |
+----+-------------+--------------------------+------------+------+-----------------+------------------+---------+------+------+----------+-----------------------+
2 rows in set (0.00 sec)

六、总结

使用 insert into tableA select * from tableB 语句时，一定要确保 tableB 后面的where，order 或者其他条件，都需要有对应的索引，来避免出现 tableB 全部记录被锁定的情况。

到此这篇关于关于MySQL中“Insert into select“ 的死锁情况分析的文章就介绍到这了,更多相关MySQL死锁情况分析内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

mysql触发器一个表改变另一个表也改变问题
这篇文章主要介绍了mysql触发器一个表改变另一个表也改变问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-08-08
基于mysql全文索引的深入理解
本篇文章是对mysql全文索引进行了详细的分析介绍，需要的朋友参考下
2013-06-06
mysql8.0.12如何重置root密码
这篇文章主要为大家详细介绍了mysql8.0.12如何重置root密码，文中安装步骤介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-11-11
使用MySQL Workbench构建ER图的详细教程
ER图又称实体-联系图(Entity Relationship Diagram),提供了表示实体类型、属性和联系的方法,用来描述现实世界的概念模型,MySQL Workbench是一个强大的数据库设计工具,提供了便捷的数据导入导出功能,本文介绍了使用MySQL Workbench构建ER图的详细教程
2024-06-06
MySQL制作具有千万条测试数据的测试库的方法
这篇文章主要介绍了MySQL制作具有千万条测试数据的测试库的方法，帮助大家更好的理解和学习MySQL，感兴趣的朋友可以了解下
2020-11-11
mysql 队列实现并发读
队列是常用的数据结构，基本特点就是先入先出，在事务处理等方面都要用到它，有的时候是带有优先级的队列。当队列存在并发访问的时候，比如多线程情况下，就需要锁机制来保证队列中的同一个元素不被多次获取
2012-04-04
Mysql的Table doesn't exist问题及解决
这篇文章主要介绍了Mysql的Table doesn't exist问题及解决，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-12-12
MySQL线程处于Opening tables的问题解决方法
在本篇文章里小编给大家分享了关于MySQL线程处于Opening tables的问题解决方法，有兴趣的朋友们学习下。
2019-01-01
一篇文章搞定Mysql日期时间函数
这篇文章主要给大家介绍了如何通过一篇文章搞定Mysql日期时间函数的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-12-12
在MySQL中使用通配符时应该注意的问题
这篇文章主要介绍了在MySQL中使用通配符时应该注意的问题,主要是下划线的使用容易引起的错误,需要的朋友可以参考下
2015-05-05