MySQL limit分页大偏移量慢的原因及优化方案

更新时间：2020年11月17日 10:59:43 作者：Planeswalker23

这篇文章主要介绍了MySQL limit分页大偏移量慢的原因及优化方案，帮助大家更好的理解和使用MySQL数据库，感兴趣的朋友可以了解下

在 MySQL 中通常我们使用 limit 来完成页面上的分页功能，但是当数据量达到一个很大的值之后，越往后翻页，接口的响应速度就越慢。

本文主要讨论 limit 分页大偏移量慢的原因及优化方案，为了模拟这种情况，下面首先介绍表结构和执行的 SQL。

场景模拟

建表语句

user 表的结构比较简单，id、sex 和 name，为了让 SQL 的执行时间变化更加明显，这里有9个姓名列。

CREATE TABLE `user` (
 `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键',
 `sex` tinyint(4) NULL DEFAULT NULL COMMENT '性别 0-男 1-女',
 `name1` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name2` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name3` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name4` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name5` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name6` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name7` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name8` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name9` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 PRIMARY KEY (`id`) USING BTREE,
 INDEX `sex`(`sex`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 9000001 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

数据填充

这里建立了一个存储过程来进行数据的填充，一共9000000条数据，执行完函数后再执行一句SQL，修改性别字段。

ps:这个函数执行的挺久的，我运行了617.284秒。

CREATE DEFINER=`root`@`localhost` PROCEDURE `data`()
begin 
 declare i int; 
 set i=1; 
 while(i<=9000000)do 
  insert into user values(i,0,i,i,i,i,i,i,i,i,i);
  set i=i+1; 
 end while;
end

-- 将id为偶数的user设置性别为1-女
update user set sex=1 where id%2=0;

SQL与执行时间

SQL	执行时间
select * from user where sex = 1 limit 100, 10;	OK, Time: 0.005000s
select * from user where sex = 1 limit 1000, 10;	OK, Time: 0.007000s
select * from user where sex = 1 limit 10000, 10;	OK, Time: 0.016000s
select * from user where sex = 1 limit 100000, 10;	OK, Time: 0.169000s
select * from user where sex = 1 limit 1000000, 10;	OK, Time: 5.892000s
select * from user where sex = 1 limit 10000000, 10;	OK, Time: 33.465000s

可以看到，limit 的偏移量越大，执行时间越长。

原因分析

首先来分析一下这句 SQL 执行的过程，就拿上面表格中的第一行来举例。

由于 sex 列是索引列，MySQL会走 sex 这棵索引树，命中 sex=1 的数据。

然后又由于非聚簇索引中存储的是主键 id 的值，且查询语句要求查询所有列，所以这里会发生一个回表的情况，在命中 sex 索引树中值为1的数据后，拿着它叶子节点上的值也就是主键 id 的值去主键索引树上查询这一行其他列（name、sex）的值，最后返回到结果集中，这样第一行数据就查询成功了。

最后这句 SQL 要求limit 100, 10，也就是查询第101到110个数据，但是 MySQL 会查询前110行，然后将前100行抛弃，最后结果集中就只剩下了第101到110行，执行结束。

小结一下，在上述的执行过程中，造成 limit 大偏移量执行时间变久的原因有：

查询所有列导致回表
limit a, b会查询前a+b条数据，然后丢弃前a条数据

综合上述两个原因，MySQL 花费了大量时间在回表上，而其中a次回表的结果又不会出现在结果集中，这才导致查询时间变得越来越长。

优化方案

覆盖索引

既然无效的回表是导致查询变慢的主要原因，那么优化方案就主要从减少回表次数方面入手，假设在limit a, b中我们首先得到了a+1到a+b条数据的id，然后再进行回表获取其他列数据，那么就减少了a次回表操作，速度肯定会快上不少。

这里就涉及到覆盖索引了，所谓的覆盖索引就是从非主聚簇索引中就能查到的想要数据，而不需要通过回表从主键索引中查询其他列，能够显著提升性能。

基于这样的思路，优化方案就是先查询得到主键id，然后再根据主键id查询其他列数据，优化后的 SQL 以及执行时间如下表。

优化后的 SQL	执行时间
select * from user a join (select id from user where sex = 1 limit 100, 10) b on a.id=b.id;	OK, Time: 0.000000s
select * from user a join (select id from user where sex = 1 limit 1000, 10) b on a.id=b.id;	OK, Time: 0.00000s
select * from user a join (select id from user where sex = 1 limit 10000, 10) b on a.id=b.id;	OK, Time: 0.002000s
select * from user a join (select id from user where sex = 1 limit 100000, 10) b on a.id=b.id;	OK, Time: 0.015000s
select * from user a join (select id from user where sex = 1 limit 1000000, 10) b on a.id=b.id;	OK, Time: 0.151000s
select * from user a join (select id from user where sex = 1 limit 10000000, 10) b on a.id=b.id;	OK, Time: 1.161000s

果然，执行效率得到了显著提升。

条件过滤

当然还有一种有缺陷的方法是基于排序做条件过滤。

比如像上面的示例 user 表，我要使用 limit 分页得到1000001到1000010条数据，可以这样写 SQL：

select * from user where sex = 1 and id > (select id from user where sex = 1 limit 1000000, 1) limit 10;

但是使用这样的方式优化是有条件的：主键id必须是有序的。在有序的条件下，也可以使用比如创建时间等其他字段来代替主键id，但是前提是这个字段是建立了索引的。

总之，使用条件过滤的方式来优化 limit 是有诸多限制的，一般还是推荐使用覆盖索引的方式来优化。

小结

主要分析了 limit 分页大偏移量慢的原因，同时也提出了响应的优化方案，推荐使用覆盖索引的方式来优化 limit 分页大偏移执行时间久的问题。

希望能帮助到大家。

以上就是MySQL limit分页大偏移量慢的原因及优化方案的详细内容，更多关于MySQL limit 分页的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

Ubuntu查看修改mysql的登录名和密码、安装phpmyadmin
这篇文章主要介绍了Ubuntu查看修改mysql的登录名和密码、安装phpmyadmin,本文分步骤给大家讲解的非常详细，需要的朋友可以参考下
2019-11-11
MySQL binlog中的事件类型详解
这篇文章主要介绍了MySQL binlog中的事件类型详解,介绍的非常详细，具有参考借鉴价值，需要的朋友可以参考下
2016-08-08
Django+mysql配置与简单操作数据库实例代码
这篇文章主要介绍了Django+mysql配置与简单操作数据库实例,需要的朋友可以参考下
2017-07-07
MYSQL每隔10分钟进行分组统计的实现方法
这篇文章主要给大家介绍了如何利用MYSQL实现每隔10分钟进行分组统计的方法，文中给出了详细的示例代码，相信对大家的理解和学习具有一定的参考借鉴价值，有需要的朋友们下面来一起看看吧。
2016-12-12
点赞功能使用MySQL还是Redis
本文主要介绍了点赞功能使用MySQL还是Redis，这是最近面试时被问到的1道面试题，本篇博客对此问题进行总结分享，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-12-12
MySQL处理重复数据的方法
这篇文章主要介绍了MySQL处理重复数据的方法，处理重复数据包括防止表中出现重复数据、统计重复数据、过滤删除重复数据，感兴趣的小伙伴们可以参考一下
2016-02-02
如何在Java程序中访问mysql数据库中的数据并进行简单的操作
这篇文章主要介绍了如何在Java程序中访问mysql数据库中的数据并进行简单的操作的相关资料,需要的朋友可以参考下
2016-05-05
MySQL中参数sql_safe_updates在生产环境的使用详解
这篇文章主要给大家介绍了关于MySQL中参数sql_safe_updates在生产环境使用的相关资料，并给大家分享了解决mysql sql_safe_updates不支持子查询更新的方法，分享出来供大家参考学习，需要的朋友们下面来一起看看吧。
2017-11-11
mysql的json处理实现
本文主要介绍了mysql的json处理实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-08-08
CentOS下安装mysql时忘记设置root密码致无法登录的解决方法
最近在给公司的内网开发用服务器装系统，然后装mysql居然就花了一天，原因是因为本人在CentOS下安装万mysql后,无法通过root进入,因为安装的时候,并没有设置root密码而导致无法登录，通过查找了资料终于解决了，现在想方法分享给大家，有需要的朋友们可以参考借鉴。
2016-11-11