提高MySQL深分页查询效率的三种方案

 更新时间:2022年07月04日 07:20:32   作者:一灯架构  
这篇文章介绍了提高MySQL深分页查询效率的三种方案,文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

开发经常遇到分页查询的需求,但是当翻页过多的时候,就会产生深分页,导致查询效率急剧下降。有没有什么办法,能解决深分页的问题呢?本文总结了三种优化方案,查询效率直接提升10倍,一起学习一下。

开发经常遇到分页查询的需求,但是当翻页过多的时候,就会产生深分页,导致查询效率急剧下降。

有没有什么办法,能解决深分页的问题呢?

本文总结了三种优化方案,查询效率直接提升10倍,一起学习一下。

1. 准备数据

先创建一张用户表,只在create_time字段上加索引:

CREATE TABLE `user` (
  `id` int NOT NULL AUTO_INCREMENT COMMENT '主键',
  `name` varchar(255) DEFAULT NULL COMMENT '姓名',
  `create_time` timestamp NULL DEFAULT NULL COMMENT '创建时间',
  PRIMARY KEY (`id`),
  KEY `idx_create_time` (`create_time`)
) ENGINE=InnoDB COMMENT='用户表';

然后往用户表中插入100万条测试数据,这里可以使用存储过程:

drop PROCEDURE IF EXISTS insertData;
DELIMITER $$
create procedure insertData()
begin
 declare i int default 1;
   while i <= 100000 do
         INSERT into user (name,create_time) VALUES (CONCAT("name",i), now());
         set i = i + 1; 
   end while; 
end $$

call insertData() $$

2. 验证深分页问题

每页10条,当我们查询第一页的时候,速度很快:

select * from user 
where create_time>'2022-07-03' 
limit 0,10;

在不到0.01秒内直接返回了,所以没显示出执行时间。

当我们翻到第10000页的时候,查询效率急剧下降:

select * from user 
where create_time>'2022-07-03' 
limit 100000,10;

执行时间变成了0.16秒,性能至少下降了几十倍。

耗时主要花在哪里了?

  • 需要扫描前10条数据,数据量较大,比较耗时
  • create_time是非聚簇索引,需要先查询出主键ID,再回表查询,通过主键ID查询出所有字段

画一下回表查询流程:

1. 先通过create_time查询出主键ID

2. 再通过主键ID查询出表中所有字段

别问为什么B+树的结构是这样的?问就是规定。

可以看一下前两篇文章。

然后我们就针对这两个耗时原因进行优化。

3. 优化查询

3.1 使用子查询

先用子查询查出符合条件的主键,再用主键ID做条件查出所有字段。

select * from user 
where id in (
  select id from user 
  where create_time>'2022-07-03' 
  limit 100000,10
);

不过这样查询会报错,说是子查询中不支持使用limit。

我们加一层子查询嵌套,就可以了:

select * from user 
where id in (
 select id from (
    select id from user 
    where create_time>'2022-07-03' 
    limit 100000,10
 ) as t
);

执行时间缩短到0.05秒,减少了0.12秒,相当于查询性能提升了3倍。

为什么先用子查询查出符合条件的主键ID,就能缩短查询时间呢?

我们用explain查看一下执行计划就明白了:

explain select * from user 
where id in (
 select id from (
    select id from user 
    where create_time>'2022-07-03' 
    limit 100000,10
 ) as t
);

可以看到Extra列显示子查询中用到Using index,表示用到了覆盖索引,所以子查询无需回表查询,加快了查询效率。

3.2 使用inner join关联查询

把子查询的结果当成一张临时表,然后和原表进行关联查询。

select * from user 
inner join (
   select id from user 
    where create_time>'2022-07-03' 
    limit 100000,10
) as t on user.id=t.id;

查询性能跟使用子查询一样。

3.3 使用分页游标(推荐)

实现方式就是:当我们查询第二页的时候,把第一页的查询结果放到第二页的查询条件中。

例如:首先查询第一页

select * from user 
where create_time>'2022-07-03' 
limit 10;

然后查询第二页,把第一页的查询结果放到第二页查询条件中:

select * from user 
where create_time>'2022-07-03' and id>10 
limit 10;

这样相当于每次都是查询第一页,也就不存在深分页的问题了,推荐使用。

执行耗时是0秒,查询性能直接提升了几十倍。

这样的查询方式虽然好用,但是又带来一个问题,就是跳转到指定页数,只能一页页向下翻。

所以这种查询只适合特定场景,比如资讯类APP的首页。

互联网APP一般采用瀑布流的形式,比如百度首页、头条首页,都是一直向下滑动翻页,并没有跳转到制定页数的需求。

不信的话,可以看一下,这是头条的瀑布流:

传参中带了上一页的查询结果。

响应数据中,返回了下一页查询条件。

所以这种查询方式的应用场景还是挺广的,赶快用起来吧。

知识点总结:

到此这篇关于解决MySQL深分页低效率问题的文章就介绍到这了。希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • MySQL允许远程连接的配置指南

    MySQL允许远程连接的配置指南

    MySQL 是一个广泛使用的开源关系型数据库管理系统,在实际开发中,我们经常需要从本地或外部服务器连接到 MySQL 数据库,下面我们就来看看如何配置 MySQL 以允许远程连接
    2025-06-06
  • 什么情况下需要创建MySQL索引?

    什么情况下需要创建MySQL索引?

    这篇文章主要介绍了什么情况下需要创建MySQL索引?本文同时介绍了哪些情况不适合创建MySQL索引,需要的朋友可以参考下
    2014-10-10
  • mysql中使用shell语句实现xtrabackup自动物理备份增量备份

    mysql中使用shell语句实现xtrabackup自动物理备份增量备份

    这篇文章主要为大家介绍了mysql数据库使用shell实现xtrabackup自动物理备份增量备份脚本,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-07-07
  • 碰到MySQL无法启动1067错误问题解决方法

    碰到MySQL无法启动1067错误问题解决方法

    创建primay key过程中发生了断电,当电脑再次启动时候,发现mysql 服务无法启动,使用 net start 提示 1067错误;后来只能通过手工删除数据文件,日志文件,再启动服务,然后导入数据来完成
    2013-01-01
  • MySQL中事件调度器用法与使用场景详解

    MySQL中事件调度器用法与使用场景详解

    MySQL事件调度器是MySQL 5.1版本引入的一个强大功能,允许数据库管理员创建和调度在特定时间或按照特定间隔自动执行的任务,下面小编就来和大家详细介绍一下它的具体使用吧
    2025-08-08
  • mysql 使用inet_aton和inet_ntoa处理ip地址数据的实例

    mysql 使用inet_aton和inet_ntoa处理ip地址数据的实例

    下面小编就为大家带来一篇mysql 使用inet_aton和inet_ntoa处理ip地址数据的实例。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-04-04
  • MySQL获取数据库内所有表格数据总数的示例代码

    MySQL获取数据库内所有表格数据总数的示例代码

    在 MySQL 中,要获取数据库内所有表格的数据总数,可以编写一个查询脚本来遍历每个表并计算其行数,所以本文给大家介绍了MySQL获取数据库内所有表格数据总数的示例,需要的朋友可以参考下
    2024-11-11
  • 关于Mysql隔离级别、锁与MVCC介绍

    关于Mysql隔离级别、锁与MVCC介绍

    本篇文章给大家详细介绍了一下关于Mysql隔离级别、锁与MVCC的相关知识,有这方面兴趣的朋友参考下。
    2018-01-01
  • MySQL表自增id溢出的故障复盘解决

    MySQL表自增id溢出的故障复盘解决

    这篇文章主要介绍了MySQL表自增id溢出的故障复盘解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-04-04
  • 解决Navicat Premium 连接 MySQL 8.0 报错

    解决Navicat Premium 连接 MySQL 8.0 报错"1251"的问题分析

    这篇文章主要介绍了解决Navicat Premium 连接 MySQL 8.0 报错"1251"的问题分析,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-11-11

最新评论