MySQL深分页问题及三种解决方案

 更新时间:2023年06月15日 10:38:07   作者:JAVA前线  
本文主要介绍了MySQL深分页问题及三种解决方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

1 深分页问题

1.1 创建表

CREATE TABLE `player` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',
  `player_id` varchar(256) NOT NULL COMMENT '运动员编号',
  `player_name` varchar(256) NOT NULL COMMENT '运动员名称',
  `height` int(11) NOT NULL COMMENT '身高',
  `weight` int(11) NOT NULL COMMENT '体重',
  `game_performance` text COMMENT '最近一场比赛表现',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

1.2 新增100万条数据

@SpringBootTest(classes = TestApplication.class)
@RunWith(SpringJUnit4ClassRunner.class)
public class PlayerServiceTest {
    @Resource
    private PlayerRepository playerRepository;
    @Test
    public void initBigData() {
        for (int i = 0; i < 1000000; i++) {
            PlayerEntity entity = new PlayerEntity();
            entity.setPlayerId(UUID.randomUUID().toString());
            entity.setPlayerName("球员_" + System.currentTimeMillis());
            entity.setWeight(150);
            entity.setHeight(188);
            entity.setGamePerformance("{\"runDistance\":8900.0,\"passSuccess\":80.12,\"scoreNum\":3}");
            playerRepository.insert(entity);
        }
    }
}

1.3 深分页语句

select * from player limit 990000,5

1.4 结果分析

查询耗时:1.233秒

本语句目标查询[990001-990005]五条数据

但是执行时需要排序[1-990005]数据

最终丢弃[1-990000]只返回[990001-990005]数据

2 深分页优化方案

2.1 方案一

我们可以从业务形态维度去解决,可以参考搜索引擎解决方案。因为ES也存在深分页问题,搜索引擎解决方案是在业务上会限制查询页数。因为页数越大,内容相关度越低,所以页数太大对业务价值不高。MySQL可以类比处理:

  • 限制查询页数
  • 限制全量导出
  • 查询时要求带必要条件(时间范围、userId)

2.2 方案二

2.2.1 优化语句

select * from player a, (select id as tmpId from player limit 990000,5) b WHERE a.id = b.tmpId复制代码

2.2.2 执行计划

(1) 查看计划

explain select * from player a, (select id as tmpId from player limit 990000,5) b WHERE a.id = b.tmpId复制代码

01 深分页优化方案1.jpg

(2) 执行顺序

  • id越大执行顺序越靠前
  • id相同则按照行数从上到下执行
  • 本语句执行顺序如下图:

02 深分页优化方案2_执行顺序.jpg

  • 第一步和第二步表示执行子查询
  • 第三步表示player表与子查询关联

(3) explain type

访问类型是重要分析指标:

03 explain_type.jpg

(4) explain Extra

Extra表示执行计划扩展信息重点关注三个:

04 explain extra.jpg

2.2.3 结果分析

  • 查询耗时:0.5秒
  • 原因是覆盖索引提升分页查询效率(只查询ID列)
  • 覆盖索引含义是查询时索引列完全包含查询列
  • using index表示使用覆盖索引,性能提升

2.3 方案三

2.3.1 优化语句

select * from player where id > 990000 LIMIT 5复制代码

2.3.2 执行计划

(1) 查看计划

explain select * from player where id > 990000 LIMIT 5复制代码

05 深分页优化方案2.jpg

(2) 结果分析

  • 查询耗时:0.001秒
  • range表示索引范围搜索性能尚可

(3) 适用场景

  • 不适用跳页场景
  • 只适用【上一页】【下一页】场景

3 MyBatis

<mapper namespace="com.test.java.front.test.mysql.deep.page.repository.PlayerRepository">
	<resultMap id="BaseResultMap" type="com.test.java.front.test.mysql.deep.page.entity.PlayerEntity">
		<id column="id" jdbcType="BIGINT" property="id" />
		<result column="player_id" jdbcType="VARCHAR" property="playerId" />
		<result column="player_name" jdbcType="VARCHAR" property="playerName" />
		<result column="height" jdbcType="INTEGER" property="height" />
		<result column="weight" jdbcType="INTEGER" property="weight" />
		<result column="game_performance" jdbcType="LONGVARCHAR" property="gamePerformance" />
	</resultMap>
	<sql id="Base_Column_List">
		id, player_id, player_name, height, weight, game_performance
	</sql>
	<sql id="conditions">
		<where>
			<if test="playerId != null">
				and player_id = #{playerId,jdbcType=VARCHAR}
			</if>
		</where>
	</sql>
	<sql id="pager">
		<if test="skip != null and limit != null">
			limit #{skip}, #{limit}
		</if>
	</sql>
	<!-- 查询条数 -->
	<select id="selectPageCount" parameterType="com.test.java.front.test.mysql.deep.page.param.biz.PlayerQueryParam" resultType="java.lang.Long">
		select count(*) from player
		<include refid="conditions" />
	</select>
	<!-- 分页方式1:普通分页存在深分页问题 -->
	<!-- select * from player limit 990000,5 -->
	<select id="selectPager1" parameterType="com.test.java.front.test.mysql.deep.page.param.biz.PlayerQueryParam" resultMap="BaseResultMap">
		select
		<include refid="Base_Column_List" />
		from player
		<include refid="conditions" />
		<include refid="pager" />
	</select>
	<!-- 分页方式2:覆盖索引优化深分页问题 -->
	<!-- select * from player a, (select id as tmpId from player limit 990000,5) b where a.id = b.tmpId -->
	<select id="selectPager2" parameterType="com.test.java.front.test.mysql.deep.page.param.biz.PlayerQueryParam" resultMap="BaseResultMap">
		select
		<include refid="Base_Column_List" />
		from player a,
		(
		select id as tmpId from player
		<include refid="conditions" />
		<include refid="pager" />
		) b
		where a.id = b.tmpId
	</select>
	<!-- 分页方式3:Id分页不支持跳页 -->
	<!-- select * from player where id > 990000 limit 5 -->
	<select id="selectPager3" parameterType="com.test.java.front.test.mysql.deep.page.param.biz.PlayerQueryIdParam" resultMap="BaseResultMap">
		select
		<include refid="Base_Column_List" />
		<include refid="conditions" />
		from player where id > #{startId} limit #{pageSize}
	</select>
</mapper>

4 文章总结

本文第一介绍深分页问题表现和原因。第二介绍深分页问题三种解决方法,方案一是从业务维度优化,方案二是使用覆盖索引进行优化,方案三是使用Id分页。第三展示MyBatis相关代码。

到此这篇关于MySQL深分页问题及三种解决方案的文章就介绍到这了,更多相关MySQL深分页内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • mysql滑动订单问题原理与解决方法实例分析

    mysql滑动订单问题原理与解决方法实例分析

    这篇文章主要介绍了mysql滑动订单问题原理与解决方法,结合实例形式分析了mysql滑动订单的问题的基本原理、解决方法与相关操作注意事项,需要的朋友可以参考下
    2019-12-12
  • SQL中"1=1"的陷阱:为什么应避免使用

    SQL中"1=1"的陷阱:为什么应避免使用

    "1=1"在SQL中可能看似无害,但它却是一个隐藏的陷阱,这个简单的表达式可能会导致你的查询结果出现偏差,甚至可能引发安全问题,本指南将揭示这个陷阱,教你如何避免使用"1=1",让你的数据库操作更加安全、准确,让我们一起揭开"1=1"的秘密,提升你的SQL技能!
    2024-02-02
  • MySQL主键与外键的基本概念与作用详解

    MySQL主键与外键的基本概念与作用详解

    在进行数据库设计时,合理的添加主键和外键能有效保障数据的完整性和一致性,使得数据管理更加科学高效,本文将详细介绍MySQL中主键和外键的基本概念、它们之间的关系、作用及一些高级知识点,感兴趣的朋友一起看看吧
    2025-10-10
  • 使用RPM包安装MySQL 5.7.18的教程

    使用RPM包安装MySQL 5.7.18的教程

    这篇文章主要介绍了使用RPM包安装MySQL 5.7.18的教程,需要的朋友可以参考下
    2017-04-04
  • mysql中Load Data记录换行问题的解决方法

    mysql中Load Data记录换行问题的解决方法

    有关mysql中Load Data记录换行的问题的解决方法, 需要的朋友可以参考下
    2013-02-02
  • node 多种方法连接mysql数据库(最新推荐)

    node 多种方法连接mysql数据库(最新推荐)

    mysql是一个流行的第三方模块,可以通过npm安装,在Node.js 中,有多种方法可以连接 MySQL 数据库,本文通过实例代码讲解node 多种方法连接mysql数据库的示例代码,感兴趣的朋友跟随小编一起看看吧
    2023-07-07
  • mysql滑动聚合/年初至今聚合原理与用法实例分析

    mysql滑动聚合/年初至今聚合原理与用法实例分析

    这篇文章主要介绍了mysql滑动聚合原理与用法,结合实例形式分析了mysql滑动聚合的相关功能、原理、使用方法及操作注意事项,需要的朋友可以参考下
    2019-12-12
  • mysql按天/小时/半小时/N分钟/分钟进行数据分组统计功能

    mysql按天/小时/半小时/N分钟/分钟进行数据分组统计功能

    我们在做项目或者数据分析时,经常遇到这样的需求:统计不同时间粒度下的数据分布情况,例如,每一天中每个小时网站的访问量,某路口每半个小时通过的车辆数量等,下面给大家分享mysql按天/小时/半小时/N分钟/分钟进行数据分组统计功能,感兴趣的朋友跟随小编一起看看吧
    2024-04-04
  • MySQL 子查询和分组查询

    MySQL 子查询和分组查询

    这篇文章主要介绍了MySQL 子查询和分组查询的相关资料,帮助大家更好的理解MySQL查询的相关知识,感兴趣的朋友可以了解下
    2020-11-11
  • MySQL中DATEDIFF()函数用法及返回周、月、年

    MySQL中DATEDIFF()函数用法及返回周、月、年

    这篇文章主要给大家介绍了关于MySQL中DATEDIFF()函数用法及返回周、月、年的相关资料,datediff()函数返回两个日期之间的时间,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2023-11-11

最新评论