order by + limit分页时数据重复问题及解决方法
问题描述：MYSQL version 5.6.8command 表结构
CREATE TABLE command ( ID INT NOT NULL, NAME VARCHAR(16), DESCRIPTION VARCHAR(32), INDEX idx_command_id (ID) ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
表数据
order by + limit分页查询
查询第1页
select * from command order by age limit 0,4;
查询第2页
select * from command order by age limit 4,4;
可以看到第2页中查出了第1页中存在的重复数据
原因分析：
查看以上语句的执行计划
可以看到，order by limit时Mysql会进行优化，使用的是内存中的filesort文件排序，in memory filesort 使用的是优先级队列（priority queue），优先级队列使用的二叉堆；
使用 priority queue 的目的，就是在不能使用索引有序性的时候，如果要排序，并且使用了limit n，那么只需要在排序的过程中，保留n条记录即可这样虽然不能解决所有记录都需要排序的开销，但是只需要 sort buffer 少量的内存就可以完成排序。
因此，在limit n时，只会堆排序前n个，且是不稳定排序，因此并不能保证字段值相同时的相对顺序，因此分页时可能造成重复；
MySQL 5.5 没有这个优化，所以也就不会出现这个问题，5.6版本之后才出现了这种情况。
解决方案：
1. 新加一个排序字段，这个字段绝对有序，在第1个排序字段重复时， 使用第2个字段排序
2. 利用索引的有序性，如给id加上主键约束，排序字段添加索引
explain select id,age from command order by age limit 4,4
可以看到查询走了索引，排序就稳定了，没什么问题
（3）一些常见的数据库排序问题
不加order by的时候的排序问题
用户在使用Oracle或MySQL的时候，发现MySQL总是有序的，Oracle却很混乱，这个主要是因为Oracle是堆表，MySQL是索引聚簇表的原因。
所以没有order by的时候，数据库并不保证记录返回的顺序性，并且不保证每次返回都一致的。
分页问题
分页重复的问题
如前面所描述的，分页是在数据库提供的排序功能的基础上，衍生出来的应用需求，数据库并不保证分页的重复问题。
到此这篇关于order by + limit分页时数据重复的文章就介绍到这了,更多相关order by limit分页时数据重复内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
DBeaver是免费、开源、通用数据库工具,是许多开发开发人员和数据库管理员的所选,下面这篇文章主要给大家介绍了关于DBeaver连接MySQL的超详细步骤,文中通过图文介绍的非常详细,需要的朋友可以参考下2023-05-05
在本篇文章里小编给大家分享的是关于navicat 8 for mysql建库的方法以及相关知识点，需要的朋友们参考学习下。2019-08-08
当mysql一张数据表中的数据达到一定的量时,在其中查询某一个数据,需要花费大量的时间,下面这篇文章主要给大家介绍了关于MySQL分区建索引以及分区介绍的相关资料,需要的朋友可以参考下2022-04-04
这篇文章主要介绍了 SQL 中 CASE 表达式的使用方式，文章通过围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-09-09
物理服务机的CPU、内存、存储设备、连接数等资源有限，某个时段大量连接同时执行操作，会导致数据库在处理上遇到性能瓶颈。为了解决这个问题，行业先驱门充分发扬了分而治之的思想，对大库表进行分割2022-01-01
这篇文章主要介绍了MySQL8.0.23免安装版配置教程,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-03-03
触发器是由事件来触发某个操作，这些事件包括INSERT、UPDATE和DELETE语句。如果定义了触发程序，当数据库执行这些语句的时候就会激发触发器执行相应的操作,需要的朋友可以参考下2023-05-05
这篇文章主要介绍了centos上安装mysql并设置远程访问的操作方法,需要的朋友可以参考下2017-11-11
在MySQL中,函数可以进行各种数据操作,如字符处理、数学计算和日期格式化等,单行函数处理单条数据记录,而分组函数则处理多条数据记录,本文给大家介绍Mysql中常用函数之分组,连接查询功能实现,感兴趣的朋友一起看看吧2024-10-10
解决MySQL 5.7.9版本sql_mode=only_full_group_by问题
这篇文章主要介绍了解决MySQL 5.7.9版本sql_mode=only_full_group_by问题,需要的朋友可以参考下2017-05-05
最新评论