mysql如何查询重复数据并删除

更新时间：2023年12月22日 14:32:23 作者：pendant59

这篇文章主要介绍了mysql如何查询重复数据并删除问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

mysql查询重复数据并删除

表名： articles

内容重复字段：title

准备过程

Navicate 数据表导出sql，将导出dsql导入到本地测试库，查看title字段为varchar类型且没有索引，本地库title设置title字段普通索引

（未设置索引的情况下sql查询耗时太久，等了一分钟都没出结果)

Navicate执行操作过程

1. 查询标题重复的数据量：

select count(*) from articles
where title in
 (select title from articles group by title having count(*) > 1)

2. 查询重复的数据量，排除主键id最小的重复记录

select count(*) from articles
where title in 
(select title from articles group by title having count(*) > 1) 
and id not in 
( select min(id) from  articles  group by title  having count(* )>1)

3. 查询重复的数据的id，和 title

select id,title from articles where title in 
(select title from articles group by title having count(*) > 1) 
and id not in 
( select min(id) from  articles  group by title  having count(* )>1)

4. 查询所有重复的记录的id兵进行字符串拼接，排除主键id最小的重复记录

select GROUP_CONCAT(id) from articles where title in
 (select title from articles group by title having count(*) > 1 )
and id not in 
( select min(id) from  articles  group by title  having count(* )>1 )

5. 将第4步查询出来的重复数据id拼接的字符串作为条件进行数据删除

delete from articles where id in (第4步查询出的id字符串)

6. 检查本地测试库中article表内重复数据已被删除，将第5步的sql在线上执行。第四步和第五步要多次执，因为GROUP_CONCAT 一次拼接的id 是有限的，可能没有全部拼接出来

方法二：

该方法 title字段必须加索引，加索引的情况下，7W条数据删除8K条执行了49秒

DELETE
FROM
	表名称
WHERE
	重复字段名 IN (
		SELECT
			tmpa.重复字段名
		FROM
			(
				SELECT
					重复字段名
				FROM
					表名称
				GROUP BY
					重复字段名
				HAVING
					count(1) > 1
			) tmpa
	)
AND id NOT IN (
SELECT
	tmpb.minid
FROM
	(
		SELECT
			min(id) AS minid
		FROM
			表名称
		GROUP BY
			重复字段名
		HAVING
			count(1) > 1
	) tmpb
)

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

mysql 8.0.12 简单安装教程
这篇文章主要为大家详细介绍了mysql 8.0.12 简单安装教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-08-08
MySQL索引失效的几种情况图文详解
索引并不是时时都会生效的,在一起情况下将导致索引失效,这篇文章主要给大家介绍了关于MySQL索引失效的几种情况,文章通过图文介绍的非常详细,需要的朋友可以参考下
2023-06-06
InnoDB实现序列化隔离级别的方法
这篇文章主要介绍了InnoDB实现序列化隔离级别的方法，文中介绍的非常详细，相信对大家学习或者使用InnoDB具有一定的参考价值，需要的朋友们可以参考学习，下面来一起看看吧。
2017-04-04
MySQL忽略表名大小写的2种方法实现
在 MySQL 中,默认情况下表名是大小写敏感的,本文主要介绍了MySQL忽略表名大小写的2种方法实现,具有一定的参考价值,感兴趣的可以了解一下
2024-03-03
详解MySQL 数据库隔离级别与MVCC
这篇文章主要介绍了详解MySQL 数据库隔离级别与MVCC的相关资料，帮助大家更好的理解和学习使用MySQL，感兴趣的朋友可以了解下
2021-03-03
mysql+Spring数据库隔离级别与性能分析
数据库隔离级别与Spring配置事务的联系及性能影响，以下是个人理解，如果有瑕疵请及时指正
2014-05-05
MySQL explain 中列的取值及含义讲解
这篇文章主要介绍了MySQL explain 中列的取值及含义,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2023-03-03
简述MySql四种事务隔离级别
这篇文章主要介绍了MySql四种隔离级别，帮助大家更好的理解和学习MySQL，感兴趣的朋友可以了解下
2020-08-08
MySQL中的引号和反引号的区别与用法详解
这个问题是我在学习数据库的时候遇到的一个问题，我当时并不能理解下图中的一些情况，后来我也请教了一位大佬给我解答，最后在大佬和度娘的帮助下我大概理解了这个反引号的东西
2021-10-10
Mysql5.7修改root密码教程
今天小编就为大家分享一篇关于Mysql5.7修改root密码教程，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
2019-02-02