mysql如何查询重复数据并删除

更新时间：2023年12月22日 14:32:23 作者：pendant59

这篇文章主要介绍了mysql如何查询重复数据并删除问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

mysql查询重复数据并删除

表名： articles

内容重复字段：title

准备过程

Navicate 数据表导出sql，将导出dsql导入到本地测试库，查看title字段为varchar类型且没有索引，本地库title设置title字段普通索引

（未设置索引的情况下sql查询耗时太久，等了一分钟都没出结果)

Navicate执行操作过程

1. 查询标题重复的数据量：

select count(*) from articles
where title in
 (select title from articles group by title having count(*) > 1)

2. 查询重复的数据量，排除主键id最小的重复记录

select count(*) from articles
where title in 
(select title from articles group by title having count(*) > 1) 
and id not in 
( select min(id) from  articles  group by title  having count(* )>1)

3. 查询重复的数据的id，和 title

select id,title from articles where title in 
(select title from articles group by title having count(*) > 1) 
and id not in 
( select min(id) from  articles  group by title  having count(* )>1)

4. 查询所有重复的记录的id兵进行字符串拼接，排除主键id最小的重复记录

select GROUP_CONCAT(id) from articles where title in
 (select title from articles group by title having count(*) > 1 )
and id not in 
( select min(id) from  articles  group by title  having count(* )>1 )

5. 将第4步查询出来的重复数据id拼接的字符串作为条件进行数据删除

delete from articles where id in (第4步查询出的id字符串)

6. 检查本地测试库中article表内重复数据已被删除，将第5步的sql在线上执行。第四步和第五步要多次执，因为GROUP_CONCAT 一次拼接的id 是有限的，可能没有全部拼接出来

方法二：

该方法 title字段必须加索引，加索引的情况下，7W条数据删除8K条执行了49秒

DELETE
FROM
	表名称
WHERE
	重复字段名 IN (
		SELECT
			tmpa.重复字段名
		FROM
			(
				SELECT
					重复字段名
				FROM
					表名称
				GROUP BY
					重复字段名
				HAVING
					count(1) > 1
			) tmpa
	)
AND id NOT IN (
SELECT
	tmpb.minid
FROM
	(
		SELECT
			min(id) AS minid
		FROM
			表名称
		GROUP BY
			重复字段名
		HAVING
			count(1) > 1
	) tmpb
)

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

MySql中的连接查询问题
这篇文章主要介绍了MySql中的连接查询问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-03-03
MySQL索引原理深度解析与优化策略实战方法
索引是存储引擎用于快速查找记录的一种数据结构,通常基于字段值构建,能显著降低查询的时间复杂度,本文给大家介绍MySQL索引原理深度解析与优化策略实战,感兴趣的朋友一起看看吧
2025-10-10
MySQL 索引分析和优化
MySQL 索引分析和优化...
2006-12-12
MySQL中JSON数据类型的使用指南
在快速迭代的互联网时代,数据已成为驱动业务增长和创新的核心要素,然而,随着应用场景的多样化和复杂化,传统固定表结构常常成为开发者的噩梦,在 MySQL 中使用 JSON 数据类型,可以简化半结构化或层级数据的处理流程,本文小编给大家详细说说
2026-05-05
mysql查询字段类型为json时的两种查询方式
这篇文章主要介绍了mysql查询字段类型为json时的两种查询方式,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
2019-07-07
MySQL5.6使用mysqldump数据备份的实现
本文主要介绍了MySQL5.6使用mysqldump数据备份的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
2026-03-03
Windows系统下MySQL8.0.21安装教程(图文详解)
这篇文章主要介绍了Windows系统下MySQL8.0.21安装教程,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2020-08-08
MySQL 将文件导入数据库(load data Statement)
本文主要介绍了MySQL 将文件导入数据库,可以使用load data infile语句将文件中的数据加载到数据库中,感兴趣的可以了解一下
2024-09-09
Mysql中varchar类型一些需要注意的地方
这篇文章主要介绍了Mysql中varchar类型一些需要注意的地方，帮助大家更好的理解和学习MySQL，感兴趣的朋友可以了解下
2021-01-01
利用SQL注入漏洞登录后台的实现方法
工作需要，得好好补习下关于WEB安全方面的相关知识，故撰此文，权当总结，别无它意。读这篇文章，我假设读者有过写SQL语句的经历，或者能看得懂SQL语句
2012-01-01