mysql如何查询重复数据并删除

更新时间：2023年12月22日 14:32:23 作者：pendant59

这篇文章主要介绍了mysql如何查询重复数据并删除问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

mysql查询重复数据并删除

表名： articles

内容重复字段：title

准备过程

Navicate 数据表导出sql，将导出dsql导入到本地测试库，查看title字段为varchar类型且没有索引，本地库title设置title字段普通索引

（未设置索引的情况下sql查询耗时太久，等了一分钟都没出结果)

Navicate执行操作过程

1. 查询标题重复的数据量：

select count(*) from articles
where title in
 (select title from articles group by title having count(*) > 1)

2. 查询重复的数据量，排除主键id最小的重复记录

select count(*) from articles
where title in 
(select title from articles group by title having count(*) > 1) 
and id not in 
( select min(id) from  articles  group by title  having count(* )>1)

3. 查询重复的数据的id，和 title

select id,title from articles where title in 
(select title from articles group by title having count(*) > 1) 
and id not in 
( select min(id) from  articles  group by title  having count(* )>1)

4. 查询所有重复的记录的id兵进行字符串拼接，排除主键id最小的重复记录

select GROUP_CONCAT(id) from articles where title in
 (select title from articles group by title having count(*) > 1 )
and id not in 
( select min(id) from  articles  group by title  having count(* )>1 )

5. 将第4步查询出来的重复数据id拼接的字符串作为条件进行数据删除

delete from articles where id in (第4步查询出的id字符串)

6. 检查本地测试库中article表内重复数据已被删除，将第5步的sql在线上执行。第四步和第五步要多次执，因为GROUP_CONCAT 一次拼接的id 是有限的，可能没有全部拼接出来

方法二：

该方法 title字段必须加索引，加索引的情况下，7W条数据删除8K条执行了49秒

DELETE
FROM
	表名称
WHERE
	重复字段名 IN (
		SELECT
			tmpa.重复字段名
		FROM
			(
				SELECT
					重复字段名
				FROM
					表名称
				GROUP BY
					重复字段名
				HAVING
					count(1) > 1
			) tmpa
	)
AND id NOT IN (
SELECT
	tmpb.minid
FROM
	(
		SELECT
			min(id) AS minid
		FROM
			表名称
		GROUP BY
			重复字段名
		HAVING
			count(1) > 1
	) tmpb
)

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

MySQL命令行下18个常用命令
在日常的网站维护和MYSQL数据库管理中，会用到非常多的MYSQL命令，下面给大家介绍18个管理MYSQL数据库时最常使用的命令
2018-03-03
MySQL日志管理和备份与恢复
这篇文章主要介绍了MySQL如何实现日志的管理，备份与恢复，本文有一定的参考价值，感兴趣的小伙伴可以参考阅读
2023-04-04
MySQL查询数据库所有表名以及表结构其注释(小白专用)
查询数据库所有表的表名、备注,其实也是比较常见的操作,这篇文章主要给大家介绍了关于MySQL查询数据库所有表名以及表结构其注释的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下
2024-08-08
MySQL中WITH AS语句的使用方法举例
在MySQL中WITH AS语法用于创建一个临时的命名查询（也称为子查询）,这些子查询可以在后续的查询中引用,从而简化查询语句的编写,这篇文章主要给大家介绍了关于MySQL中WITH AS语句的使用方法,需要的朋友可以参考下
2024-06-06
MySQL关于ERROR 1290 (HY000)报错解决方法
在本篇文章里小编给大家整理的是关于MySQL关于ERROR 1290 (HY000)报错的解决方法，有兴趣的朋友们可以参考下。
2019-09-09
通过存储过程动态创建MySQL对象的流程步骤
在当今数据驱动的世界中,高效的数据库管理至关重要,本文将展示如何通过存储过程自动化地创建各种 MySQL 数据库对象,通过这些方法,我们可以快速响应业务需求,提高数据库管理的灵活性和效率,需要的朋友可以参考下
2024-10-10
Mysql日期格式以及内置日期函数用法详解
MySQL中有多种数据类型可以用于日期和时间的表示,这篇文章主要给大家介绍了关于Mysql日期格式以及内置日期函数用法的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2023-05-05
MySql 5.7.17压缩包免安装的配置过程图解
这篇文章主要介绍了MySql 5.7.17压缩包免安装的配置过程图解，本文图文并茂给大家介绍的非常详细，感兴趣的朋友跟随脚本之家小编一起学习吧
2018-05-05
MySQL监控Innodb信息工作流程
这篇文章主要为大家介绍了MySQL监控Innodb信息工作流程,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2024-02-02
MySQL快速插入大量数据的解决方案和代码示例
在这篇博客中,我们将深入探讨如何高效插入大量数据到MySQL数据库,无论你是数据库新手还是经验丰富的开发者,这篇文章都将为你提供实用的解决方案和代码示例,帮助你解决插入3万条数据需要20多秒的问题,需要的朋友可以参考下
2024-08-08