SQL删除重复数据的实例教程

更新时间：2022年07月05日 11:04:30 作者：qq_37705525

在使用SQL提数的时候,常会遇到表内有重复值的时候,下面这篇文章主要给大家介绍了关于SQL删除重复数据的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下

1 SQL去重

SQL中去除完全相同数据可以用distinct关键字，任意字段去重可以用group by，以下面的数据表为例。

2 distinct

存在两条完全相同的纪录，用关键字distinct就可以去掉

根据单个字段去重，能精确去重;

作用在多个字段时，只有当这几个字段的完全相同时，才能去重;

关键字distinct只能放在SQL语句中的第一个，才会起作用

一般用来返回不重复的记录条数，返回不重复的条数(去掉test重复的，就剩下6条)

3 group by

1. 查询根据名字去重后数据(名字相同取id值大的)

SELECT * FROM stu WHERE id IN (SELECT MAX(id) FROM stu GROUP BY `name`)

2. 删除名字相同数据(名字相同保留id值大的)

group by + count + max去掉重复数据

1）SELECT * FROM stu

2）加上group by 后，会将重复的数据去掉了

3) 条件(名字)是数量大于1的重复数据

SELECT `name` FROM stu GROUP BY `name` HAVING COUNT(`name`) > 1

#条件是数量大于1的重复数据
SELECT * FROM stu WHERE `name` IN(
SELECT `name` FROM stu GROUP BY `name` HAVING COUNT(`name`)>1 
)

4）查看某字段重复数据的id

SELECT id, COUNT(*) FROM stu 
GROUP BY NAME DESC HAVING(COUNT(*) > 0)

5）查询所有重复数据

SELECT * FROM stu WHERE NAME IN (SELECT `name` FROM stu GROUP BY `name` HAVING COUNT(`name`) > 1)

5) 去重

可以使用distinct去重（返回不重复的用户名）

删除多余的重复记录（name），只保留id最大的记录。

DELETE FROM stu 
WHERE id NOT IN ( SELECT a.id FROM ( SELECT MAX( id ) AS id FROM stu GROUP BY `name` )a )

或者

 DELETE FROM stu WHERE `name` IN (SELECT `name` FROM (SELECT `name` FROM stu GROUP BY `name` HAVING COUNT(`name`)>1) e)
 AND id NOT IN (SELECT id FROM (SELECT MAX(id) AS id FROM stu GROUP BY `name` HAVING COUNT(`name`)>1) t)
 #查询显示重复的数据都是显示最前面的几条，因此不需要查询是否最小值

错误删除

DELETE FROM stu WHERE name IN (SELECT name FROM stu GROUP BY name HAVING COUNT(name)>1)
AND id NOT IN (SELECT MAX(id) FROM stu GROUP BY stu HAVING COUNT(name)>1)

原因是：不能将直接查处来的数据当做删除数据的条件，我们应该先把查出来的数据新建一个临时表，然后再把临时表作为条件进行删除功能

4 总结

去重后名字记录

SELECT `name` FROM stu 
GROUP BY NAME HAVING(COUNT(*) > 0)

2）

所有重复名字的记录

SELECT `name` FROM stu 
GROUP BY NAME HAVING COUNT(*) > 1

3）把所有重复的记录都删了

DELETE FROM stu WHERE name IN
(SELECT name FROM stu GROUP BY name HAVING COUNT(*)>1)

无法在删除时同时查询这张表，这个问题只在MySQL中出现，oracle没有。怎么解决？我们只需要在查出结果以后加一张中间表。让执行器认为我们要查的数据不是来自正在删的这张表就可以了。

DELETE FROM stu WHERE `name` IN 
    (SELECT a.name FROM 
        (SELECT `name` FROM stu GROUP BY `name` HAVING COUNT(*)>1) a)

所有重复数据都删除, 就剩王五一条数据了

4) 现在删除所有重复数据数据做完了，考虑怎么保留重复数据中id最小的。只需要在删除时让删除该条的记录id不在重复数据id最小的当中就可以了。

DELETE FROM stu WHERE `name` IN 
    (SELECT a.name FROM 
        (SELECT `name` FROM stu GROUP BY `name` HAVING COUNT(*)>1) a)
     AND id NOT IN 
    (SELECT b.id FROM 
        (SELECT MIN(id) id FROM stu 
            GROUP BY `name` HAVING COUNT(*)>1) b);

还有简单办法算出去重后所有数据（保留最小ID），然后删除id不在该数组里的

 DELETE FROM stu WHERE id NOT IN (SELECT t.id FROM (SELECT MIN(id) AS id FROM stu GROUP BY `name`)t)

到此这篇关于SQL删除重复数据的文章就介绍到这了,更多相关SQL删除重复数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

MySQL 查询速度慢的原因
高性能MySQL需要合理的设计查询。如果查询写的很糟糕，即使表结构再合理、索引再合适，也是无法实现高性能的。
2021-05-05
一文带你玩转MySQL获取时间和格式转换各类操作方法详解
最近在开发中常常使用时间的转换函数,所以一直都想整理一下这些函数,下面这篇文章主要给大家介绍了关于MySQL获取时间和格式转换各类操作方法的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-08-08
宝塔面板mysql无法启动问题的分析和解决
在使用宝塔linux面板一键安装LNMP的是,数据库mysql始终无法启动,查查找找用了几个小时,问题终于解决了,下面这篇文章主要给大家介绍了关于宝塔面板mysql无法启动问题的分析和解决方法,需要的朋友可以参考下
2023-04-04
MySQL中SQL分页查询的几种实现方法及优缺点
这篇文章主要介绍了MySQL中SQL分页查询的几种实现方法及优缺点，分页查询就是在满足条件的一堆有序数据中截取当前所需要展示的那部分。对此感兴趣的可以来了解一下
2020-07-07
mytop 使用介绍 mysql实时监控工具
mytop 是一个类似 Linux 下的 top 命令风格的 MySQL 监控工具，可以监控当前的连接用户和正在执行的命令
2012-05-05
mysql设置某字段不能重复问题
这篇文章主要介绍了mysql设置某字段不能重复问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-08-08
MySQL 查看库中大表信息的几种方法
本文主要介绍了MySQL 查看库中大表的几种方法,为了识别可能影响数据库性能的表,下面主要了4种方式,具有一定的参考价值,感兴趣的可以了解一下
2024-04-04
浅谈MySQL安装starting the server失败的解决办法
如果电脑是不是第一次安装MySQL，一般会出现报错情况，starting the server失败，通常是因为上次安装的该软件未清除干净，本文就详细的介绍一下解决方法，感兴趣的可以了解一下
2021-09-09
SQL字符型字段按数字型字段排序实现方法
由于是按字母顺序排列，所以123排在了2的前面，显然不符合我们的要求，那么怎样才能按照我们预想的数字顺序排序呢
2013-03-03
MySQL计算连续3天登陆的用户
本文主要介绍了MySQL计算连续3天登陆的用户，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-05-05