MySQL中的多字段相同数据去重复

更新时间：2022年12月21日 15:59:29 作者：嗨皮螃

这篇文章主要介绍了MySQL中的多字段相同数据去重复问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

MySQL多字段相同数据去重复

MySQL多字段去重复实际上是单字段去重复的衍生，原理就是把多字段数据通过子查询合并为单字段的数据表，再通过单字段数据group by 进行汇总，用 having把 count(字段) > 1的数据都显示出来，最后把查找到的重复数据用min方法或者max方法获取最小id或者最大id来选择删除。

1、多字段转单字段

这里需要把id显示出来，后面有用到

SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url

2、把多字段合并为单字段

的查询结果放入子查询，查找存在重复的数据，并显示重复数

SELECT COUNT(a.id),a.uuid FROM (
    SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url
) a GROUP BY a.uuid HAVING COUNT(a.id) > 1

3、将查询到的重复id

来获取重复数据里最小的id

SELECT min(a.id) FROM (

     SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url

) a GROUP BY a.uuid HAVING COUNT(a.id) > 1

4、将获取到重复数据最小的id值

放入 IN内作为删除数据的条件

DELETE FROM static_url WHERE id IN(

    SELECT min(a.id) FROM (

        SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url

    ) a GROUP BY a.uuid HAVING COUNT(a.id) > 1

)

5、bug补充

如果直接执行步骤4的代码时，MySQL会卡住，会卡住，卡住，住！

虽然逻辑上来说没问题，但执行的时候嵌套过多子查询，就会出现问题，所以要把子查询数据拎出来再放入删除语句内

DELETE FROM static_url WHERE id IN(

   91383,26240,26256,26269,26129,26108,26029,26067,26095,26309,26595,51805,37459,32493,32417

)

6、将步骤4的代码多执行几次

直到执行结果显示没有删除到数据的时候才停止，因为重复数据不一定只重复一次，很可能重复好几次，每一次执行只能删除重复数据的最小id，不是只保留最大id

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

使用prometheus统计MySQL自增主键的剩余可用百分比
这篇文章主要介绍了使用prometheus统计MySQL自增主键的剩余可用百分比，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-04-04
MySQL实现批量更新不同表中的数据
这篇文章主要介绍了MySQL实现批量更新不同表中的数据，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-05-05
mysql数据库备份命令分享(mysql压缩数据库备份)
这篇文章主要介绍了mysql数据库备份常用语句，包括数据库压缩备份、备份多个MySQL数据库、备份多个MySQL数据库、将数据库转移到新服务器等语句
2014-01-01
简单讲解MySQL中的多源复制
这篇文章主要介绍了简单讲解MySQL中的多源复制,多源复制功能自从5.7.2版本以后被加入MySQL,需要的朋友可以参考下
2015-04-04
千万级用户系统SQL调优实战分享
这篇文章主要介绍了千万级用户系统SQL调优实战分享，用户日活百万级，注册用户千万级，而且若还没有进行分库分表，则该DB里的用户表可能就一张，单表上千万的用户数据，下面我们就来学习如何让优化,需要的朋友可以参考一下
2022-03-03
mysql中text,longtext,mediumtext区别小结
在 MySQL 中,text、mediumtext 和 longtext 都是用来存储大量文本数据的数据类型,本文就来详细的介绍一下这三种类型的区别,具有一定的参考价值,感兴趣的可以了解一下
2023-12-12
Mysql调优Explain工具详解及实战演练(推荐)
这篇文章主要介绍了Mysql调优Explain工具详解及实战演练,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2021-03-03
一步步教你MySQL查询优化分析教程
这篇文章主要给大家介绍了关于MySQL查询优化分析的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用MySQL具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2019-11-11
mysql实现多表关联统计(子查询统计)示例
这篇文章主要介绍了mysql实现多表关联统计(子查询统计),结合具体案例形式分析了mysql多表关联统计的原理、实现方法及相关操作注意事项,需要的朋友可以参考下
2019-10-10
mysql 8.0.18 安装配置方法图文教程
这篇文章主要为大家详细介绍了mysql 8.0.18 安装配置方法图文教程，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2019-10-10