脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Mysql → MySQL多字段相同数据去重复

MySQL中的多字段相同数据去重复

 更新时间：2022年12月21日 15:59:29   作者：嗨皮螃  
这篇文章主要介绍了MySQL中的多字段相同数据去重复问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

MySQL多字段相同数据去重复

MySQL多字段去重复实际上是单字段去重复的衍生，原理就是把多字段数据通过子查询合并为单字段的数据表，再通过单字段数据group by 进行汇总，用 having把 count(字段) > 1的数据都显示出来，最后把查找到的重复数据 用min方法或者max方法获取最小id或者最大id来选择删除。

1、多字段转单字段

这里需要把id显示出来，后面有用到

SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url

2、把多字段合并为单字段

的查询结果放入子查询，查找存在重复的数据，并显示重复数

SELECT COUNT(a.id),a.uuid FROM (
    SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url
) a GROUP BY a.uuid HAVING COUNT(a.id) > 1

3、将查询到的重复id

来获取重复数据里最小的id

SELECT min(a.id) FROM (

     SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url

) a GROUP BY a.uuid HAVING COUNT(a.id) > 1

4、将获取到重复数据最小的id值

放入 IN内作为删除数据的条件

DELETE FROM static_url WHERE id IN(

    SELECT min(a.id) FROM (

        SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url

    ) a GROUP BY a.uuid HAVING COUNT(a.id) > 1

)

5、bug补充

如果直接执行步骤4的代码时，MySQL会卡住，会卡住，卡住，住！

虽然逻辑上来说没问题，但执行的时候嵌套过多子查询，就会出现问题，所以要把子查询数据拎出来再放入删除语句内

DELETE FROM static_url WHERE id IN(

   91383,26240,26256,26269,26129,26108,26029,26067,26095,26309,26595,51805,37459,32493,32417

)

6、将步骤4的代码多执行几次

直到执行结果显示没有删除到数据的时候才停止，因为重复数据不一定只重复一次，很可能重复好几次，每一次执行只能删除重复数据的最小id，不是只保留最大id  

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • MySQL报错1118,数据类型长度过长问题及解决

    MySQL报错1118,数据类型长度过长问题及解决

    在使用MySQL过程中,常见的一个问题是报错1118,这通常发生在创建表时,错误提示为“Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. This includes storage overhead, check the manual
    2024-10-10
  • MySQL数据库手册DATABASE操作与编码(小白入门篇)

    MySQL数据库手册DATABASE操作与编码(小白入门篇)

    这篇文章主要介绍了MySQL数据库手册DATABASE操作与编码的小白入门篇,有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-05-05
  • MySQL实现列转行与行转列的操作代码

    MySQL实现列转行与行转列的操作代码

    在处理数据时,我们常常会遇到需要将表中的列（字段）转换为行,或将行转换为列的情况,这种操作通常被称为“列转行”（Pivoting）和“行转列”（Unpivoting）,本文将向您介绍如何使用 CASE 语句、聚合函数以及 GROUP BY 子句来完成列转行和行转列的操作
    2024-09-09
  • DBA应该知道的一些关于SQL Server跟踪标记的使用

    DBA应该知道的一些关于SQL Server跟踪标记的使用

    本篇文章小编为大家介绍，DBA应该知道的一些关于SQL Server跟踪标记的使用。需要的朋友参考下
    2013-04-04
  • MySQL的多版本并发控制MVCC的实现

    MySQL的多版本并发控制MVCC的实现

    MVCC就是多版本并发控制，本文主要介绍了MySQL的多版本并发控制MVCC的实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2021-12-12
  • MySQL实现类似Oracle序列的方案

    MySQL实现类似Oracle序列的方案

    今天小编就为大家分享一篇关于MySQL实现类似Oracle序列的方案，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
    2019-03-03
  • MySQL中大对象的多版本并发控制详解

    MySQL中大对象的多版本并发控制详解

    这篇文章主要给大家介绍了关于MySQL中大对象的多版本并发控制的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用mysql具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2018-11-11
  • MySQL CPU过高的排查方法

    MySQL CPU过高的排查方法

    这篇文章主要介绍了MySQL CPU过高的排查方法,通过top命令查看服务器CPU资源使用情况,明确CPU占用率较高的是否是mysqld进程,文章通过图文介绍的非常详细,需要的朋友可以参考下
    2023-11-11
  • MySQL 日期时间格式化函数 DATE_FORMAT() 的使用示例详解

    MySQL 日期时间格式化函数 DATE_FORMAT() 的使用示例详解

    `DATE_FORMAT()`是MySQL中用于格式化日期时间的函数,本文详细介绍了其语法、格式化字符串的含义以及常见日期时间格式组合,感兴趣的朋友一起看看吧
    2025-03-03
  • mysql添加索引和不添加索引的区别及说明

    mysql添加索引和不添加索引的区别及说明

    这篇文章主要介绍了mysql添加索引和不添加索引的区别及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-01-01

最新评论