MySQL去重的方法整理

更新时间：2017年07月04日 14:52:33 投稿：lqh

这篇文章主要介绍了MySQL去重的方法整理的相关资料,需要的朋友可以参考下

MySQL去重的方法整理

【初级】有极少的重复行

使用distinct查出来，然后手动一行一行删除。

【中级】按照单个字段的重复去重

例如：对id字段去重

使用方法：获取id的重复字段的值，利用相同id字段所在的行中，比较出数据不同的字段，删除除了最小（或最大）的字段所在的该行之外的所有重复的行。一般使用主键来比较，因为主键的值一定是唯一值，绝对不相同。

id  name

1    a

1    b

2    c

2    a

3    c

结果：

id  name

1    a 

2    a

操作：

delete from a_tmp 

where id in (select * from (select b.id from a_tmp b group by b.id having count(b.id) >1) bb) 

and name not in (select * from (select min(a.name) from a_tmp a GROUP BY a.id having count(a.id) >1) aa);

注意：

上述加粗并绿色的字，必须加别名，必须使用select * from (……)这样的格式，否则会报错：

[Err] 1093 - You can't specify target table 'a_tmp' for update in FROM clause

【高级】按多个字段的重复来去重

例如：对id，name相同的去重，即：对id，name都相同的算作重复行，对id相同而name不同的算作不重复行

使用方法：和单个字段相似，一般使用主键来比较，因为主键的值一定是唯一值。

id  name  rowid

1  a      1

1  a      2

1  b      3

2  b      4

2  b      5

3  c      6

3  d     7

结果：

id  name  rowid

1  a      1 

1  b      3

2  b      4

3  c      6

3  d     7

操作：

第一种：

delete from a_tmp 

where (id,name) in (select * from (select b.id,b.name from a_tmp b group by b.id,b.name having count(b.id) >1) bb) 

and rowid not in (select * from (select min(a.rowid) from a_tmp a group by a.id,a.name having count(a.id) >1) aa);

第二种：

将id和name字段的值连接起来插入到临时表中b_tmp，这样便可以使用【中级】的单字段的判断删除方法。

#将两字段连接的值，a_tmp表中唯一值的字段插入b_tmp表

insert into b_tmp 

 select concat(id,name),rowid from a_tmp;

#查出需要留下来的行

select id_name,max(rowid)

 from b_tmp 

 group by id_name

 having count(id_name)>1;

#使用【中级】的方法，或存储过程完成去重的工作

【终极】每行都有两份一样的数据

例如：

使用方法：对于整行的数据都一样，是没办法使用SQL语句删除的，因为没有可以使用的条件限制来留下一行删除所有与其相同的行。没有不同的字段可以自己创造不同的字段，即：添加一个字段，设为自增长，并设为主键，它会自动添加上值。

id  name

1   a

1   a

1   b

1   b

2   c

2   c

3   c

3   c

结果：

id  name   rowid

1   a       1

1   b       3

2   c       5

3   c       7

操作：

添加一个自增长的字段，并暂时设为主键。

使用上面【中级】和【高级】的方法操作。

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

您可能感兴趣的文章:

MySQL
去重

从MySQL全库备份中恢复某个库和某张表的方法
这篇文章主要介绍了从MySQL全库备份中恢复某个库和某张表的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-04-04
MySQL巧用sum、case和when优化统计查询
这篇文章主要给大家介绍了关于MySQL巧用sum、case和when优化统计查询的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-03-03
MySQL中的 DQL 聚合函数详解
SQL聚合函数是一组函数，用于计算并返回数据集的单个值，这些函数通常用于在SELECT语句中汇总数据，本文给大家介绍MySQL中的DQL聚合函数，感兴趣的朋友跟随小编一起看看吧
2023-07-07
关于mysql数据库连接编码问题
这篇文章主要介绍了关于mysql数据库连接编码问题,默认的编码和数据库表中的数据使用的编码是不一致的，如果是中文，那么在数据库中执行时已经是乱码了,需要的朋友可以参考下
2023-04-04
深入理解SQL的四种连接-左外连接、右外连接、内连接、全连接
本篇文章是对SQL中的四种连接-左外连接、右外连接、内连接、全连接进行了详细的分析介绍，需要的朋友参考下
2013-07-07
一文搞懂什么是MySQL前缀索引
所谓前缀索引，说白了就是对文本的前几个字符建立索引，有点类似于 Oracle 中对字段使用 Left 函数来建立函数索引，只不过 MySQL 的这个前缀索引在查询时是内部自动完成匹配的。本文将通过示例详细聊聊前缀索引，需要的可以参考一下
2022-09-09
mysql 登录时闪退的问题解决方法
这篇文章主要介绍了mysql 登录时闪退的问题解决方法的相关资料,mysql 出现闪退问题，很是棘手在做项目的时候，这里对解决这样的问题提供了解决方案，需要的朋友可以参考下
2016-11-11
Mysql开启慢SQL并分析原因
今天小编就为大家分享一篇关于Mysql开启慢SQL并分析原因，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
2019-04-04
mysql sql语句总结
mysql sql语句总结，都是一些比较实用简单的语句。一定要掌握的。
2009-11-11
MySQL连表查询的实现
在Mysql数据库中，表的连接操作是非常重要的，能够将不同的表结合在一起，实现更加丰富和复杂的查询操作，本文主要介绍了MySQL连表查询的实现，感兴趣的可以了解一下
2023-06-06