MySQL中删除重复数据的简单方法
更新时间：2015年05月30日 11:08:24 投稿：goldensun
这篇文章主要介绍了MySQL中删除重复数据的简单方法,比起一般的NOT IN语句的效率更为高,需要的朋友可以参考下
MYSQL里有五百万数据，但大多是重复的，真实的就180万，于是想怎样把这些重复的数据搞出来，在网上找了一圈，好多是用NOT IN这样的代码，这样效率很低，自己琢磨组合了一下，找到一个高效的处理方式，用这个方式，五百万数据，十来分钟就全部去除重复了，请各位参考。
第一步：从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表
create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;
第二步：创建新表RES
CREATE TABLE `res` ( `id` int(11), `sfz` char(20) ) ENGINE=MyISAM;
第三步：把TMP3表ID对应到data_content_152里需要提取的数据添加到RES表的SFZ字段
INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1
至此，就在MYSQL里实现了，给数据表data_content_152完全删除重复数据，把去重复后的数据导入到RES表。
相关文章
MySQL利用profile分析慢sql详解（group left join效率高于子查询）
最近因为一个用了子查询的sql语句查询很慢，严重影响了性能，所以需要进行优化，下面这篇文章主要跟大家介绍了关于MySQL利用profile分析慢sql的相关资料，文中介绍的非常详细，需要的朋友们可以参考借鉴，下面来一起看看吧。2017-03-03
在MySQL数据库中,IF 语句是一种常见的条件控制语句,本文介绍了 MySQL 中 IF 语句的基本用法以及实际应用场景,具有一定的参考价值,感兴趣的可以了解一下2023-10-10
在本篇文章里小编给大家分享的是一篇关于清理Mysql general_log的相关知识点，需要的朋友们学习下。2019-10-10
这篇文章主要介绍了MySQL行级锁、表级锁、页级锁详细介绍,同时列举了一些实例说明,需要的朋友可以参考下2014-05-05
这篇文章主要介绍了MySQL中查询日志与慢查询日志的基本学习教程,文中还提到了MySQL自带的Mysqldumpslow日志分析工具的使用,需要的朋友可以参考下2015-12-12
解决MySQL数据库意外崩溃导致表数据文件损坏无法启动的问题
这篇文章主要介绍了MySQL数据库意外崩溃导致表数据文件损坏无法启动的问题及解决方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-07-07
windows10+mysql8.0.11zip安装教程详解
这篇文章主要介绍了windows10+mysql8.0.11zip安装教程详解，本文给大家介绍的非常详细，具有参考借鉴价值,需要的朋友可以参考下2018-05-05
这篇文章主要介绍了mysql序号rownum行号实现方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
Windows安装MySQL8.0.28.0.msi方式(图文详解)
这篇文章主要介绍了Windows安装MySQL8.0.28.0.msi,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-03-03
这篇文章主要为大家介绍了MYSQL表中某字段所有值大小写转换示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-09-09
最新评论