删除MySQL表中重复数据详解

更新时间：2023年06月15日 17:07:24 作者：我是一颗小虎牙_

这篇文章主要为大家介绍了删除MySQL表中重复数据详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

前言

一般我们将数据存储在MySQL数据库中，它允许我们存储重复的数据。但是往往重复的数据是作废的、没有用的数据，那么通常我们会使用数据库的唯一索引 unique 键作为限制。问题来了啊，我还没有创建唯一索引捏，数据就重复了（我就是忘了，怎么滴）。

那么如何在一个普通的数据库表中删除重复的数据呢？

那我用一个例子演示一下如何操作。。。

示例

创建示例数据表

CREATE TABLE `flow_card_renewal_comparing` (
  `id` bigint(11) NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `iccId` varchar(32) DEFAULT NULL COMMENT 'ICCID',
  `expireDate` date DEFAULT NULL COMMENT '到期日期',
  `result` int(5) DEFAULT NULL COMMENT '对比结果',
  `createTime` datetime DEFAULT NULL COMMENT '创建时间',
  `createBy` varchar(15) DEFAULT NULL COMMENT '创建人',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COMMENT='对比结果'

创建示例数据

INSERT INTO flow_card_renewal_comparing(iccId, expireDate, `result`, createTime, createBy) VALUES 
('TEST0000111100001330', '2023-02-14', 1, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001330', '2023-02-14', 1, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001330', '2023-02-14', 1, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001334', '2023-02-14', 3, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001335', '2023-02-14', 3, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001335', '2023-02-14', 3, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001335', '2023-02-14', 3, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001335', '2023-02-14', 3, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001340', '2023-02-14', 3, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001341', '2023-02-14', 3, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001342', '2023-02-14', 3, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001343', '2023-02-14', 3, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001343', '2023-02-14', 3, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001343', '2023-02-14', 2, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001343', '2023-02-14', 2, '2023-02-14 15:14:38', NULL), 
('TEST0000111100001343', '2023-02-14', 2, '2023-02-14 15:14:38', NULL);

创建数据如图

数据

现在，我们要根据主键 iccId 去重重复的数据，思路：

筛选出有重复的业务主键 iccId
查询出 1. 中最小的自增主键 id
令要删除的数据 iccId 控制在 1. 和不等于 2.中
同时删除空的业务主键数据

那么便有以下几个查询：

/*1、查询表中有重复数据的主键*/
select rd2.iccId from flow_card_renewal_comparing rd2 GROUP by rd2.iccId having count(rd2.iccId)>1
/*2、查询重复iccid中最小的id号*/
select min(id) from flow_card_renewal_comparing rd2 group by rd2.iccid having count(rd2.iccid)>1
/*3、要删除的重复数据*/
select
    *
from
    flow_card_renewal_comparing
where
    /*条件为不等于最小id的数据全删除*/
    id not in ( 
        select min(id) from flow_card_renewal_comparing rd2 group by rd2.iccid having count(rd2.iccid)>1 
    )
    and iccId in (
    /*查询有重复的iccid*/
        select rd2.iccId from flow_card_renewal_comparing rd2 GROUP by rd2.iccId having count(rd2.iccId)>1 
    )
/*4、再删除为空的数据*/
select
    *
from
    flow_card_renewal_comparing
where
    /*条件为不等于最小id的数据全删除*/
    id not in ( 
        select min(id) from flow_card_renewal_comparing rd2 group by rd2.iccid having count(rd2.iccid)>1 
    )
    and iccId in (
    /*查询有重复的iccid*/
        select rd2.iccId from flow_card_renewal_comparing rd2 GROUP by rd2.iccId having count(rd2.iccId)>1 
    )
    or iccId is null

注意一点是mysql做删除的时候会提示不能用查询的结果来做删除操作，这个时候就需要将查询的数据作为一个临时表，起别名进行删除啦。那么会变成这样：

成品

delete
from
    flow_card_renewal_comparing
where
    /*条件为不等于最小id的数据全删除*/
    id not in ( 
        select id from (select min(id) as id from flow_card_renewal_comparing group by iccid having count(iccid)&gt;1) temp1
    )
    and iccId in (
    /*查询有重复的iccid*/
        select iccId from (select iccId from flow_card_renewal_comparing GROUP by iccId having count(iccId)&gt;1 ) as temp2
    )
    or iccId is null

尾言

然后在这里再给数据库的主键设置唯一索引啦！

以上就是删除MySQL表中重复数据详解的详细内容，更多关于删除MySQL表重复数据的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

Mysql的root账户密码忘记了怎么解决(百分百教会你重置！)
mysql是常用的数据库,很多程序员在使用的过程中会出现root用户密码忘记的事情,这篇文章主要给大家介绍了关于Mysql的root账户密码忘记了该怎么解决的相关资料,文中介绍的方法百分百教会你如何重置,需要的朋友可以参考下
2024-05-05
MySQL存储引擎InnoDB架构原理和执行流程
InnoDB是MySQL的当前默认存储引擎,支持外键、行级锁定和ACID事务,通过BufferPool缓冲池缓存数据,RedoLogBuffer和undo日志文件保证数据的持久性和回滚能力,MySQL宕机重启时,InnoDB会根据LSN值决定是否需要从redo日志恢复数据
2025-04-04
MySQL数据库INNODB表损坏修复处理过程分享
突然收到MySQL报警，从库的数据库挂了，一直在不停的重启，打开错误日志，发现有张表坏了。innodb表损坏不能通过repair table 等修复myisam的命令操作。现在记录下解决过程
2013-08-08
MySQL通配符与正则表达式搜过滤数据详解
简单来说,正则表达式就是用来匹配文本的特殊字符串,下面这篇文章主要给大家介绍了关于MySQL通配符与正则表达式搜过滤数据的相关资料,文中通过实例代码以及图文介绍的非常详细,需要的朋友可以参考下
2022-09-09
mysql批量更新多条记录的同一个字段为不同值的方法
最近在工作的时候突然想到了一个问题，就是mysql如何才能实现批量更新多条记录的同一个字段为不同值，于是就动手实践起来了，发现其中的学问还是挺多的，所以想着就总结下来分享给大家，有需要的朋友们可以参考借鉴，下面来一起看看吧。
2016-12-12
mysql8报错:ERROR 1410 (42000): You are not allowed to
电脑新装的mysql,版本为8.0以上,分配权限时直接带密码和账号会报错,这篇文章主要给大家介绍了关于mysql8报错:ERROR 1410 (42000): You are not allowed to create a user with GRANT的解决办法,需要的朋友可以参考下
2022-06-06
解析MySQL中mysqldump工具的基本用法
本篇文章是对MySQL中mysqldump工具的基本用法进行了详细的分析介绍，需要的朋友参考下
2013-06-06
MySql中JOIN的用法示例详解
join顾名思义就是连接两张表，大致分为内连接，外连接，右连接，左连接，自然连接，今天通过本文给大家介绍MySql中JOIN的用法详解，感兴趣的朋友一起看看吧
2022-03-03
MySQL如何实现事务的ACID
这篇文章主要介绍了MySQL如何实现事务的四大特性，帮助大家更好的理解和学习MySQL数据库，感兴趣的朋友可以了解下
2020-09-09
MySQL的核心查询语句详解
这篇文章主要介绍了MySQL的核心查询语句详解,MySQL是一个流行的关系型数据库管理系统，可用于存储、管理和检索数据。它是一个独立的数据库服务器软件，可安装在计算机或服务器上,需要的朋友可以参考下
2023-07-07