脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → MsSql → sql删除重复数据

sql删除重复数据的详细方法

 更新时间：2013年05月29日 19:02:49   作者：  
重复数据，通常有两种：一是完全重复的记录，也就是所有字段的值都一样；二是部分字段值重复的记录

一. 删除完全重复的记录

完全重复的数据，通常是由于没有设置主键/唯一键约束导致的。
测试数据：

复制代码 代码如下:

if OBJECT_ID('duplicate_all') is not null
drop table duplicate_all
GO
create table duplicate_all
(
c1 int,
c2 int,
c3 varchar(100)
)
GO
insert into duplicate_all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 2,200,'bbb' union all
select 3,300,'ccc' union all
select 4,400,'ddd' union all
select 5,500,'eee'
GO

(1) 借助临时表

利用DISTINCT得到单条记录，删除源数据，然后导回不重复记录。
如果表不大的话，可以把所有记录导出一次，然后truncate表后再导回，这样可以避免delete的日志操作。

复制代码 代码如下:

if OBJECT_ID('tempdb..#tmp') is not null
drop table #tmp
GO
select distinct * into #tmp
from duplicate_all
where c1 = 1
GO
delete duplicate_all where c1 = 1
GO
insert into duplicate_all
select * from #tmp

(2) 使用ROW_NUMBER
复制代码 代码如下:

with tmp
as
(
select *,ROW_NUMBER() OVER(PARTITION BY c1,c2,c3 ORDER BY(getdate())) as num
from duplicate_all
where c1 = 1
)
delete tmp where num > 1

如果多个表有完全重复的行，可以考虑通过UNION将多个表联合，插到一个新的同结构的表，SQL Server会帮助去掉表和表之间的重复行。

二. 删除部分重复的记录

部分列重复的数据，通常表上是有主键的，可能是程序逻辑造成了多行数据列值的重复。
测试数据：

复制代码 代码如下:

if OBJECT_ID('duplicate_col') is not null
drop table duplicate_col
GO
create table duplicate_col
(
c1 int primary key,
c2 int,
c3 varchar(100)
)
GO
insert into duplicate_col
select 1,100,'aaa' union all
select 2,100,'aaa' union all
select 3,100,'aaa' union all
select 4,100,'aaa' union all
select 5,500,'eee'
GO

(1) 唯一索引

唯一索引有个忽略重复建的选项，在创建主键约束/唯一键约束时都可以使用这个索引选项。

复制代码 代码如下:

if OBJECT_ID('tmp') is not null
drop table tmp
GO
create table tmp
(
c1 int,
c2 int,
c3 varchar(100),
constraint UQ_01 unique(c2,c3) with(IGNORE_DUP_KEY = ON)
)
GO
insert into tmp
select * from duplicate_col
select * from tmp

(2) 借助主键/唯一键来删除
通常会选择主键/唯一键的最大/最小值保留，其他行删除。以下只保留重复记录中c1最小的行。
复制代码 代码如下:

delete from duplicate_col
where exists(select 1 from duplicate_col b where duplicate_col.c1 > b.c1 and (duplicate_col.c2 = b.c2 and duplicate_col.c3 = b.c3))

--或者
复制代码 代码如下:

delete from duplicate_col
where c1 not in (select min(c1) from duplicate_col group by c2,c3)

如果要保留重复记录中的第N行，可以参考05.取分组中的某几行。
(3) ROW_NUMBER
和删除完全重复记录的写法基本一样。
复制代码 代码如下:

with tmp
as
(
select *,ROW_NUMBER() OVER(PARTITION BY c2,c3 ORDER BY(getdate())) as num
from duplicate_col
)
delete tmp where num > 1
select * from duplicate_col


SQL删除重复数据只保留一条 （下面的代码，很多网友反馈错误，大家多测试）

用SQL语句,删除掉重复项只保留一条
在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢
1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断
select * from people
where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)
2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录
delete from people
where   peopleName in (select peopleName    from people group by peopleName      having count(peopleName) > 1)
and   peopleId not in (select min(peopleId) from people group by peopleName     having count(peopleName)>1)
3、查找表中多余的重复记录（多个字段）
select * from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录
delete from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)
5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录
select * from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)  
6.消除一个字段的左边的第一位：
update tableName set [Title]=Right([Title],(len([Title])-1)) where Title like '村%'
7.消除一个字段的右边的第一位：
update tableName set [Title]=left([Title],(len([Title])-1)) where Title like '%村'
8.假删除表中多余的重复记录（多个字段），不包含rowid最小的记录
update vitae set ispass=-1
where peopleId in (select peopleId from vitae group by peopleId

您可能感兴趣的文章:

相关文章

  • SQL Server中的执行引擎入门 图解

    SQL Server中的执行引擎入门 图解

    当查询优化器(Query Optimizer)将T-SQL语句解析后并从执行计划中选择最低消耗的执行计划后，具体的执行就会交由执行引擎(Execution Engine)来进行执行
    2012-05-05
  • SQL LOADER错误小结

    SQL LOADER错误小结

    在使用SQL*LOADER装载数据时，由于平面文件的多样化和数据格式问题总会遇到形形色色的一些小问题，下面是小编抽时间整理的一些错误，感兴趣的朋友一起学习吧
    2015-12-12
  • SQL中concat和substr组合运用解析

    SQL中concat和substr组合运用解析

    这篇文章主要介绍了SQL中concat和substr组合运用,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2022-08-08
  • VS2022与SQL server数据库连接与访问方法操作

    VS2022与SQL server数据库连接与访问方法操作

    在学习过程中我们常常需要连接数据库对大量的数据进行管理,下面这篇文章主要给大家介绍了关于VS2022与SQL server数据库连接与访问的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2024-01-01
  • SQL Server创建用户定义函数

    SQL Server创建用户定义函数

    这篇文章介绍了SQL Server创建用户定义函数的方法，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
    2022-05-05
  • SQL效率提升之一些SQL编写建议并有效利用索引

    SQL效率提升之一些SQL编写建议并有效利用索引

    如何编写SQL语句也是影响索引性能的一个重要方面，下面有几点需要特别留意
    2010-04-04
  • Spark SQL的整体实现逻辑解析

    Spark SQL的整体实现逻辑解析

    使用sparkSQL是为了解决一般用sql不能解决的复杂逻辑，使用编程语言的优势来解决问题，今天通过本文给大家分享Spark SQL的整体实现逻辑，需要的朋友参考下吧
    2021-07-07
  • uniqueidentifier转换成varchar数据类型的sql语句

    uniqueidentifier转换成varchar数据类型的sql语句

    uniqueidentifier转换成varchar数据类型的sql语句，需要的朋友可以参考下。
    2011-09-09
  • 自动备份mssql server数据库并压缩的批处理脚本

    自动备份mssql server数据库并压缩的批处理脚本

    windows下，使用mssql命令行工具sqlcmd备份数据库，并调用rar压缩；不借助mssql"维护计划"功能，拜托权限问题。
    2011-07-07
  • MSSQL 监控数据/日志文件增长实现方法

    MSSQL 监控数据/日志文件增长实现方法

    今天就想实现这么一个功能，每天（频率可以调整）去收集一下数据文件的信息，放到一个表里面，这样方便我们分析数据文件的增长演变例程，甚至你可以将数据文件的增长幅度和业务变化关联起来分析
    2013-08-08

最新评论