数据库删除完全重复和部分关键字段重复的记录

 更新时间:2008年05月08日 22:19:14   作者:  
重复记录分为两种,第一种是完全重复的记录,也就是所有字段均重复的记录,第二种是部分关键字段重复的记录,例如Name字段重复,而其它字段不一定重复或都重复。
1、第一种重复很容易解决,不同数据库环境下方法相似: 

以下为引用的内容:
Mysql 

create table tmp select distinct * from tableName; 

drop table tableName; 

create table tableName select * from tmp; 

drop table tmp; 


SQL Server 

select distinct * into #Tmp from tableName; 

drop table tableName; 

select * into tableName from #Tmp; 

drop table #Tmp; 

Oracle 

create table tmp as select distinct * from tableName; 

drop table tableName; 

create table tableName as select * from tmp; 

drop table tmp; 



发生这种重复的原因是由于表设计不周而产生的,增加唯一索引列就可以解决此问题。 

2、此类重复问题通常要求保留重复记录中的第一条记录,操作方法如下。 假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集 

Mysql 

以下为引用的内容:
alter table tableName add autoID int auto_increment not null; 

create table tmp select min(autoID) as autoID from tableName group by Name,Address; 

create table tmp2 select tableName.* from tableName,tmp where tableName.autoID = tmp.autoID; 

drop table tableName; 

rename table tmp2 to tableName; 

SQL Server 

select identity(int,1,1) as autoID, * into #Tmp from tableName; 

select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,Address; 

drop table tableName; 

select * into tableName from #Tmp where autoID in(select autoID from #Tmp2); 

drop table #Tmp; 

drop table #Tmp2; 

Oracle 

DELETE FROM tableName t1 WHERE t1.ROWID > (SELECT MIN(t2.ROWID) FROM tableName t2 WHERE t2.Name = t1.Name and t2.Address = t1.Address); 

 


说明: 

1. MySQL和SQL Server中最后一个select得到了Name,Address不重复的结果集(多了一个autoID字段,在大家实际写时可以写在select子句中省去此列) 

2. 因为MySQL和SQL Server没有提供rowid机制,所以需要通过一个autoID列来实现行的唯一性,而利用Oracle的rowid处理就方便多了。而且使用ROWID是最高效的删除重复记录方法。

相关文章

  • 颜值与实用性并存的数据库建模工具Chiner教程

    颜值与实用性并存的数据库建模工具Chiner教程

    这篇文章主要为大家介绍了一款颜值与实用性并存的数据库建模工具Chiner,推荐大家使用,有需要的朋友可以共同学习参考下,希望能够有所帮助,祝大家多多进步
    2022-03-03
  • 使用DataGrip的详细教程

    使用DataGrip的详细教程

    这篇文章主要介绍了使用DataGrip的步骤详解,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2020-09-09
  • pymysql如何解决sql注入问题深入讲解

    pymysql如何解决sql注入问题深入讲解

    这篇文章主要给大家介绍了关于pymysql如何解决sql注入问题的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-01-01
  • DBeaver下载安装详细教程

    DBeaver下载安装详细教程

    DBeaver是数据库管理工具,如何下载安装,下面将详细介绍DBeaver下载安装详细教程,感兴趣的朋友跟随小编一起学习下吧
    2021-11-11
  • 数据库的四种隔离级别

    数据库的四种隔离级别

    今天小编就为大家分享一篇关于数据库的四种隔离级别,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
    2019-01-01
  • 建立在Tablestore的Wifi设备监管系统架构实现

    建立在Tablestore的Wifi设备监管系统架构实现

    一般大公司会有许多园区,园区内会有不同部门的同事在一起办公。每个园区内都要配备大量的Wifi设备从而为园区同事提供方便的上网服务。因此,集团需要一套完善的监管系统维护所有的Wifi设备。需要的朋友来一起学习下吧
    2019-05-05
  • 数据库设计的完整性约束表现在哪些方面

    数据库设计的完整性约束表现在哪些方面

    数据完整性是指数据的正确性、完备性和一致性,是衡量数据库质量好坏的规范。数据库完整性由各式各样的完整性约束来确保,因而可以说数据库完整性规划即是数据库完整性约束的规划。那么,数据库设计的完整性约束表现哪些方面?
    2015-10-10
  • sql注入报错之注入原理实例解析

    sql注入报错之注入原理实例解析

    所谓报错注入,就是通过运行SQL查询语句回显查询结果,下面这篇文章主要给大家介绍了关于sql注入报错之注入原理的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-06-06
  • hive内部表和外部表的区别详解

    hive内部表和外部表的区别详解

    Hive内部表:默认创建的表是内部表,Hive外部表:外部表的数据不是Hive拥有或者管理的,只管理元数据的声明周期,本文详细介绍了hive内部表和外部表的区别,感兴趣的小伙伴可以参考阅读
    2023-04-04
  • 简单聊一聊SQL注入及防止SQL注入

    简单聊一聊SQL注入及防止SQL注入

    众所周知SQL注入是比较常见的网络攻击方式之一,它不是利用操作系统的BUG来实现攻击,而是针对程序员编程时的疏忽,通过SQL语句,实现无帐号登录,下面这篇文章主要给大家介绍了关于SQL注入及防止SQL注入的相关资料,需要的朋友可以参考下
    2022-03-03

最新评论