MySQL 去除重复数据实例详解
更新时间：2017年06月27日 11:43:39 投稿：lqh
这篇文章主要介绍了MySQL 去除重复数据实例详解的相关资料,需要的朋友可以参考下
MySQL 去除重复数据实例详解
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均都重复，二是部分字段重复的记录。对于第一种重复，比较容易解决，只需在查询语句中使用distinct关键字去重，几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周，通过给表增加主键或唯一索引列即可避免。
select distinct * from t;
对于第二类重复问题，通常要求查询出重复记录中的任一条记录。假设表t有id,name,address三个字段，id是主键，有重复的字段为name,address，要求得到这两个字段唯一的结果集。
-- Oracle、MySQL，使用相关子查询
select * from t t1 where t1.id = (select min(t2.id) from t t2 where t1.name = t2.name and t1.address = t2.address);
-- Hive只支持在FROM子句中使用子查询，子查询必须有名字，并且列必须唯一
select t1.* from t t1, (select name, address, min(id) id from t group by name, address) t2 where t1.id = t2.id;
-- 还可以使用hive的row_number()分析函数
select t.id, t.name, t.address
from (select id, name, address,
row_number() over (distribute by name, address sort by id) as rn
from t) t
where t.rn=1;
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！
相关文章
这篇文章主要介绍了修改MySQL8.0 默认的数据目录(快捷操作无配置)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-11-11
SQLServer数据库死锁是指在多个事务同时访问数据库资源时,发生了互相等待对方所持有资源的情况,导致所有事务无法继续执行的现象,这篇文章主要给大家介绍了关于MySQL判断查询条件是否包含某字符串的7种方式,需要的朋友可以参考下2024-07-07
MySQL不允许远程连接的问题通常可以通过配置用户权限、修改MySQL配置文件以及调整系统防火墙设置来解决,这篇文章主要介绍了远程无法连接Linux上MySQL的问题解决办法,需要的朋友可以参考下2025-09-09
这篇文章主要为大家介绍了MySQL运维实战使用RPM进行安装部署实现示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-12-12
MySQL字符串拼接可以使多个字段的值组成一个集合,不仅可以拼接字符串与字符串、空格、特殊符号甚至可以拼接中文文本,下面这篇文章主要给大家介绍了关于mysql字符串拼接的4种方式,需要的朋友可以参考下2023-02-02
这篇文章主要为大家分享了mysql 5.7.14安装配置方法图文教程,感兴趣的朋友可以参考一下2016-08-08
有很多应用项目, 刚起步的时候用MySQL数据库基本上能实现各种功能需求，随着应用用户的增多，数据量的增加，MySQL渐渐地出现不堪重负的情况：连接很慢甚至宕机，于是就有MySQL转换Oracle的需求，应用程序也要相应做一些修改。2010-12-12
这篇文章主要介绍了Mysql配置主从复制-GTID模式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-04-04
这篇文章主要介绍了Mysql TIMESTAMPDIFF函数示例详解,TIMESTAMPDIFF函数返回datetime_expr2 - datetime_expr1的结果，其中datetime_expr1和datetime_expr2可以是DATE或DATETIME类型值，本文给大家详细讲解，需要的朋友可以参考下2023-03-03
以前备份binlog时，都是先在本地进行备份压缩，然后发送到远程服务器中，但是这种备份方式非常的不安全，下面通过本文给大家介绍MySQL binlog 远程备份的方法，需要的朋友一起学习吧2016-05-05
最新评论