MySQL处理重复数据的方法

更新时间：2016年02月22日 15:15:28 投稿：lijiao

这篇文章主要介绍了MySQL处理重复数据的方法，处理重复数据包括防止表中出现重复数据、统计重复数据、过滤删除重复数据，感兴趣的小伙伴们可以参考一下

有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。
本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。
防止表中出现重复数据

你可以在MySQL数据表中设置指定的字段为 PRIMARY KEY（主键）或者 UNIQUE（唯一）索引来保证数据的唯一性。
让我们尝试一个实例：下表中无索引及主键，所以该表允许出现多条重复记录。

CREATE TABLE person_tbl
(
  first_name CHAR(20),
  last_name CHAR(20),
  sex CHAR(10)
);

如果你想设置表中字段first_name，last_name数据不能重复，你可以设置双主键模式来设置数据的唯一性，如果你设置了双主键，那么那个键的默认值不能为NULL，可设置为NOT NULL。如下所示：

CREATE TABLE person_tbl
(
  first_name CHAR(20) NOT NULL,
  last_name CHAR(20) NOT NULL,
  sex CHAR(10),
  PRIMARY KEY (last_name, first_name)
);

如果我们设置了唯一索引，那么在插入重复数据时，SQL语句将无法执行成功,并抛出错。
INSERT IGNORE INTO与INSERT INTO的区别就是INSERT IGNORE会忽略数据库中已经存在的数据，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据。这样就可以保留数据库中已经存在数据，达到在间隙中插入数据的目的。
以下实例使用了INSERT IGNORE INTO，执行后不会出错，也不会向数据表中插入重复数据：

mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
  -> VALUES( 'Jay', 'Thomas');
Query OK, 1 row affected (0.00 sec)
mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
  -> VALUES( 'Jay', 'Thomas');
Query OK, 0 rows affected (0.00 sec)

INSERT IGNORE INTO当插入数据时，在设置了记录的唯一性后，如果插入重复数据，将不返回错误，只以警告形式返回。而REPLACE INTO into如果存在primary 或 unique相同的记录，则先删除掉。再插入新记录。
另一种设置数据的唯一性方法是添加一个UNIQUE索引，如下所示：

CREATE TABLE person_tbl
(
  first_name CHAR(20) NOT NULL,
  last_name CHAR(20) NOT NULL,
  sex CHAR(10)
  UNIQUE (last_name, first_name)
);

统计重复数据

以下我们将统计表中 first_name 和 last_name的重复记录数：

mysql> SELECT COUNT(*) as repetitions, last_name, first_name
  -> FROM person_tbl
  -> GROUP BY last_name, first_name
  -> HAVING repetitions > 1;

以上查询语句将返回 person_tbl 表中重复的记录数。一般情况下，查询重复的值，请执行以下操作：
确定哪一列包含的值可能会重复。
在列选择列表使用COUNT(*)列出的那些列。
在GROUP BY子句中列出的列。
HAVING子句设置重复数大于1。
过滤重复数据

如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

mysql> SELECT DISTINCT last_name, first_name
  -> FROM person_tbl
  -> ORDER BY last_name;

你也可以使用 GROUP BY 来读取数据表中不重复的数据：

mysql> SELECT last_name, first_name
  -> FROM person_tbl
  -> GROUP BY (last_name, first_name);

删除重复数据

如果你想删除数据表中的重复数据，你可以使用以下的SQL语句：

mysql> CREATE TABLE tmp SELECT last_name, first_name, sex
  ->         FROM person_tbl;
  ->         GROUP BY (last_name, first_name);
mysql> DROP TABLE person_tbl;
mysql> ALTER TABLE tmp RENAME TO person_tbl;

当然你也可以在数据表中添加 INDEX（索引）和 PRIMAY KEY（主键）这种简单的方法来删除表中的重复记录。方法如下：

mysql> ALTER IGNORE TABLE person_tbl
  -> ADD PRIMARY KEY (last_name, first_name);

以上就是MySQL处理重复数据的相关资料，希望对大家的学习有所帮助。

您可能感兴趣的文章:

详解MySQL安装及MySQL8.0新密码认证方式
这篇文章主要介绍了详解MySQL安装及MySQL8.0新密码认证方式，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-09-09
MySQL主键约束和外键约束详解
主键约束，说白了就是 not null + unique，主键也是在插入数据的时候先进行查询，而 MySQL 则会对 unique，primary key 这样的列自动的添加索引(后续介绍)，来提高查询的效率，这篇文章主要介绍了MySQL主键约束和外键约束,需要的朋友可以参考下
2023-03-03
给mysql数据库的字段设默认值方式
这篇文章主要介绍了给mysql数据库的字段设默认值方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-10-10
linux mysql5.6版本的安装配置过程
mysql官网开始发布相关的5.6系列的各个版本，对于mysql5.6系列的版本对一起的版本进行了全局性的细节性加强
2013-06-06
MySQL计划任务(事件调度器) Event Scheduler介绍
MySQL5.1.x版本中引入了一项新特性EVENT，顾名思义就是事件、定时任务机制，在指定的时间单元内执行特定的任务，因此今后一些对数据定时性操作不再依赖外部程序，而直接使用数据库本身提供的功能
2013-10-10
关于数据库连接池Druid使用说明
这篇文章主要介绍了关于数据库连接池Druid使用说明，涉及Druid 参数和运行原理等等相关内容，小编觉得挺不错的，在这里给大家分享一下。
2017-10-10
在Centos7环境安装MySQL超详细教程
MySQL是一种开源的关系型数据库管理系统(RDBMS),它是目前最流行和广泛使用的数据库之一,这篇文章主要给大家介绍了关于在Centos7环境安装MySQL的相关资料,需要的朋友可以参考下
2023-11-11
清理Mysql general_log的方法总结
在本篇文章里小编给大家分享的是一篇关于清理Mysql general_log的相关知识点，需要的朋友们学习下。
2019-10-10
MySQL的表级锁,行级锁,排它锁和共享锁
这篇文章主要介绍了MySQL的表级锁,行级锁,排它锁和共享锁，事务隔离级别越高，为避免冲突所花费的性能也就越多，即效率低,更多相关内容需要的小伙伴可以参考与一下
2022-07-07
MySQL中使用innobackupex、xtrabackup进行大数据的备份和还原教程
这篇文章主要介绍了MySQL中使用innobackupex、xtrabackup进行大数据的备份和还原教程,xtrabackup用来对超过10G数据的Mysql进行备份和还原任务,需要的朋友可以参考下
2014-09-09