很全面的MySQL处理重复数据代码

 更新时间:2020年09月01日 08:43:59   作者:码农教程  
这篇文章主要为大家详细介绍了MySQL处理重复数据的实现代码,如何防止数据表出现重复数据及如何删除数据表中的重复数据,感兴趣的小伙伴们可以参考一下

有些 MySQL 数据表中可能存在重复的记录,有些情况我们允许重复数据的存在,但有时候我们也需要删除这些重复的数据。

本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。

一、防止表中出现重复数据

你可以在MySQL数据表中设置指定的字段为 PRIMARY KEY(主键) 或者 UNIQUE(唯一) 索引来保证数据的唯一性。

让我们尝试一个实例:下表中无索引及主键,所以该表允许出现多条重复记录。

CREATE TABLE person_tbl
(
 first_name CHAR(20),
 last_name CHAR(20),
 sex CHAR(10)
);

如果你想设置表中字段first_name,last_name数据不能重复,你可以设置双主键模式来设置数据的唯一性, 如果你设置了双主键,那么那个键的默认值不能为NULL,可设置为NOT NULL。如下所示:

CREATE TABLE person_tbl
(
 first_name CHAR(20) NOT NULL,
 last_name CHAR(20) NOT NULL,
 sex CHAR(10),
 PRIMARY KEY (last_name, first_name)
);

如果我们设置了唯一索引,那么在插入重复数据时,SQL语句将无法执行成功,并抛出错。

INSERT IGNORE INTO与INSERT INTO的区别就是INSERT IGNORE会忽略数据库中已经存在的数据,如果数据库没有数据,就插入新的数据,如果有数据的话就跳过这条数据。这样就可以保留数据库中已经存在数据,达到在间隙中插入数据的目的。

以下实例使用了INSERT IGNORE INTO,执行后不会出错,也不会向数据表中插入重复数据:

mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
 -> VALUES( 'Jay', 'Thomas');
Query OK, 1 row affected (0.00 sec)
mysql> INSERT IGNORE INTO person_tbl (last_name, first_name)
 -> VALUES( 'Jay', 'Thomas');
Query OK, 0 rows affected (0.00 sec)

INSERT IGNORE INTO当插入数据时,在设置了记录的唯一性后,如果插入重复数据,将不返回错误,只以警告形式返回。 而REPLACE INTO into如果存在primary 或 unique相同的记录,则先删除掉。再插入新记录。

另一种设置数据的唯一性方法是添加一个UNIQUE索引,如下所示:

CREATE TABLE person_tbl
(
 first_name CHAR(20) NOT NULL,
 last_name CHAR(20) NOT NULL,
 sex CHAR(10)
 UNIQUE (last_name, first_name)
);

二、统计重复数据

以下我们将统计表中 first_name 和 last_name的重复记录数:

mysql> SELECT COUNT(*) as repetitions, last_name, first_name
 -> FROM person_tbl
 -> GROUP BY last_name, first_name
 -> HAVING repetitions > 1;

以上查询语句将返回 person_tbl 表中重复的记录数。 一般情况下,查询重复的值,请执行以下操作:

1、确定哪一列包含的值可能会重复。
2、在列选择列表使用COUNT(*)列出的那些列。
3、在GROUP BY子句中列出的列。
4、HAVING子句设置重复数大于1。 

三、过滤重复数据

如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

mysql> SELECT DISTINCT last_name, first_name
 -> FROM person_tbl
 -> ORDER BY last_name;

你也可以使用 GROUP BY 来读取数据表中不重复的数据:

mysql> SELECT last_name, first_name
 -> FROM person_tbl
 -> GROUP BY (last_name, first_name);
 

四、删除重复数据

如果你想删除数据表中的重复数据,你可以使用以下的SQL语句:

mysql> CREATE TABLE tmp SELECT last_name, first_name, sex
 ->     FROM person_tbl;
 ->     GROUP BY (last_name, first_name);
mysql> DROP TABLE person_tbl;
mysql> ALTER TABLE tmp RENAME TO person_tbl;

当然你也可以在数据表中添加 INDEX(索引) 和 PRIMAY KEY(主键)这种简单的方法来删除表中的重复记录。方法如下:

mysql> ALTER IGNORE TABLE person_tbl
 -> ADD PRIMARY KEY (last_name, first_name);

以上就是关于MySQL处理重复数据的全部内容,希望对大家的学习有所帮助。

相关文章

  • mysql查询获得两个时间的时间差方式

    mysql查询获得两个时间的时间差方式

    这篇文章主要介绍了mysql查询获得两个时间的时间差方式,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-05-05
  • mysql删除无用用户的方法实现

    mysql删除无用用户的方法实现

    本文主要介绍了mysql删除无用用户的方法实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2025-03-03
  • Workbench通过远程访问mysql数据库的方法详解

    Workbench通过远程访问mysql数据库的方法详解

    这篇文章主要给大家介绍了Workbench通过远程访问mysql数据库的相关资料,文中通过图文介绍的非常详细,对大家具有一定的参考学习价值,需要的朋友们下面来一起看看吧。
    2017-06-06
  • MySQL的下载、安装详细教程

    MySQL的下载、安装详细教程

    本文的主要目的是在 Windwos 上安装 MySQL,以下内容是源于 B站 - MySQL数据库入门到精通整理而来,需要的朋友可以参考下
    2023-06-06
  • MySQL 那些常见的错误设计规范,你都知道吗

    MySQL 那些常见的错误设计规范,你都知道吗

    今天来看一看 MySQL 设计规范中几个常见的错误例子,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧
    2021-07-07
  • sql面试题(查看数据中指定几行记录)

    sql面试题(查看数据中指定几行记录)

    一个不错的sql面试题,表 table1,主键为 ID,ID为自动编号(ID可能不连续),要求查询第31-40行记录,如何实现呢?感兴趣的朋友参考下
    2014-05-05
  • mysql 8.0.15 winx64压缩包安装配置方法图文教程

    mysql 8.0.15 winx64压缩包安装配置方法图文教程

    这篇文章主要为大家详细介绍了mysql 8.0.15 winx64压缩包安装配置方法图文教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-05-05
  • 设置和修改MySQL的root密码的详细教程

    设置和修改MySQL的root密码的详细教程

    在 MySQL 数据库的使用过程中,设置和修改 root 用户的密码是一项基本且重要的操作,root 用户拥有数据库的最高权限,因此确保其密码的安全性至关重要,本文将详细介绍在不同操作系统环境下设置和修改 MySQL root 密码的具体步骤,帮助你轻松掌握这一关键技能
    2025-05-05
  • MySQL 日期时间加减的示例代码

    MySQL 日期时间加减的示例代码

    本文主要介绍了MySQL日期时间加减,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-09-09
  • mysql不能启动报error2013错误的多种解决方案

    mysql不能启动报error2013错误的多种解决方案

    这篇文章主要介绍了mysql不能启动报error2013错误的多种解决方案,需要的朋友可以参考下
    2014-07-07

最新评论