MySQL数据表合并去重的简单实现方法

 更新时间:2019年05月28日 11:38:51   作者:aleo  
这篇文章主要给大家介绍了关于MySQL数据表合并去重的简单实现方法,文中通过示例代码介绍的非常详细,对大家学习或者使用MySQL具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧

场景:

爬取的数据生成数据表,结构与另一个主表相同,需要进行合并+去重

解决:(直接举例)

首先创建两个表pep,pep2,其中pep是主表

CREATE TABLE IF NOT EXISTS `pep/pep2`(
`id` INT UNSIGNED AUTO_INCREMENT,
`no` VARCHAR(100) NOT NULL,
PRIMARY KEY ( `id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

然后向pep中插入两条数据,pep2中插入一条与pep中相同的一条数据

insert into pep(no) values('abc');
insert into pep(no) values('caa');

insert into pep2(no) values('abc');

将pep2的数据插入pep中

insert into pep (no) select no from pep2;

分组去重创建新的临时表tmp

create table tmp select id,no from pep group by no;

注意:创建完这个表的id字段类型已经不是主键自增

 可能也会报错
 ```Syntax error or access violation: 1055 Expression #1 of SELECT 
 list is not in GROUP BY clause and contains nonaggregated 
 column 'XXX.Y.ZZZZ' which is not functionally dependent on 
 columns in GROUP BY clause; this is incompatible with
 sql_mode=only_full_group_by
 ```
 解决:执行以下两个命令:
 ```
 mysql> set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 
 mysql> set session sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';
 ```

删除pep表,并将tmp表重命名为pep

drop table pep;
alter table tmp rename to pep;

查看desc结构和select * from pep发现id的字段类型变了,这里需要改回原来的类型;

alter table pep add primary key (id);
alter table pep modify id int auto_increment;

还有可以使用join来做去重,更快的还可以添加一个字段(可以是几个字段+起来的的md5值),给这个字段创建一个唯一索引unique,以后插入数据的时候,自动回过滤掉重复的数据。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。

相关文章

  • MySQL 5.7.14 net start mysql 服务无法启动-“NET HELPMSG 3534” 的奇怪问题

    MySQL 5.7.14 net start mysql 服务无法启动-“NET HELPMSG 3534” 的奇怪问题

    这篇文章主要介绍了MySQL 5.7.14 net start mysql 服务无法启动-“NET HELPMSG 3534” 的奇怪问题,需要的朋友可以参考下
    2016-12-12
  • MySQL 撤销日志与重做日志(Undo Log与Redo Log)相关总结

    MySQL 撤销日志与重做日志(Undo Log与Redo Log)相关总结

    这篇文章主要介绍了MySQL 撤销日志与重做日志(Undo Log与Redo Log)相关总结,帮助大家更好的理解和学习使用MySQL,感兴趣的朋友可以了解下
    2021-03-03
  • 彻底搞懂MySQL存储过程和函数

    彻底搞懂MySQL存储过程和函数

    我们大家都知道MySQL 存储过程是从 MySQL 5.0 开始逐渐增加新的功能,下面这篇文章主要给大家介绍了关于MySQL存储过程和函数的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-04-04
  • mysql通过find_in_set()函数实现where in()顺序排序

    mysql通过find_in_set()函数实现where in()顺序排序

    这篇文章主要介绍了mysql通过find_in_set()函数实现where in()顺序排序的相关内容,具有一定参考价值,需要的朋友可以了解下。
    2017-10-10
  • MySQL查看主从状态的命令实现

    MySQL查看主从状态的命令实现

    本文主要介绍了MySQL查看主从状态的命令实现,我们可以使用SHOW SLAVE STATUS命令来查看主从状态,本文就来详细的介绍一下如何实现,感兴趣的可以了解一下
    2023-10-10
  • mysql中的日期相减的天数函数

    mysql中的日期相减的天数函数

    这篇文章主要介绍了mysql中的日期相减的天数函数,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-02-02
  • 登录MySQL时出现SSL connection error: unknown error number错误的解决方法

    登录MySQL时出现SSL connection error: unknown 

    这篇文章主要介绍了登录MySQL时出现SSL connection error: unknown error number错误的解决方法,文中通过图文结合的形式讲解的非常详细,对大家的学习或工作有一定的帮助,需要的朋友可以参考下
    2024-12-12
  • 基于MySql的扩展功能生成全局ID

    基于MySql的扩展功能生成全局ID

    本文借用 MySQL的扩展功能 REPLACE INTO 来生成全局id,REPLACE INTO和INSERT的功能一样,但是当使用REPLACE INTO插入新数据行时,如果新插入的行的主键或唯一键(UNIQUE Key)已有的行重复时,已有的行会先被删除,然后再将新数据行插入
    2015-12-12
  • mysql prompt一个特别好用的命令

    mysql prompt一个特别好用的命令

    本篇文章是对mysql中的prompt进行了详细的分析介绍,需要的朋友参考下
    2013-06-06
  • MySQL六种约束的示例详解

    MySQL六种约束的示例详解

    约束是作用于表中字段上的规则,用于限制存储在表中的数据。这篇文章主要为大家整理了一下MySQL中六种约束的用法,感兴趣的可以了解一下
    2023-02-02

最新评论