脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 数据库 → Mysql → MySQL 批量插入 唯一索引

MySQL批量插入遇上唯一索引避免方法

 更新时间：2013年01月04日 15:25:35   作者：  
以前使用SQL Server进行表分区的时候就碰到很多关于唯一索引的问题,今天我们来了解MySQL唯一索引的一些知识：包括如何创建，如何批量插入，还有一些技巧上SQL,感兴趣的朋友可以了解下

一、背景

以前使用SQL Server进行表分区的时候就碰到很多关于唯一索引的问题：Step8：SQL Server 当表分区遇上唯一约束，没想到在MySQL的分区中一样会遇到这样的问题：MySQL表分区实战。

今天我们来了解MySQL唯一索引的一些知识：包括如何创建，如何批量插入，还有一些技巧上SQL；

这些问题的根源在什么地方？有什么共同点？MySQL中也有分区对齐的概念？唯一索引是在很多系统中都会出现的要求，有什么办法可以避免？它对性能的影响有多大？

二、过程

(一) 导入差异数据，忽略重复数据，IGNORE INTO的使用

在MySQL创建表的时候，我们通常创建一个表的时候是以一个自增ID值作为主键，那么MySQL就会以PRIMARY KEY作为聚集索引键和主键，既然是主键，那当然是唯一的了，所以重复执行下面的插入语句会报1062错误：如Figure1所示；

复制代码 代码如下:

-- 创建测试表
CREATE TABLE `testtable` (
`Id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT,
`UserId` INT(11) DEFAULT NULL,
`UserName` VARCHAR(10) DEFAULT NULL,
`UserType` INT(11) DEFAULT NULL,
PRIMARY KEY (`Id`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

-- 插入测试数据
INSERT INTO testtable(Id,UserId,UserName,UserType)
VALUES(1,101,'aa',1),(2,102,'bbb',2),(3,103,'ccc',3);

u1_1062

（Figure1：Duplicate entry '1' for key 'PRIMARY'）

但是在实际的生产环境中，需求往往是需要在UserId键值中设置唯一索引，今天我就以这个作为示例，进行唯一索引的测试：

复制代码 代码如下:

-- 创建测试表1
CREATE TABLE `testtable1` (
`Id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT,
`UserId` INT(11) DEFAULT NULL,
`UserName` VARCHAR(10) DEFAULT NULL,
`UserType` INT(11) DEFAULT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `IX_UserId` (`UserId`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

-- 创建测试表2
CREATE TABLE `testtable2` (
`Id` INT(11) UNSIGNED NOT NULL AUTO_INCREMENT,
`UserId` INT(11) DEFAULT NULL,
`UserName` VARCHAR(10) DEFAULT NULL,
`UserType` INT(11) DEFAULT NULL,
PRIMARY KEY (`Id`),
UNIQUE KEY `IX_UserId` (`UserId`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

-- 插入测试数据1
INSERT INTO testtable1(Id,UserId,UserName,UserType)
VALUES(1,101,'aa',1),(2,102,'bbb',2),(3,103,'ccc',3);

-- 插入测试数据2
INSERT INTO testtable2(Id,UserId,UserName,UserType)
VALUES(1,201,'aaa',1),(2,202,'bbb',2),(3,203,'ccc',3),(4,101,'xxxx',5);

u2_table1

（Figure2：testtable1记录）

u3_table2

（Figure3：testtable2记录）

通过执行上面的SQL脚本，我们在testtable1和testtable2都创建了唯一索引：UNIQUE KEY `IX_UserId` (`UserId`)，这就说明UserId在testtable1和testtable2表中都是唯一的，如果把testtable2的数据批量导入到testtable1，如果执行下面【导入1】的SQL，就会出现1062的错误，导致整个过程会回滚，没有达到导入差异数据的目的。

复制代码 代码如下:

INSERT INTO testtable1(UserId,UserName,UserType)
SELECT UserId,UserName,UserType FROM testtable2;

u4_unique

（Figure4：Duplicate entry '101' for key 'IX_UserId'）

MySQL提供一个关键字：IGNORE，这个关键字判断每条记录是否存在，是否违反饿了表中的唯一索引，如果存在就不插入，而不存在的记录就会插入。

复制代码 代码如下:

-- 导入2
INSERT IGNORE INTO testtable1(UserId,UserName,UserType)
SELECT UserId,UserName,UserType FROM testtable2;

所以执行完【导入2】，就会产生Figure5的结果，这已经达到了我们的目的了，但是你有没发现自增的ID值跳过了一些值，这是因为我们之前执行【导入1】失败造成的，虽然我们的事务回滚了，但是自增ID会出现断层。在SQL Server中也会有这样的问题。扩展阅读：简单实用SQL脚本Part：查找SQL Server 自增ID值不连续记录

u5_效果

（Figure5：IGNORE效果）

(二) 导入并覆盖重复数据，REPLACE INTO 的使用

1. 把testtable1和testtable2分别回滚到Figure2和Figure3的状态（使用TRUNCATE TABLE命名再执行Insert语句），这个时候再执行下面的SQL，看有什么效果：

复制代码 代码如下:

-- 导入3
REPLACE INTO testtable1(UserId,UserName)
SELECT UserId,UserName FROM testtable2;

u6_rep

（Figure6：REPLACE效果）

从上图Figure6中，我们可以看到：UserId为101的记录发生了改变，不单UserName修改了，而且UserType也变为NULL了。

所以，如果导入中发现了重复的，先删除再插入，如果记录有多个字段，在插入的时候如果有的字段没有赋值，那么新插入的记录这些字段为空（新插入记录的UserType都为NULL）。

需要注意的是，当你replace的时候，如果被插入的表如果没有指定列，会用NULL表示，而不是这个表原来的内容。如果插入的内容列和被插入的表列一样，则不会出现NULL。

2. 如果我们表结构UserType字段不允许为空，而且没有默认值的情况，执行【导入3】会发生什么事情呢？

u7_not null

（Figure7：返回警告信息）

u8_0

（Figure8：UserType被设置为0）

通过Figure7和Figure8，我们知道数据记录还是插入了，只是返回Field 'UserType' doesn't have a default value的警告，插入记录的UserType字段都被设置为0（'UserType' 为int数据类型）。

3. 如果我们希望导入的时候一起更新UserType字段的值，这自然很简单了，使用下面的SQL脚本就可以解决：

复制代码 代码如下:

-- 导入4
REPLACE INTO testtable1(UserId,UserName,UserType)
SELECT UserId,UserName,UserType FROM testtable2;

u9_rep

（Figure9：一起更新UserType）

(三) 导入保留重复数据未指定字段，INSERT INTO ON DUPLICATE KEY UPDATE 的使用

把testtable1和testtable2分别回滚到Figure2和Figure3的状态（使用TRUNCATE TABLE命名再执行Insert语句），这个时候再执行下面的SQL，看有什么效果：

复制代码 代码如下:

-- 导入5
INSERT INTO testtable1(UserId,UserName)
SELECT UserId,UserName FROM testtable2
ON DUPLICATE KEY UPDATE
testtable1.UserName = testtable2.UserName;

u10_update

（Figure10：保留UserType值）

对比Figure2、Figure3与Figure10，UserId为101的记录：更新了UserName的值，保留了UserType的值；但是由于【导入5】中没有指定UserType，所以新插入记录的UserType是为NULL的。

复制代码 代码如下:

-- 导入6
INSERT INTO testtable1(UserId,UserName,UserType)
SELECT UserId,UserName,UserType FROM testtable2
ON DUPLICATE KEY UPDATE
testtable1.UserName = testtable2.UserName;

u11_update

（Figure11：保留UserType值）

对比Figure2、Figure3与Figure11，只插入testtable2表的UserId,UserName字段，但是保留testtable1表的UserType字段。如果发现有重复的记录，做更新操作；在原有记录基础上，更新指定字段内容，其它字段内容保留。

(四) 总结

当在一个UNIQUE键上插入包含重复值的记录时，默认的insert会报1062错误，MYSQL可以通过以上三种不同的方式和你的业务逻辑进行处理。

三、参考文献

MYSQL插入处理重复键值的几种方法

您可能感兴趣的文章:

相关文章

  • MySQL5.6升级5.7时出现主从延迟问题排查过程

    MySQL5.6升级5.7时出现主从延迟问题排查过程

    这篇文章主要介绍了MySQL5.6升级5.7时出现主从延迟问题排查过程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • mysql 5.7.17 安装配置方法图文教程（windows10）

    mysql 5.7.17 安装配置方法图文教程（windows10）

    这篇文章主要为大家分享了mysql 5.7.17 安装配置方法图文教程，具有一定的参考价值，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2017-01-01
  • MySQL中数据类型的验证

    MySQL中数据类型的验证

    这篇文章主要介绍了MySQL中数据类型的验证 的相关资料,需要的朋友可以参考下
    2016-04-04
  • MySQL数据库10秒内插入百万条数据的实现

    MySQL数据库10秒内插入百万条数据的实现

    假设现在我们要向mysql插入500万条数据,如何实现高效快速的插入进去？本文就详细的介绍一下，感兴趣的可以了解一下
    2021-10-10
  • MySql新手入门的基本操作汇总

    MySql新手入门的基本操作汇总

    MySQL是目前来说最好的 RDBMS应用软件之一，这篇文章主要给大家介绍了关于MySql基本操作的相关资料，非常适合mysql新手入门，需要的朋友们下面随着小编来一起学习学习吧
    2021-05-05
  • mysql中的limit和offset用法详解

    mysql中的limit和offset用法详解

    这篇文章主要介绍了mysql中的limit和offset用法详解,limit一般被用来排序,offset一般和limit组合使用,本文对这两个函数进行详细介绍,需要的朋友可以参考下
    2023-10-10
  • mysql 列转行的技巧(分享)

    mysql 列转行的技巧(分享)

    下面小编就为大家带来一篇mysql 列转行的技巧(分享)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2017-03-03
  • MySQL学习之索引及优化

    MySQL学习之索引及优化

    这篇文章主要介绍MySQL的索引及优化，索引是帮助MySQL进行高效查询的一种数据结构。好比一本书的目录，能加快查询的速度，想进一步了解的小伙伴可以详细阅读本文
    2023-03-03
  • MySQL 百万级分页优化(Mysql千万级快速分页)

    MySQL 百万级分页优化(Mysql千万级快速分页)

    MySql 性能到底能有多高？用了php半年多，真正如此深入的去思考这个问题还是从前天开始。有过痛苦有过绝望，到现在充满信心
    2012-11-11
  • mysql数据库删除重复数据只保留一条方法实例

    mysql数据库删除重复数据只保留一条方法实例

    这篇文章主要给大家介绍了关于mysql数据库删除重复数据，只保留一条的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-03-03

最新评论