Mysql中几种插入效率的实例对比
前言
最近因为工作的需要，要在Mysql里插入大量的数据大约1000w，目测会比较耗时。所以现在就像测试一下到底用什么插入数据的方法比较快捷高效。
下面就针对每一种方法分别测试不同数据量下的插入效率。
测试数据库的基本与操作如下：
mysql> create database test; Query OK, 1 row affected (0.02 sec) mysql> use test; Database changed mysql> create table mytable(id int primary key auto_increment ,value varchar(50)); Query OK, 0 rows affected (0.35 sec) mysql> desc mytable; +-------+-------------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+-------------+------+-----+---------+----------------+ | id | int(11) | NO | PRI | NULL | auto_increment | | value | varchar(50) | YES | | NULL | | +-------+-------------+------+-----+---------+----------------+ 2 rows in set (0.02 sec)
方便测试，这里建了一个表，两个字段，一个是自增的id，另一个是字符串表示内容。
测试时每次实验结束都要mysql> truncate mytable，来清空已存在的表。
方法一：逐条插入
测试代码：（中间有1000条insert语句，用vim复制粘贴比较方便，写完后保存到a.sql，然后在mysql提示符中输入source a.sql）
set @start=(select current_timestamp(6)); insert into mytable values(null,"value"); ...... insert into mytable values(null,"value"); set @end=(select current_timestamp(6)); select @start; select @end;
输出结果：
Query OK, 1 row affected (0.03 sec) ...... Query OK, 1 row affected (0.03 sec) Query OK, 0 rows affected (0.00 sec) +----------------------------+ | @start | +----------------------------+ | 2016-05-05 23:06:51.267029 | +----------------------------+ 1 row in set (0.00 sec) +----------------------------+ | @end | +----------------------------+ | 2016-05-05 23:07:22.831889 | +----------------------------+ 1 row in set (0.00 sec)
总共耗时31.56486s，事实上几乎每条语句花的时间是差不多的，基本就是30ms。
这样子1000w的数据就得花87h。
至于更大的数据量也就不试了，这种方法肯定不可取。
方法二：基于事务的批量插入
实际上就是把这么多的查询放在一个事务中。事实上方法一中没一条语句都开了一个事务，因此才会特别慢。
测试代码：（与方法一基本类似，主要添加两行，由于比较快，这里测试了多种数据量）
set @start=(select current_timestamp(6)); start transaction; insert into mytable values(null,"value"); ...... insert into mytable values(null,"value"); commit; set @end=(select current_timestamp(6)); select @start; select @end;
测试结果：
数据量 时间(s) 1k 0.1458 1w 1.0793 10w 5.546006 100w 38.930997
看出来基本是对数时间，效率还是比较高的。
方法三：单条语句一次插入多组数据
就是一条insert一次插入多个value。
测试代码：
insert into mytable values (null,"value"),
(null,"value"),
......
(null,"value");
测试结果：
数据量 时间(s) 1k 0.15 1w 0.80 10w 2.14 100w *
看上去也是对数时间，而且比方法二要稍微快一点。不过问题在于单次SQL语句是有缓冲区大小限制的，虽然可以修改配置让他变大，但也不能太大。所以在插入大批量的数据时也用不了。
方法四：导入数据文件
将数数据写成数据文件直接导入（参照上一节）。
数据文件（a.dat）：
null value null value ..... null value null value
测试代码：
mysql> load data local infile "a.dat" into table mytable;
测试结果：
数据量 时间(s) 1k 0.13 1w 0.75 10w 1.97 100w 6.75 1000w 58.18
时间最快，就是他了。。。。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。
相关文章
这篇文章主要介绍了MySQL与SQL Server的一些区别浅析,本文罗列了MySQL与SQL Server的25个不同的地方,并对它们的分页技术的不同做了讲解,需要的朋友可以参考下2014-08-08
这篇文章主要为大家详细介绍了win7下mysql5.7.17安装配置方法图文教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-03-03
对于小的偏移量，直接使用limit来查询没有什么问题，但随着数据量的增大，越往后分页，limit语句的偏移量就会越大，速度也会明显变慢，接下来文章就向大家介绍其的原由，感兴趣的小伙伴可参考下面文章具体内容2021-09-09
本文主要介绍了Tableau连接mysql数据库的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-01-01
这篇文章主要介绍了MySQL主从延迟问题解决的方法，帮助大家更好的理解和使用MySQL数据库，感兴趣的朋友可以了解下2021-01-01
这篇文章主要为大家详细介绍了win10免安装版本的MySQL的下载安装和配置，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-01-01
MySQL 5.7.19安装目录下创建my.ini文件的方法
这篇文章给大家简单介绍了MySQL 5.7.19安装目录下创建my.ini文件的方法，需要的的朋友参考下吧2017-08-08
本文主要介绍了点赞功能使用MySQL还是Redis，这是最近面试时被问到的1道面试题，本篇博客对此问题进行总结分享，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-12-12
解决MySQL Workbench gnome-keyring-daemon错误的方法分享
这篇文章主要介绍了解决MySQL Workbench gnome-keyring-daemon错误的方法,需要的朋友可以参考下2014-08-08
MYSQL中统计查询结果总行数的便捷方法省去count(*)
查看手册后发现SQL_CALC_FOUND_ROWS关键词的作用是在查询时统计满足过滤条件后的结果的总数（不受 Limit 的限制）具体使用如下，感兴趣的朋友可以学习下2013-07-07
最新评论