mysql中迅速插入百万条测试数据的方法
更新时间：2012年04月14日 02:17:48 作者：
最近想到创建一个大量数据的测试环境，于是找了一下怎么插入100W条数据，我用的是20个字段
对比一下，首先是用 mysql 的存储过程弄的:
mysql>delimiter $
mysql>SET AUTOCOMMIT = 0$$
mysql> create procedure test()
begin
declare i decimal (10) default 0 ;
dd:loop
INSERT INTO `million` (`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `add_date`, `picture_url`, `thumb_url`, `is_display_front`, `create_html_time`, `hit`, `buy_sum`, `athor`, `templete _style`, `is_hot`, `is_new`, `is_best`) VALUES
(268, 2, '0,262,268,', 0, '2342', '423423', '123123', '2012-01-09 09:55:43', 'upload/product/20111205153432_53211.jpg', 'upload/product/thumb_20111205153432_53211.jpg', 1, 0, 0, 0, 'admin', '0', 0, 0, 0);
commit;
set i = i+1;
if i= 1000000 then leave dd;
end if;
end loop dd ;
end;$
mysql>delimiter ;
mysql> call test;
结果
mysql> call test; Query OK, 0 rows affected (58 min 30.83 sec)
非常耗时。
于是我又找了一个方法
先用PHP代码生成数据，再导入：
<?php
$t=mktime();
set_time_limit(1000);
$myFile="e:/insert.sql";
$fhandler=fopen($myFile,'wb');
if($fhandler){
$sql="268\t2\t'0,262,268,'\t0\t '2342'\t'423423'\t'123123'\t'23423423'\t'2012-01-09 09:55:43'\t'upload/product/20111205153432_53211.jpg'\t'upload/product/thumb_20111205153432_53211.jpg'\tNULL\tNULL\t38\t'件'\t''\t123\t123\t0";
$i=0;
while($i<1000000)//1,000,000
{
$i++;
fwrite($fhandler,$sql."\r\n");
}
echo"写入成功,耗时：",mktime()-$t;
}
然后再导入
LOAD DATA local INFILE 'e:/insert.sql' INTO TABLE tenmillion(`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `description`, `add_date`, `picture_url`, `thumb_url`, `shop_url`, `shop_thumb_url`, `brand_id`, `unit`, `square_meters_unit`, `market_price`, `true_price`, `square_meters_price`);
注意字段不再以逗号分割，以\t分割，条记录以\r\n分割。结果我插入10次数据，100W平均只要1分钟搞定。
第二种方式mysql中间省略了很多中间步骤，导致插入速度远胜于第一种，具体的没有研究。
快速生成mysql上百万条测试数据
由于测试需要，原表中只有1万条数据，现在随机复制插入记录，快速达到100万条。
itemid是主键。
运行几次下面代码。随机取1000条插入，
insert into downitems (chid,catid,softid,....)
SELECT chid,catid,softid... FROM `downitems` WHERE itemid >= (SELECT floor(RAND() * (SELECT MAX(itemid) FROM `downitems`))) ORDER BY itemid LIMIT 1000;
然后可以修改1000的数字了。改为5000或者1万。很快可以达到100万的数据量了。
复制代码 代码如下:
mysql>delimiter $
mysql>SET AUTOCOMMIT = 0$$
mysql> create procedure test()
begin
declare i decimal (10) default 0 ;
dd:loop
INSERT INTO `million` (`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `add_date`, `picture_url`, `thumb_url`, `is_display_front`, `create_html_time`, `hit`, `buy_sum`, `athor`, `templete _style`, `is_hot`, `is_new`, `is_best`) VALUES
(268, 2, '0,262,268,', 0, '2342', '423423', '123123', '2012-01-09 09:55:43', 'upload/product/20111205153432_53211.jpg', 'upload/product/thumb_20111205153432_53211.jpg', 1, 0, 0, 0, 'admin', '0', 0, 0, 0);
commit;
set i = i+1;
if i= 1000000 then leave dd;
end if;
end loop dd ;
end;$
mysql>delimiter ;
mysql> call test;
结果
mysql> call test; Query OK, 0 rows affected (58 min 30.83 sec)
非常耗时。
于是我又找了一个方法
先用PHP代码生成数据，再导入：
复制代码 代码如下:
<?php
$t=mktime();
set_time_limit(1000);
$myFile="e:/insert.sql";
$fhandler=fopen($myFile,'wb');
if($fhandler){
$sql="268\t2\t'0,262,268,'\t0\t '2342'\t'423423'\t'123123'\t'23423423'\t'2012-01-09 09:55:43'\t'upload/product/20111205153432_53211.jpg'\t'upload/product/thumb_20111205153432_53211.jpg'\tNULL\tNULL\t38\t'件'\t''\t123\t123\t0";
$i=0;
while($i<1000000)//1,000,000
{
$i++;
fwrite($fhandler,$sql."\r\n");
}
echo"写入成功,耗时：",mktime()-$t;
}
然后再导入
复制代码 代码如下:
LOAD DATA local INFILE 'e:/insert.sql' INTO TABLE tenmillion(`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `description`, `add_date`, `picture_url`, `thumb_url`, `shop_url`, `shop_thumb_url`, `brand_id`, `unit`, `square_meters_unit`, `market_price`, `true_price`, `square_meters_price`);
注意字段不再以逗号分割，以\t分割，条记录以\r\n分割。结果我插入10次数据，100W平均只要1分钟搞定。
第二种方式mysql中间省略了很多中间步骤，导致插入速度远胜于第一种，具体的没有研究。
快速生成mysql上百万条测试数据
由于测试需要，原表中只有1万条数据，现在随机复制插入记录，快速达到100万条。
itemid是主键。
运行几次下面代码。随机取1000条插入，
insert into downitems (chid,catid,softid,....)
SELECT chid,catid,softid... FROM `downitems` WHERE itemid >= (SELECT floor(RAND() * (SELECT MAX(itemid) FROM `downitems`))) ORDER BY itemid LIMIT 1000;
然后可以修改1000的数字了。改为5000或者1万。很快可以达到100万的数据量了。
相关文章
MySQL支持大量的列类型，它可以被分为3类：数字类型、日期和时间类型以及字符串(字符)类型。本节首先给出可用类型的一个概述，并且总结每个列类型的存储需求，然后提供每个类中的类型性质的更详细的描述。概述有意简化，更详细的说明应该考虑到有关特定列类型的附加信息，例如你能为其指定值的允许格式。2008-08-08
最近被一个朋友问到mySQL中in查询和exists的区别，当然只是草草的回答了下，今天偶然看到了一篇关于mysql中的exists查询的文章，读完感觉太”冷落”它了，这里总结一下，也跟自己常用的in查询做一下对比。有需要的朋友们可以参考借鉴，下面来一起学习学习吧。2016-11-11
mysql 8.0 错误The server requested authentication method unkno
在本篇文章里小编给大家整理的是关于mysql 8.0 错误The server requested authentication method unknown to the client解决方法，有此需要的朋友们可以学习下。2019-08-08
mysql/Java服务端对emoji的支持与问题解决方法详解
这篇文章主要介绍了mysql/Java服务端对emoji的支持与问题解决方法,结合实例形式分析了mysql/Java服务端对emoji字符集存储及支持问题解决方法,需要的朋友可以参考下2019-10-10
SQL标准中定义了4种隔离级别，分别是读未提交、读已提交、可重复读以及序列化。不同的隔离级别下，本文将重点探讨下MySQL是如何解决幻读问题的,需要的朋友可以跟着小编一起来探讨一下2023-07-07
这篇文章主要介绍了MySQL性能瓶颈排查定位的方法,结合实例形式详细分析了MySQL排查性能瓶颈问题的步骤与相关技巧,需要的朋友可以参考下2016-04-04
这篇文章主要介绍了MySQL占用CPU过高,排查原因及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
这篇文章主要介绍了MySQL中日期比较时遇到的字符集问题解决办法,本文遇到的问题是date_format函数和timediff函数之间比较时,编码问题导致出错,本文使用convert()函数解决了这个问题,需要的朋友可以参考下2014-07-07![忘记mysql数据库root用户密码重置方法[图文]](//img.jbzj.com/images/xgimg/bcimg8.png)
忘记mysql数据库root用户密码重置方法，需要的朋友可以参考下。2011-11-11
mysql使用insert into select插入查出的数据
这篇文章主要介绍了mysql使用insert into select插入查出的数据方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-12-12
![忘记mysql数据库root用户密码重置方法[图文]](http://img.jbzj.com/images/xgimg/bcimg8.png)
最新评论