mysql 循环批量插入的实例代码详解

 更新时间:2019年05月27日 11:24:40   作者:昔时半夏  
本文通过实例代码文字相结合的形式给大家介绍了mysql 循环批量插入功能,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下

背景

前几天在MySql上做分页时,看到有博文说使用 limit 0,10 方式分页会有丢数据问题,有人又说不会,于是想自己测试一下。测试时没有数据,便安装了一个MySql,建了张表,在建了个while循环批量插入10W条测试数据的时候,执行时间之长无法忍受,便查资料找批量插入优化方法,这里做个笔记。

数据结构

寻思着分页时标准列分主键列、索引列、普通列3种场景,所以,测试表需要包含这3种场景,建表语法如下:

drop table if exists `test`.`t_model`;

Create table `test`.`t_model`( 
 `id` bigint NOT NULL AUTO_INCREMENT COMMENT '自增主键',
 `uid` bigint COMMENT '业务主键',
 `modelid` varchar(50) COMMENT '字符主键',
 `modelname` varchar(50) COMMENT '名称',
 `desc` varchar(50) COMMENT '描述',
 primary key (`id`),
 UNIQUE index `uid_unique` (`uid`),
 key `modelid_index` (`modelid`) USING BTREE
) ENGINE=InnoDB charset=utf8 collate=utf8_bin;

为了方便操作,插入操作使用存储过程通过while循环插入有序数据,未验证其他操作方式或循环方式的性能。

执行过程

1、使用最简单的方式直接循环单条插入1W条,语法如下:

drop procedure if exists my_procedure; 
delimiter //
create procedure my_procedure()
begin
 DECLARE n int DEFAULT 1;
 WHILE n < 10001 DO
 insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc'); 
 set n = n + 1;
 END WHILE;
end
//               
delimiter ;

插入1W条数据,执行时间大概在6m7s,按照这个速度,要插入1000W级数据,估计要跑几天。

2、于是,构思加个事务提交,是否能加快点性能呢?测试每1000条就commit一下,语法如下:

delimiter //
create procedure u_head_and_low_pro()
begin
 DECLARE n int DEFAULT 17541;
 WHILE n < 10001 DO
   insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc'); 
   set n = n + 1;
   if n % 1000 = 0 
   then
    commit;
   end if;
 END WHILE;
end
//
delimiter ;

执行时间 6 min 16 sec,与不加commit执行差别不大,看来,这种方式做批量插入,性能是很低的。

3、使用存储过程生成批量插入语句执行批量插入插入1W条,语法如下:

drop procedure IF EXISTS u_head_and_low_pro;
delimiter $$
create procedure u_head_and_low_pro()
begin
 DECLARE n int DEFAULT 1;
 set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ';
 set @exedata = '';
 WHILE n < 10001 DO
 set @exedata = concat(@exedata,"(",n,",","'id20170831",n,"','","name",n,"','","desc'",")");
 if n % 1000 = 0 
 then
  set @exesql = concat(@exesql,@exedata,";");
  prepare stmt from @exesql;
  execute stmt;
  DEALLOCATE prepare stmt;
  commit; 
  set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ';
  set @exedata = "";
 else
  set @exedata = concat(@exedata,',');
 end if;
 set n = n + 1;
 END WHILE;
end;$$ 
delimiter ;

执行时间 3.308s。

总结

批量插入时,使用insert的values批量方式插入,执行速度大大提升。

以上所述是小编给大家介绍的mysql 循环批量插入的实例代码详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

相关文章

  • sql中with as用法以及with-as性能调优/with用法举例

    sql中with as用法以及with-as性能调优/with用法举例

    SQL中的WITH AS语法是一种强大的工具,可以简化复杂查询的编写,提高查询的可读性和维护性,这篇文章主要给大家介绍了关于sql中with as用法以及with-as性能调优/with用法的相关资料,需要的朋友可以参考下
    2024-01-01
  • MySQL性能优化神器Explain的基本使用分析

    MySQL性能优化神器Explain的基本使用分析

    这篇文章主要给大家介绍了关于MySQL性能优化神器Explain的基本使用分析,文中通过示例代码介绍的非常详细,对大家学习或者使用MySQL具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-08-08
  • MySQL 用 limit 为什么会影响性能

    MySQL 用 limit 为什么会影响性能

    对于小的偏移量,直接使用limit来查询没有什么问题,但随着数据量的增大,越往后分页,limit语句的偏移量就会越大,速度也会明显变慢,接下来文章就向大家介绍其的原由,感兴趣的小伙伴可参考下面文章具体内容
    2021-09-09
  • php下巧用select语句实现mysql分页查询

    php下巧用select语句实现mysql分页查询

    mysql分页查询是我们经常见到的问题,那么应该如何实现呢?下面就教您一个实现mysql分页查询的好方法,供您参考学习。
    2010-12-12
  • MySQL使用distinct去掉查询结果重复的问题

    MySQL使用distinct去掉查询结果重复的问题

    这篇文章主要介绍了MySQL使用distinct去掉查询结果重复的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-01-01
  • 在MySQL中使用LIMIT进行分页的方法

    在MySQL中使用LIMIT进行分页的方法

    这篇文章主要介绍了在MySQL中使用LIMIT进行分页的方法,作者列举出了三种方法,并且针对跳页等常见问题做出了提示,需要的朋友可以参考下
    2015-05-05
  • 详解MySQL(InnoDB)是如何处理死锁的

    详解MySQL(InnoDB)是如何处理死锁的

    这篇文章主要介绍了MySQL(InnoDB)是如何处理死锁的,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-04-04
  • MySQL索引失效之隐式转换的问题

    MySQL索引失效之隐式转换的问题

    本文主要介绍了MySQL索引失效之隐式转换的问题,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-01-01
  • mysql修改用户密码报错的解决方法

    mysql修改用户密码报错的解决方法

    mysql 初始化时,使用临时密码,修改自定义密码时,由于自定义密码比较简单,就出现了不符合密码策略的问题,这篇文章主要介绍了mysql修改用户密码报错,需要的朋友可以参考下
    2023-03-03
  • mysql下为数据库设置交叉权限的方法

    mysql下为数据库设置交叉权限的方法

    由于 SupeSite 需要调用 Discuz! 和 UCHome 的数据,所以如果它们不安装在同一个数据库,SupeSite 的数据库用户必须要对 Discuz! 和 UCHome 的数据库有读取、修改、删除等权限。
    2011-07-07

最新评论