MySQL循环插入千万级数据

 更新时间:2020年09月16日 10:06:34   作者:Mr.Yong  
这篇文章主要介绍了MySQL如何实现循环插入千万级数据,帮助大家更好的理解和使用MySQL数据库,感兴趣的朋友可以了解下

1、创建测试表

CREATE TABLE `mysql_genarate` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `uuid` varchar(50) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=5999001 DEFAULT CHARSET=utf8;

2、创建一个循环插入的存储过程

CREATE DEFINER=`root`@`localhost` PROCEDURE `test_two1`( )
  BEGIN 
  DECLARE i INT DEFAULT 0;
  WHILE i < 3000 DO
    INSERT INTO mysql_genarate ( uuid ) VALUES( UUID( ) );
    SET i = i + 1;
  END WHILE;
END

调用测试call test_two1(), 测试10000条数据耗时几分钟,如果是千万级数据,这个速度将无法忍受。

3、优化存储过程

使用批量插入的sql语句

CREATE DEFINER=`root`@`localhost` PROCEDURE `insertPro`( IN sum INT )
  BEGIN
  DECLARE count INT DEFAULT 0;
  DECLARE i INT DEFAULT 0;
  SET @exesql = concat( "insert into mysql_genarate(uuid) values" );
  SET @exedata = "";
  SET count = 0;
  SET i = 0;
  WHILE count < sum DO
    SET @exedata = concat( @exedata, ",(UUID())" );
    SET count = count + 1;
    SET i = i + 1;
    IF i % 1000 = 0 THEN
      SET @exedata = SUBSTRING( @exedata, 2 );
      SET @exesql = concat( "insert into mysql_genarate(uuid) values ", @exedata );
      PREPARE stmt FROM @exesql;
      EXECUTE stmt;
      DEALLOCATE PREPARE stmt;
      SET @exedata = "";
    END IF;
  END WHILE;
  IF length( @exedata ) > 0 THEN
    SET @exedata = SUBSTRING( @exedata, 2 );
    SET @exesql = concat( "insert into mysql_genarate(uuid) values ", @exedata );
    PREPARE stmt FROM @exesql;
    EXECUTE stmt;
    DEALLOCATE PREPARE stmt;
  END IF;
END

调用 call insertPro(10000) ,耗时零点几秒,这个速度可以接受。

以上就是MySQL循环插入千万级数据的详细内容,更多关于MySQL循环插入的资料请关注脚本之家其它相关文章!

相关文章

  • MySQL中union和union all区别

    MySQL中union和union all区别

    今天和大家聊一聊,面试中可能遇到的一个知识点,就是union与union all的区别,具有一定的参考价值,对面试和知识总结有一定的帮助,感兴趣的可以了解一下
    2023-08-08
  • 浅谈MySQL表空间回收的正确姿势

    浅谈MySQL表空间回收的正确姿势

    随着时间的推移,表里面的数据越来越多,表数据文件越来越大,数据库占用的空间自然也逐渐增长,本文主要介绍了MySQL表空间回收,感兴趣的可以了解一下
    2021-09-09
  • mysql慢查询日志轮转_MySQL慢查询日志实操

    mysql慢查询日志轮转_MySQL慢查询日志实操

    这篇文章主要介绍了mysql慢查询日志轮转_MySQL慢查询日志实操,文章围绕主题展开详细的内容戒杀,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-09-09
  • mysql中的sql_mode模式实例详解

    mysql中的sql_mode模式实例详解

    这篇文章主要介绍了mysql中的sql_mode模式,结合实例形式详细分析了mysql sql_mode模式相关原理、用法及操作注意事项,需要的朋友可以参考下
    2020-01-01
  • MySQL数据库删除数据自增ID不连续的实现示例

    MySQL数据库删除数据自增ID不连续的实现示例

    本文介绍了MySQL数据库删除数据后自增ID不连续的问题,文中通过2种方法解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2024-11-11
  • MySql如何按照日期进行分组统计

    MySql如何按照日期进行分组统计

    这篇文章主要介绍了MySql如何按照日期进行分组统计问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • mysql多次调用存储过程的问题

    mysql多次调用存储过程的问题

    这个问题也困扰了我很长时间,准确的说正是因为他的存储过程无法在同一连接中2次或者多次执行,我大幅修该了程序架构,全部题换成了sql,但是毕竟sql无法执行有相当逻辑的代码,最总让我从新测试以求寻找解决之道。
    2011-05-05
  • Windows中MySQL数据库下载以及安装教程(最最新版)

    Windows中MySQL数据库下载以及安装教程(最最新版)

    这篇文章主要给大家介绍了关于Windows中MySQL数据库下载以及安装的相关资料,很多朋友刚开始接触mysql数据库服务器,对安装使用教程不太明白,这里给大家总结下,需要的朋友可以参考下
    2023-09-09
  • 用Eclipse连接MySQL数据库的步骤

    用Eclipse连接MySQL数据库的步骤

    这篇文章主要介绍了如何用Eclipse连接MySQL数据库,需要的朋友可以参考下
    2015-08-08
  • MySQL Administrator 登录报错的解决方法

    MySQL Administrator 登录报错的解决方法

    使用MySQL Administrator 登录,报错: Either the server service or the configuration file could not be found.Startup variable and service section are there for disabled.
    2010-12-12

最新评论