Mysql快速插入千万条数据的实战教程

 更新时间:2021年03月03日 12:19:45   作者:萌新Java程序猿  
这篇文章主要给大家介绍了关于Mysql快速插入千万条数据的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

一.创建数据库

二.创建表

1.创建 dept表

CREATE TABLE `dept` (
 `id` int(11) NOT NULL,
 `deptno` mediumint(9) DEFAULT NULL,
 `dname` varchar(20) DEFAULT NULL,
 `loc` varchar(13) DEFAULT NULL,
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

2.创建emp表

CREATE TABLE `emp` (
 `id` int(11) NOT NULL,
 `empon` mediumint(9) DEFAULT NULL COMMENT '编号',
 `ename` varchar(20) DEFAULT NULL,
 `job` varchar(9) DEFAULT NULL,
 `mgr` mediumint(9) DEFAULT NULL COMMENT '上级编号',
 `hirdate` datetime DEFAULT NULL COMMENT '入职时间',
 `sal` decimal(7,2) DEFAULT NULL COMMENT '薪水',
 `comm` decimal(7,2) DEFAULT NULL COMMENT '红利',
 `deptno` mediumint(9) DEFAULT NULL COMMENT '部门编号',
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

三.设置参数

SHOW VARIABLES LIKE 'log_bin_trust_function_creators';

默认关闭.  需要设置为1。因为表中设置 mediumint 字段 创建函数可能会报错

SET GLOBAL log_bin_trust_function_creators=1;

四.创建函数

1.随机产生字符串

DELIMITER $
CREATE FUNCTION RAND_STR(n INT) RETURNS VARCHAR(255)
BEGIN
 DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmnopqrstuvwsyzABCDEFGHIJKLMNOPQRSTUVWXYZ'; 
	 DECLARE return_str VARCHAR(255) DEFAULT '';
 DECLARE i INT DEFAULT 0;
	 WHILE i< n DO 
	 SET return_str =COUCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));
	 SET i= i+1;
 END WHILE;
	 RETURN return_str;
END $

2.随机产生部门编号

DELIMITER $
CREATE FUNCTION RAND_num() RETURNS INT(5)
BEGIN
 DECLARE i INT DEFAULT 0; 
	 SET i= FLOOR(100+RAND()*10);
	 RETURN i;
END $

五.创建存储过程

1. emp表存储过程

DELIMITER $
CREATE PROCEDURE insert_emp(IN START INT(10),IN max_num INT(10))
BEGIN
  DECLARE i INT DEFAULT 0;
		SET autocommit = 0;
		REPEAT #重复
		SET i = i + 1;
		INSERT INTO emp(empon,ename,job,mgr,hiredate,sal,comm,depton) VALUES ((START+i),RAND_STR(6),'SALESMAN',0001,CURDATE(),2000,400,RAND_num());
	 UNTIL i = max_num
 END REPEAT;
	 COMMIT;
END $

2.dept表存储过程

DELIMITER $
CREATE PROCEDURE insert_dept(IN START INT(10),IN max_num INT(10))
BEGIN
  DECLARE i INT DEFAULT 0;
		SET autocommit = 0;
		REPEAT #重复
		SET i = i + 1;
		INSERT INTO dept(deptno,dname,loc) VALUES ((START+i),RAND_STR(10),RAND_STR(8));
	 UNTIL i = max_num
 END REPEAT;
	 COMMIT;
END $

六.执行

1.先执行十条

这个错误是一个小坑 发现了吗 我之前留下的  根据提示 去排查吧 

执行成功!

2.查看数据

重头戏来喽!  一次性干他百万条数据  赌一把 看看会不会玩崩了

3.执行百万插入

CALL insert_dept(10001,1000000);

400s跑百万数据  一秒2500条    我这配置太垃圾  以前测试的是一秒一万 最好50W跑一次

欧克 睡觉 

总结

到此这篇关于Mysql快速插入千万条数据的文章就介绍到这了,更多相关Mysql插入千万条数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • 使用Kubernetes集群环境部署MySQL数据库的实战记录

    使用Kubernetes集群环境部署MySQL数据库的实战记录

    这篇文章主要介绍了使用Kubernetes集群环境部署MySQL数据库,主要包括编写 mysql.yaml文件,执行如下命令创建,通过相关命令查看创建结果,对Kubernetes部署MySQL数据库的过程感兴趣的朋友一起看看吧
    2022-05-05
  • sql distinct多个字段的使用

    sql distinct多个字段的使用

    这篇文章主要介绍了sql distinct多个字段的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • Mysql学习之创建和操作数据库及表DDL大全小白篇

    Mysql学习之创建和操作数据库及表DDL大全小白篇

    本篇文章是MySQL小白入门篇,主要讲解创建和操纵数据库及表懂得了,内容非常全面,有需要的朋友可以借鉴参考下,希望可以有所帮助
    2021-09-09
  • mysql连接查询中and与where的区别浅析

    mysql连接查询中and与where的区别浅析

    在使用数据库查询语句时,单表的查询有时候不能满足项目的业务需求,在项目开发过程中,有很多需求都是要涉及到多表的连接查询,这篇文章主要给大家介绍了关于mysql连接查询中and与where区别的相关资料,需要的朋友可以参考下
    2021-07-07
  • MySQL中使用or、in与union all在查询命令下的效率对比

    MySQL中使用or、in与union all在查询命令下的效率对比

    这篇文章主要介绍了MySQL中使用or、in与union all在查询命令下的效率对比,论证了在通常情况下union all并不一定比or及in更快,需要的朋友可以参考下
    2015-11-11
  • MySQL5.7中 performance和sys schema中的监控参数解释(推荐)

    MySQL5.7中 performance和sys schema中的监控参数解释(推荐)

    在MySQL5.7中,performance schema有很大改进,包括引入大量新加入的监控项、降低占用空间和负载,以及通过新的sys schema机制显著提升易用性。下面通过本文给大家介绍 MySQL5.7中 performance和sys schema中的监控参数解释,需要的朋友可以参考下
    2017-08-08
  • mysql 8.0.22 安装配置图文教程

    mysql 8.0.22 安装配置图文教程

    这篇文章主要为大家详细介绍了mysql 8.0.22 安装配置图文教程,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2020-11-11
  • 一文带你学会Mysql表批量添加字段

    一文带你学会Mysql表批量添加字段

    本文主要介绍了MySQL表如何批量添加字段的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-05-05
  • navicat连接mysql时出现1045错误的解决方法

    navicat连接mysql时出现1045错误的解决方法

    这篇文章主要为大家详细介绍了navicat连接mysql时出现1045错误的解决方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2017-02-02
  • mysql复制中临时表的运用技巧

    mysql复制中临时表的运用技巧

    数据库损坏,也没有备份。刚好二进制日志全部保存完好,幸福了。导入二进制日志到MYSQL
    2012-09-09

最新评论